大數據真的在云計算上的快車上嗎？
軟件初創廠商AtScale公司去年年底發布了其年度大數據成熟度調查報告(以前稱為“Hadoop成熟度調查”)，顯示商業智能大數據是首要任務，并正處于云計算的快速發展階段，數據治理越來越受到關注。
該報告及其結果在最近ODPi用戶顧問委員會(UAB)的會議上成為了一個主要的討論話題，ODPi用戶顧問委員會(UAB)是由來自汽車，技術和娛樂行業等使用Apache Hadoop和其他大數據技術的大型企業的代表組成。ODPi UAB十分認同報告中所提出的日益增長的數據治理問題。自助服務訪問大數據和這種自助服務的治理確實觸動了人們的心弦。行業專家討論了讓人們幫助推動自助服務訪問政策的概念，這反映出越來越多的數據科學家是業務部門的一部分，而不是IT部門。該小組一致認為，僅持有治理和安全控制的IT目前的狀態是不具成本效益的，而自治可能是一種幫助規模使用的策略。
關于云計算中大數據的主題，ODPi UAB在混合云模型中看到了他們的未來。雖然他們認為人們將在未來三年內看到云計算更多的應用，但他們將會在現有投資的基礎上開展，而不是完全取代現有的投資。此外，ODPi UAB認為現有的中央處理與本地處理節點相輔相成，以幫助擴大需求，更好地遵守法規。目前，UAB成員看到全面擴展到云計算成本過高，但隨著物聯網數據本身運行的用例開始增長，云計算將變得更加有趣。
在ODPiUAB闡述之后，然后回到企業自己的使用模式。在本文中將介紹這些使用模式，ODPiUAB提供的見解以及云計算在Hadoop和大數據中的作用的體驗。預生產和生產Hadoop之間有明顯的區別。
表1概述了隨著企業使用情況的變化，運營Hadoop的核心差異。
AtScale公司的報告指出，73%的受訪者在使用生產，與2015年同期相比增長了8%。調研機構Gartner公司的業務調查報告為15%以上。由于在數量上有如此大的差異，很明顯在行業中部署階段的基線定義并不明確。UAB和ODPi成員在這里已經提出了這個詳細的部署，認為它們與市場準確匹配。
企業Hadoop部署連續性
繪制出適合于連續性的位置，可以更客觀地看待生產使用情況。
分析大數據的云計算
雖然72%的受訪者表示計劃在云端實施大數據，但更深入的分析可能會顯示出一些重要的細微差別。UAB成員希捷技術公司企業分析總監Nicholas Berg表示：“要進行深入研究，人們還會問：企業的應用程序和IT在本地部署數據中心和云計算中的比例是多少?企業的大數據在本地部署數據中心和云計算中的比例是多少?最后，企業在云中的實際生產有多少?我敢打賭這個百分比要小得多。”
另一個ODPiUAB成員評論說：“我認為很多公司只是在云中進行概念驗證(POC)測試，但仍然在內部數據中心進行生產部署。”UAB認為，這里的主要驅動力是人們認識到IT需要最大限度地降低風險和成本。
這引出了云計算中最大的沒有解決的問題：成本。多年來，云計算供應商一直在推動“降低成本和復雜性-走向云”的敘述，“避免服務器采購的資本支出-只是利用云”等等。然而，ODPiUAB明確的一個因素是，當企業擴大規模時，云計算將變得更昂貴。
ODPi UAB一位成員談到自己的經驗，并表示，“最近，我們已經對數字不起作用做了一些成本分析，而不是當人們談論入口或出口數據量時重新考慮。這就是云供應商的成本真正開始飛漲的地方，因此，當企業完全轉向云端時數字不起作用。所以我們仍然在考慮實驗的目的，但是沒有看到人們如何完全移動到云端，甚至考慮把大量的系統移到那里。我發現云端工作適用于小規模的子集，如果企業愿意，這可能是一種聚合，但是一旦試圖進行長期的存儲，它將使成本增加的非常快速。”
這是否意味著ODPi UAB成員感覺到Hadoop和云中的大數據是注定失敗的，除非成本下降?當然不是。對他們來說，問題在于云計算的敘述，而在場景上，不斷被認為是““非此即彼”的討論，而不是“兩者兼用”的討論。
云計算：物聯網數據的用例
ODPi UAB的一位成員分享了一個物聯網數據的使用情況，“當企業正在考慮解決某些問題時，將不同區域的數據轉移到云計算中處理，云計算開始變得更有意義。當人們開始談論物聯網時尤其如此，企業難道真的想在自己的數據中心運行所有的物聯網數據嗎?人們查看一下描述的用例，就會發現所有的數據在自己的數據中心將面臨一些問題，無論是在數量上還是在法律上。例如德國等一些國家，除非要在這些國家建立數據中心。”而其他專家也贊同這種看法。他說：”我們認為云平臺的存在也是一個挑戰，特別是作為一家在全球各地設有辦事處的全球性公司，如果不想在每個國家和地我建立數據中心，那么采用云計算是一個很好的選擇。”
從上述所有ODPi UAB反饋意見來看，很明顯，云計算將繼續成為Hadoop和大數據的一個組成部分，但與組織的成本和效率需求保持一致。換句話說，就像其他技術轉向云端一樣，最現實的答案往往在某種形式的混合中。Nicholas Berg說，“我想隨著時間的推移，Hadoop將在云中的應用更加廣泛，希望其成本結構變得更加合理，事情就會開始轉變。我認為這是會發生的，只是時間問題。我們可能總是有某種混合部署，隨著經濟和用例更好地隨著時間的推移，云計算的使用率可能會更高。”
下一件大事
人們生活在行業中，坦率地說是一個世界中-而尋求下一件大事情，將會激發行業人士成長和發展的愿望。行業先鋒經常拒絕接受現狀，認識到完美從未實現，并總是不斷追求。正如Vince Lombardi曾經說過，“完美是無法實現的，但如果我們追求完美，那么我們可以實現卓越。”
話雖如此，有一件很少有成果的事情就是強化創新。順應技術潮流，應對現代生活的挑戰和機遇，如果你聽過專業運動員的采訪，他們總是會說下一步要達到什么目標，技術也是如此，但規模更大，人們對此并不總是很清楚。
