錢嶺：大數據研發歷程的回顧和思考
2016年12月8-10日，由中國計算機學會(CCF)主辦，CCF大數據專家委員會承辦，中國科學院計算技術研究所、中科天璣數據科技股份有限公司與CSDN共同協辦，以“聚焦行業最佳實踐，數據與應用的深度融合”為主題的2016中國大數據技術大會在北京新云南皇冠假日酒店隆重舉辦。
中國移動蘇州研發中心大數據部總經理，高級工程師錢嶺在主題演講《大數據研發歷程的回顧和思考》中分享了一個大數據實踐者所走過的歷程，主要包括三方面內容，(1)對大數據理解的變化;(2)大數據實踐歷程回顧;(3)大數據發展方向思考。
一路走來，中國移動蘇州研發中心對大數據理解在不斷深化。2007年，將大數據稱為大規模并行計算、云計算。2010年之后，大數據被按照3V~7V來定義。3V，即規模大(Volume)、種類繁多(Variety)、處理速度要求高(Velocity)。而到了2014年前后，開始跳出技術的視角來審視大數據。除了繼續關注技術外，開始關注大數據源、大數據工程師/科學家、大數據服務、大數據“眾包”、大數據咨詢。2016年，則開始以數據為中心來審視大數據，并將數據形象比喻為管道中的水，其匯聚到數據工廠，自動可視化，展示用戶希望的信息，告訴用戶潛在的規律，甚至智能地完成工作，這也中國移動蘇州研發中心大數據平臺正在做的工作。至此，中國移動蘇州研發中心對大數據有了更全面的認識，用一個公式表示便是：大數據 = 業務 + 數據 + 平臺 + 算法，所有大數據工作也將基于這四個方面展開。
伴隨著對大數據理解的不斷深入，對大數據的實踐也在不斷前行。2007年，從學習Hadoop入手，進入大數據領域;2008年，深度改造開源軟件，目標是商用產品;2009年，跟隨開源社區的發布，但是依然深度定制;2010年，以大云1.0為起點，正式開展商用部署;2011~2013年，每年發布新版本，并增加新“產品”;2014年，重新規劃大數據產品體系，引入管理平臺。而這個過程，也走了很多彎路，大多是因為開源社區、自主研發兩大技術路線及技術驅動、需求驅動兩大研發方向的選擇偏差導致的。當前主要選擇了基于開源，技術驅動的研發方式。
以下為演講實錄
各位嘉賓上午好!我來這里也不是一次兩次了。剛才兩位嘉賓也介紹了一些比較嚴肅的課題，這些課題可能涉及到精準醫學，也涉及到天氣預報或者自然災害的防治，這些問題我想現在可能不一定很好的解決方案，但根據技術的發展和這個業務的進步，一定會找到一個很好的方案的。正如我們自己是怎么樣通過這九年以來一點點什么也不會，到能做很多的事情。
我今天的匯報分三部分，一是對大數據理解的變化，為什么講這個呢?因為這個會直接影響后面的研發方向、工具選擇或者研發的思路。二是講一下到底踩過什么樣的坑，取得什么樣的經驗。后面是什么樣的思考和想法。
對大數據理解的變化
這件事，我們開展得很早。2007年初的時候開始關注云計算，但那個時候我們并沒有叫大數據，那時候也沒有這個詞。那時候稱為大規模并行計算或者云計算，因為主要的研究對象是跟Hadoop相關的事情，Hadoop本身是云計算的技術，并沒有用虛擬化技術，而是用隊列和槽位作為邏輯資源來調度任務。那個時候用13臺計算機來進行排序或計數，那時候成立了一個小的團隊，他們開始閱讀Hadoop整個系統的源代碼，那時候版本是0.16版本。
就這么過了好多年，Hadoop是研究實驗為主，2008年之后發現大數據慢慢成型了，但還是以云計算的名義發展，2010年之后提出三維、四維。我們自己做這個事的時候，考慮了為什么要做這個研究?因為很難說服我們公司里面的直達部門，他們覺得IOE架構也挺好的，但有兩件事做不了，一是大數據實時處理計算，那時候云計算雖然不太多，但公認的是數據庫做不了。第二，非結構化數據的管理，但后來做了很多的擴展就可以支持了。2013年對大數據的理解也是一塌糊涂，每個人都在做，但都不知道為什么要做大數據，那個時候本質上都在做云計算，其實沒有人考慮行業應用的這些問題。
2014年前后我們也開始考慮這個問題，什么是大數據，開始跳出技術的視野，因為以前總是集中在Hadoop這個領域，或者流計算，數據挖掘，始終認識上是片面的。后來我們從數據源、大數據技術和人這幾個維度關注大數據到底是什么。數據源就是數據的來源，技術我們也做了很多年，人就是大數據科學家。當時有一些企業把大數據科學家定義為CIO、CEO，此類評級的角色能做很多的事情，能決定企業的發展方向，現在看來也都是泡沫。
在大數據技術與數據源的交界處(見上圖)，如果一個企業擁有數據源也有大數據技術，可以做大數據服務，把數據加工一下作為產品賣出去。第二是人和大數據源，可以做大數據眾包，像一些圖片、視頻、語音識別，都是用大數據眾包來潛移默化地影響這些產品。如果有大數據技術和人，可以做咨詢相關的工作。
這里有三個誤區吧，第一個誤區是對V的過于強調，大家總是關注數據量大，快速，樣子很多也不準確，忽略了高性價比的系統。所以那個時候有一個情況，有點什么小需求很可能就要建一個很大的數據中心集群來滿足數據的采集，然后把它做成報告。我算了一下這個報告一年二三十萬，可投個集群一兩千萬的系統設備，當時并沒有人考慮這個性價比，所以為了滿足獨立的應用目標，我們做了點狀應用。帶來問題是投入比較大，數據不能共享，資源不能共享，造成成本的經濟效益都比較差，沒法長期的做一件事。在開始泡沫期鼓吹，到真正用的時候用不上?；旌喜渴穑覀兒罄m產品的設計或者業務的發展也是以混合部署作為最基本的基線做的。
第二個誤區是數據和應用是緊密結合的，這也是我們在找業務的時候發現的重要問題，往往在比較長的時間里，因為大數據充滿了神秘感，誰也不知道能干什么事，一想大數據很大，反正也不知道怎么用。問題是數據的需求到數據的挖掘周期特別長，像移動做秋季營銷，學生入學需要做營銷，如果這個營銷兩個月前提出需求來，看后端能不能配合，就開始取數據。往往營銷活動都結束了，數據還沒弄完了，這種情況會造成很大的影響。這樣沒有一個簡單的工具層面的東西，或者平臺層面的東西，能滿足一線用戶的需求，我們認識這個響應速度非常慢，也是一個非常重要的問題。
這一塊其實人家定義都很清楚，只是我們理論不夠深，是說要有一些創新方法來解決問題，什么是創新的?還是觀察一下成功案例。在成功案例里，最終是為最終用戶提供了簡單易用的自助數據分析工具，我們是給用戶提供開發平臺，而不是給開發人員使用的。
第三個誤區，很多人誤以為Hadoop軟件免費了，再也不用操心了，其實不是，還需要很多的優化。我們很多的傳統行業都是廠家干活兒的，他不關注系統優化，你給我多少錢就走了，就缺乏這個持續優化，確實大數據特別是開源產品，如果缺少這個，那業務無法持續發展。我們做過一個實際比較，優化前是什么效果，總說需要優化，還有一些眼邊的數據，全部抓過來，為什么不精簡呢?造成系統覆蓋很高，需要擴容，全是假象。這給我們另外一個啟示，這個東西很多實驗表明需要自己干，而是說移動自己的人，比如用戶自己需要有這個能力，他去做一些優化、判斷，這樣能解決很多的問題。
這三個誤區進一步的思考，我們到2016年的時候開始做新的思考。大數據到底是什么東西，如果不清楚的話我們也很難推廣我們的技術，也不好定位。一是中國移動的大連接戰略，這個戰略是今年才提出來的，主要目標是不斷拓展連接的廣度和深度，做大連接的規模，做強連接的應用數量。計劃是到2020年的連接數量要超過2015年一倍的水平，那也就意味著連接數量快到頭了，那就需要考慮到車的身上，豬、牛、羊的身上，可能不會打電話，但是需要連接，這個連接對移動來說需要做營運，但對做大數據的人來說就是大數據。任正非也提出來，假設數據量的流量會變粗，變的像太平洋一樣粗，如果真的這樣的話，華為就押對這個寶了。連接，一個是終端的問題，第二個管道的問題，西安提出“云管端”，我們可以預測電信行業、通信領域，包括其它也差不多，在這種強烈的需求驅動下，會把數據量越做越大，大到什么程度?我們認為如果超過一定程度以后，你去分析的數據或者尋找數據的難度越來越大，什么是大數據平臺?什么是大數據中心?大數據中心我們認為就像一朵云似的，數據就像管道上的水，匯聚到工廠，自動可視化展現用戶需要的訊息，告訴用戶潛在規律，甚至智能化的完工作。
對于可視化這部分，現在我們的理解是讓業務人員去做可視化報告，工具過于復雜根本不切實際。展現用戶需要的數據，你不去做挖掘至少去做統計分析，把信息呈現給用戶。告訴用戶潛在規律，這個規律你需要做數據挖掘，是數據信息向知識性發展，這里面數據挖掘算法我們做了很多，但發現用戶不太會用，這又回到前面誤區二了。最后是智能化工作，這樣對大數據就慢慢清楚了，把這個再細化一下變成四個東西。
大數據是什么?大數據是業務+數據+平臺+算法。
業務：內部有BOM、采購、內審、信安、人力、財務、基建。外部有金融、政務、互聯網、旅游、交通。
數據：內部有互聯網、政府、交通、政務、電信、聯通。外部有BOM、視頻、音頻、尤其DPI數據。
算法：結構化數據——三大類挖掘算法機器學習;非結構化數據——NLP;多媒體數據：深度學習。
平臺：大數據平臺，架構——兩域四層，采集、計算、存儲、能力開放、供給、管理、運維、安全。來源——開源、自研、商業軟件。
大數據就是業務+數據+平臺+算法，在這之后的事情所有的開發工作或者研究工作都會基于這個思維開展。
大數據實踐歷程回顧
2007年我們從學習Hadoop入手。我們用的是0.16版本，后半年0.17點版本出現的時候，Hadoop已挺爛了，現在看來誰敢用它做商業版的話，這是吃了熊心豹子膽的。第一，成熟性比較低，第二，資源隔離也比較差，但是解決了可擴展問題，后續開展了大量的實驗室測試工作256～1024節點，獲得大量經驗。
當時規劃的幾項工作都轉了后續產品，但是并不那么一帆風順，其中大規模計算管理系統孵化成為云計算集群管理系統，成為通用的系統。大數據平臺Hadoop、搜索引擎SE、大規模計算管理。
2008年，深度改造開源軟件，目標是商用產品。Hadoop-NN HA、HBase-Master HA，SQL over HBase數據挖掘算法并行化等特征性在2008年都是大大超前于社區的，進而形成了自己的發行版和相關產品。
2009年，跟隨開源社區的發布，但是依然深度定制。隨著社區的成熟，Hive等新開源軟件的出現，調整技術路線繼續研發大云SQL Over Hadoop、Parallel Data Mining、Search Engine，內部發布0.5版本，并且在上腔、江蘇等省公司開展實驗試點。效果優于傳統的IOE系統。
2010年：以大云1.0為起點，正式開展商用部署。經濟試點，定義了四項大數據產品(并未將Hadoop看作獨立產品)，可以開展點狀大數據應用，Huge Table在中國移動第一朵云，“WAP彩信雙業務云”獲得商用，承載WAP和彩信系統生成的日志數據，用于后端查詢分析。
2011～2013年：每年發布新版本，增加新產品。陸續引入了圖計算、大數據平、NoSQL數據庫，內容分析和知識庫等五項產品/原型，并將Hadoop作為獨立產品，與若干單位合作Hadoop開源社區，支撐盤古搜索上線，在福建、遼寧等省公司獲得點狀應用，一直到大云2.5版本。
2014年，重新規劃大數據產品規劃體系，引入管理平臺。孵化成立蘇州研發中心，重新定制跟隨開源社區的技術路線，規劃兩域四層的產品體系，針對性開展研發，啟動大數據管理中心(BC-BDOC)產品，整合現有各種點狀應用，并提供更多的能力開發能力，同時開展圍繞數據的開發。
這些年我們也走了很多彎路，主要有幾個方面引起的，一是技術路線選擇上出現了偏差(是開源還是自主研發)，我堅信一點，這一走過的坑在人工智能和區塊鏈一樣會出現，只不過是深淺的問題。在技術路線上的選擇，最終建議跟隨開源社區的方案來做這個事情，所以我們也看到很多的缺點，第一，跟隨開源社區，投入少，啟用快，只要一個小組研究它的代碼就好了，很快就可以把這個系統全整明白了，具有很快的交付能力。出現問題的話，因為它開源也可以獨立解決，如果實在搞不定也可以找社區解決。缺點，開源軟件很大的問題是質量良莠不齊，要做很大的測量工作。還有一個問題，掌控需求和研發計劃能力非常弱，雖然社區里有一個里程碑，但里面是這些開源企業自己開戶需求的里程碑，并不是我的客戶的需求里程碑，研發計劃也是照它的來的，所以有時候不得不用其他的需求解決這個問題。接口上也有很大的問題。
自主研發優點是容易控制節奏、需求，但缺點是投入很大，啟動也很慢，至少做半年到一年才可以做出一個好的東西來，還有相關的配套等一些東西。
技術驅動就是解決某一個問題的，很容易立項，但那個跟其他產品界限也非常清楚。缺點可能不是業務需求，不能落地。所以我們早期是自主研發驅動的，后期是業務驅動來孵化這個產品。
大數據發展方向思考
最后講一下思考吧，有的未必是很成熟的思考。第一是商業模式的思考，講了半天大數據怎么掙錢，我們發現大數據的商業模式逐步清晰，一般在生態圈里為了擴展自己數據的維度，提升價值，一個單位通常既是生產者也是消費者。所以我們現在也開始跟一些有優質數據的客戶開始交流，看看能不能交換數據或者采購數據，來彌補我們數據的不足。這樣的話就會在六種商業鏈之外形成很多復雜的商業模式組合，一開始是工具和服務提供商，運營在線大數據工具服務，提供API或者DAAS服務，運營免費大數據服務+后向廣告，運營收費大數據服務，像輿情分析;運營大數據交易市場。
下面是我們對大數據系統的演進歷程的判斷。
- (1)數據：種類不斷增加，集群數據接口大幅度增加，希望最終形成多數據管理、上下游關系;
- (2)集群功能不斷增強，最終會從點狀應用整合為統一大數據平臺，從離線轉向實時;
- (3)數據規模不斷增加，集群擴容能力不足，最終形成多集群統一管理的架構。
我們對大數據產品體系和解決方案總攬，目標是構建健壯、可擴展、開放的，功能豐富的大數據平臺，基于開源、MPP等軟件，面向公司內外提供DaaS、PaaS和SaaS服務。
說一些相當重要，但是不太成熟的大數據技術舉例。
數據安全：大數據安全需要哪些特征，如何與大數據整合在一起，如何提高效率，如何解決真實的業務需求。
人工智能，人工智能算法目前應用領域還集中在互聯網領域，點狀系統，成本也較高，如何形成統一的大數據能力，和與海量數據結合，如何為業務服務。
可視化：如何在現有圖表呈現之上，藝術設計之下的空間中尋找合適的可視化技術，便于算法結果的呈現。
很高興和大家一起關注大數據過山車的起起伏伏，謝謝大家。
