大數據時代來臨，每個公司都應該重視起數據部門。以前搜集數據沒有足夠的時間、能力、資源，因而無法獲得更多的支撐。因為數據量不夠。當我們有了更多的數據，我們看到的東西發生實質的變化，我們以前從來沒有看到過這種情形。足夠的數據，讓我們更好的理解彼此，達到歷史絕無僅有的水平。

[[172068]]

 

大數據的核心在于共享

大數據之父舍恩伯格說“大數據的核心要義在于共享。”

我們的各級政府、公共機構匯集了存量大、質量好、增長速度快、與社會公眾關系密切的海量數據資源。除了部分分享自用和信息公開外，大部分沒有充分發揮數據源作為“生產要素、無形資產和社會財富”應有的作用。究其原因，主要表現在三個方面：

第一，不愿共享開放。這是一個認識問題，政府部門和公共機構未意識到共享開放價值。另一方面利益分配的問題，有的政府部門和公共機構把自己掌握和獲取的數據當做權力和利益，更甚的作為私有財產不愿共享。這造成不同機構之間甚至部門之間都難以實現數據共享。另外，相關法律法規、制度標準相對落后，沒有形成管理體系。

第二，不敢共享開放。由于缺乏嚴格規范的數據相關法規，從事此項工作人員擔心政務數據共享會引起信息安全問題，擔心數據泄密失控，對開放有恐懼。

第三，不會共享開放。這是一個專業化工作。數據封閉、信息孤島等系列問題均是共享開放不當引起。相反，不該共享開放卻為之會帶來更大的損失，甚至威脅到國家安全。

目前，持觀望態度為主流。大數據的發展如何真正步入實踐，落地操作成為一大問題。

數據專家對大數據時代解析

筆者采訪了搜狐視頻大數據高級工程師李修鵬。專家解析：大數據時代的到來，對應“dirve data”類的數據技術和應用，無意是注入了血液和激素，如推薦系統、人工智能、機器學習等，簡單來說大數據是一個把鑰匙，開啟的更多基于大數據為基礎，通過機器學習、大規模分布式計算等手段，構建的數據挖掘和人工智能類的應用組成的“智能”時代的到來。

大數據時代的到來首先我們要構建好的大數據存儲，簡單來說就是分布式數據倉庫的基礎架構的搭建和數據存儲建模，

滿足大數據時代帶來的“智能”時代需求的數據倉庫日顯重要，如何建立好的數據部門，其實是每個公司都應該重視的問題。聊到數據倉庫，簡單說傳統數據倉庫到互聯網中基于日志的大數據處理倉庫的轉變。數據倉庫發展兩個重要的人物Bill Inmon提出集中式架構和Ralph Kimball提出的總線架構，到目前大數據數據倉庫的發展和經驗總結，提出的的五層模型(ODS、DWD、DWB/DWS、DM、ST)，其中也是源于數據倉庫的需求從支持戰略決策到需要支持戰術決策的轉變，支持更多的“智能”應用。

在很多公司在有大數據“鑰匙”之后 ，都會不斷投入圍繞大數據的大規模分布式機器學習構建的“智能”化應用開發中，不斷去嘗試開啟的未來更加廣闊的天地，這樣也帶來了關于計算和機器學習等方面的技術的進步，如分布式計算、實時流式計算、深度學習等計算，同樣也促使這技術人員的技能轉變和市場上人才和需求的供需不平衡。

迫在眉睫：如今的大數據需要哪種人才?

(1)大數據系統研發工程師

這一專業人才負責大數據系統研發，包括大規模非結構化數據業務模型構建、大數據存儲、數據庫構設、優化數據庫構架、解決數據庫中心設計等，同時，還要負責數據集群的日常運作和系統的監測等，這一類人才是任何構設大數據系統的機構都必須的。

(2)大數據應用開發工程師

此類人才負責搭建大數據應用平臺以及開發分析應用程序，他們必須熟悉工具或算法、編程、優化以及部署不同的MapReduce，他們研發各種基于大數據技術的應用程序及行業解決方案。其中，ETL開發者是很搶手的人才，他們所做的是從不同的源頭抽取數據，轉換并導入數據倉庫以滿足企業的需要，將分散的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層后進行清洗、轉換、集成，最后加載到數據倉庫，成為聯機分析處理、數據挖掘的基礎，為提取各類型的需要數據創造條件。

(3)大數據分析師

此類人才主要從事數據挖掘工作，運用算法來解決和分析問題，讓數據顯露出真相，同時，他們還推動數據解決方案的不斷更新。隨著數據集規模不斷增大，企業對Hadoop及相關的廉價數據處理技術如Hive、HBase、MapReduce、Pig等的需求將持續增長，具備Hadoop框架經驗的技術人員是最搶手的大數據人才，他們所從事的是熱門的分析師工作。

(4)數據可視化工程師

此類人才負責在收集到的高質量數據中，利用圖形化的工具及手段的應用，清楚地揭示數據中的復雜信息，幫助用戶更好地進行大數據應用開發，如果能使用新型數據可視化工具如Spotifre，Qlikview和Tableau，那么，就成為很受歡迎的人才。

(5)數據安全研發人才

此類人才主要負責企業內部大型服務器、存儲、數據安全管理工作，并對網絡、信息安全項目進行規劃、設計和實施，而對于數據安全方面的具體技術的人才就更需要了，如果數據安全技術，同時又具有較強的管理經驗，能有效地保證大數據構設和應用單位的數據安全，那就是搶手的人才

(6)數據科學研究人才

數據科學研究是一個全新的工作，夠將單位、企業的數據和技術轉化為有用的商業價值，隨著大數據時代的到來，越來越多的工作、事務直接涉及或針對數據，這就需要有數據科學方面的研究專家來進行研究，通過研究，他們能將數據分析結果解釋給IT部門和業務部門管理者聽，數據科學專家是聯通海量數據和管理者之間的橋梁，需要有數據專業、分析師能力和管理者的知識，這也是搶手的人才。

總結：

凡事有利弊。打開窗，收獲的不只新鮮空氣，還有蒼蠅和蚊蟲。大數據開啟了一個大規模生產、分享和應用數據的時代，它給技術和商業帶來了巨大的變化。在大數據時代背景下，如何從大數據中采集出有用的信息已經是大數據發展的關鍵因素之一。