[[333058]]

什么是大數據

大數據技術的戰略意義不在于掌握龐大的數據信息，而在于對這些含有意義的數據進行專業化處理。換而言之，如果把大數據比作一種產業，那么這種產業實現盈利的關鍵，在于提高對數據的“加工能力”，通過“加工”實現數據的“增值”。

隨著云時代的來臨，大數據(Big data)也吸引了越來越多的關注。分析師團隊認為，大數據(Big data)通常用來形容一個公司創造的大量非結構化數據和半結構化數據，這些數據在下載到關系型數據庫用于分析時會花費過多時間和金錢。大數據分析常和云計算聯系到一起，因為實時的大型數據集分析需要像MapReduce一樣的框架來向數十、數百或甚至數千的電腦分配工作。

大數據的意義

現在的社會是一個高速發展的社會，科技發達，信息流通，人們之間的交流越來越密切，生活也越來越方便，大數據就是這個高科技時代的產物。

阿里巴巴創辦人馬云來臺演講中就提到，未來的時代將不是IT時代，而是DT的時代，DT就是Data Technology數據科技，顯示大數據對于阿里巴巴集團來說舉足輕重。

有人把數據比喻為蘊藏能量的煤礦。煤炭按照性質有焦煤、無煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似，大數據并不在“大”，而在于“有用”。價值含量、挖掘成本比數量更為重要。對于很多行業而言，如何利用這些大規模數據是贏得競爭的關鍵。

大數據的價值體現在以下幾個方面：

• 對大量消費者提供產品或服務的企業可以利用大數據進行精準營銷
•  做小而美模式的中小微企業可以利用大數據做服務轉型
• 面臨互聯網壓力之下必須轉型的傳統企業需要與時俱進充分利用大數據的價值

大數據就業方向

大數據主要有三個就業方向，大數據系統研發類人才、大數據應用開發類人才和大數據分析類人才。

在此三大方向中，各自的基礎崗位一般為大數據系統研發工程師、大數據應用開發工程師和數據分析師。又可分為以下十大職位：

一、ETL研發

ETL研發，主要負責將分散的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層后進行清洗、轉換、集成，最后加載到數據倉庫或數據集市中，成為聯機分析處理、數據挖掘的基礎。

二、Hadoop開發

Hadoop的核心是HDFS和MapReduce.HDFS提供了海量數據的存儲，MapReduce提供了對數據的計算。隨著數據集規模不斷增大，而傳統BI的數據處理成本過高，企業對Hadoop及相關的廉價數據處理技術如Hive、HBase、MapReduce、Pig等的需求將持續增長。

三、可視化(前端展現)工具開發

可視化開發就是在可視開發工具提供的圖形用戶界面上，通過操作界面元素，由可視開發工具自動生成應用軟件。還可輕松跨越多個資源和層次連接您的所有數 據，經過時間考驗，完全可擴展的，功能豐富全面的可視化組件庫為開發人員提供了功能完整并且簡單易用的組件集合，以用來構建極其豐富的用戶界面。

四、信息架構開發

大數據重新激發了主數據管理的熱潮。充分開發利用企業數據并支持決策需要非常專業的技能。信息架構師必須了解如何定義和存檔關鍵元素，確保以最有效的方式進行數據管理和利用。信息架構師的關鍵技能包括主數據管理、業務知識和數據建模等。

五、數據倉庫研究

數據倉庫的專家熟悉Teradata、Neteeza和Exadata等公司的大數據一體機。能夠在這些一體機上完成數據集成、管理和性能優化等工作。

六、OLAP開發

OLAP在線聯機分析開發者，負責將數據從關系型或非關系型數據源中抽取出來建立模型，然后創建數據訪問的用戶界面，提供高性能的預定義查詢功能。

七、數據科學研究

數據科學家是分析師、藝術家的合體，需要具備多種交叉科學和商業技能。

八、數據預測(數據挖掘)分析

營銷部門經常使用預測分析預測用戶行為或鎖定目標用戶。預測分析開發者有些場景看上有有些類似數據科學家，即在企業歷史數據的基礎上通過假設來測試閾值并預測未來的表現。

九、企業數據管理

企業要提高數據質量必須考慮進行數據管理，并需要為此設立數據管家職位，這一職位的人員需要能夠利用各種技術工具匯集企業周圍的大量數據，并將數據清洗 和規范化，將數據導入數據倉庫中，成為一個可用的版本。然后，通過報表和分析技術，數據被切片、切塊，并交付給成千上萬的人。擔當數據管家的人，需要保證 市場數據的完整性，準確性，唯一性，真實性和不冗余。

十、數據安全研究

數據安全這一職位，主要負責企業內部大型服務器、存儲、數據安全管理工作，并對網絡、信息安全項目進行規劃、設計和實施。數據安全研究員還需要具有較強的管理經驗，具備運維管理方面的知識和能力，對企業傳統業務有較深刻的理解，才能確保企業數據安全做到一絲不漏。

大數據人才發展前景

1. 人才缺口

全球最頂尖管理咨詢公司麥肯錫(McKinsey)出具的一份詳細分析報告顯示，大數據或者數據工作者的崗位需求將激增，其中大數據科學家的缺口在14萬到19萬之間，對于懂得如何利用大數據做決策的分析師和經理的崗位缺口則將達到150萬!

2. 就業薪水

根據調查，目前北京地區大數據人才的平均工資為13680，月薪在15K以上的占41.4%。月薪6k-10k的占52.1%。