大數據安全市場現狀和需求分析
后web2.0時代，互聯網、物聯網每天都在生產大量數據，人們對于這些龐大數據資源的價值渴求，使得“大數據”的概念得以問世。如果說“數據”是支撐未來核心技術的基礎“原材料”，那么“大數據”正在演變成一種戰略資源，當“用戶需求導向”成為企業共識，大數據的收集、挖掘和分析開始支撐企業的業務運轉、營銷策略乃至戰略方向，數據成為企業愈加珍視的寶貴資產。
目前，建設有大數據平臺的企業不在少數，對比傳統數據庫，大數據平臺數據大量集中，且蘊含更高價值，其安全建設要求明顯更高。然而，由于大數據平臺使用非結構化數據庫類型，以及不同于以往應用與數據庫，對應相對簡單的傳統網絡結構，大數據平臺安全建設為平臺開發和運維者提出了難題。
日前，安華金和面向各行業IT運維和開發人群開展了一次大數據安全市場現狀和需求調研。希望借此方式了解用戶的大數據使用和運維安全現狀，發現各行業用戶在數據庫運維工作中的安全需求，并梳理出整套適用于大數據平臺特性的數據安全方案，幫助用戶開展安全建設。安華金和從多方通道獲取的近400份問卷中抽取170份有效樣本進行統計分析，總結歸納出此份《大數據安全市場現狀和需求分析》，摘取報告重點分析結論，分享給關注大數據安全的人士。
一、參與人員概況
抽取調研樣本來自不同行業的部門或企業，包括：政府、制造、醫療、金融、通信、教育、能源、交通、保險行業等。調查對象主要為技術人員，直接從事IT運維或技術開發工作，或者為用戶提供運維服務、解決方案及相關產品咨詢，其中以技術經理、運維工程師、技術開發者占大多數，他們在單位中會指導或直接參與大數據平臺的建設和運維，肩負大數據安全建設的責任，這為此份調研報告的客觀性、專業度提供了基本的保障。
二、調查結果
1. 大數據技術應用現狀
本次調研中，半數受訪者表示已經將大數據技術應用于單位部分業務中，或者明確列在應用計劃內，處于技術選型階段，另外半數受訪者雖然沒有真正啟動大數據應用項目，但同樣關注并處于技術調研階段。同時，在已經投入大數據應用的受訪者中，45%的受訪者表示將大數據技術應用在了單位核心的數據分析或業務系統中，意味著單位核心業務數據寫入大數據平臺，這部分數據與平臺分析結果具有非常高的商業價值，需要更高敏感度。
可以肯定的是，大數據技術已經受到各行業用戶的廣泛關注，當市場中近半數群體已經有所動作，一旦行業標桿案例成熟落地，另半數用戶的方案復制和普及將很快開展起來。
2. 大數據產品的使用情況
對于很多需要提供24小時不間斷服務的網站來說，對數據庫系統進行升級和擴展是非常痛苦的事情，往往需要停機維護和數據遷移，除了這些，大數據平臺對傳統的關系型數據庫提出了更多的挑戰，包括：高性能的事務管理性要求、讀寫實時性要求、高可用性要求。因此，在大數據平臺的建設中，關系型數據庫的很多特性失去了用武之地，非關系型數據庫(NoSQL)成為大數據平臺的標配。
在本次調研中，我們列出了目前相對常見的幾類非關系型數據庫產品，希望對幾款產品的市場接受度加以了解：
32%的受訪者應用了MangoDB數據庫，使用最為廣泛：Mongo最大的特點是支持的查詢語言非常強大，語法類似于面向對象的查詢語言，可以實現類似關系數據庫單表查詢的大部分功能，而且還支持對數據建立索引。MongoDB主要解決的是海量數據的訪問效率問題，當數據量達到50GB以上的時候，Mongo的數據庫訪問速度是MySQL的10倍以上，這也是MongoDB廣受青睞的主要原因。
其次為Hbase、Hive、Redis等幾類，均在22%左右：Hive與HBase都是基于Hadoop平臺的數據倉庫工具，其優點是學習成本低，可以通過類SQL語句快速實現簡單的MapReduce統計，不必開發專門的MapReduce應用，十分適合數據倉庫的統計分析。
Spark緊隨其后，占比17%：Spark 是一種與 Hadoop 相似的開源集群計算環境，擁有Hadoop MapReduce所具有的優點;但不同于MapReduce的是——Job中間輸出結果可以保存在內存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數據挖掘與機器學習等需要迭代的MapReduce的算法。
此外，在其他選項的答案中也出現了DB2、阿里大數據云等產品。
3. 大數據平臺中有哪些數據?
我們談安全建設的時候，首先要搞清楚保護對象，不同業務類型、不同敏感級別的數據，需要根據其本身的敏感級別以及被訪問和使用的情況，選擇恰當的保護手段。因此，我們需要了解用戶群體到底把哪些數據放到了大數據平臺中存儲和使用。
調研結果顯示，50%的受訪者會將“生產數據”放入大數據平臺中，也就是單位主營業務系統實時產生的重要數據。這些數據從生產環境直接寫入大數據平臺，具有很強的實時性和敏感度。
41%的受訪者選擇“用戶資料”，也是企業賴以生存的商業數據;此外，訪問日志和交易信息分別有34%和24%的受訪者選擇。
更有14-15%的受訪者表示會將第三方數據和財務數據放在大數據平臺中，這里面第三方數據的出現，是指業務中的數據多方共享，測試、開發、分析場景中的數據分發等情況。此外，也有少數受訪者提到了企業征信數據。
4. 用戶們的安全顧慮
大數據平臺中匯集了一個單位方方面面的數據，并向各類對內或對外的業務系統開放接口，這意味著傳統環境下的數據安全威脅在大數據應用場景下發生了更復雜的疊加和自由組合。那么用戶們對大數據平臺的安全顧慮更偏重哪方面呢?
59%的受訪者選擇漏洞攻擊，56%的受訪者選擇“數據共享安全”，相較傳統環境，共享場景下的安全問題在大數據技術的應用中顯得更為突出，已經能與傳統安全威脅中的“漏洞攻擊”打個平手。不難理解，大數據平臺除了提供存儲和查詢的功能，更重要的價值在于數據分析和價值挖掘，這決定了大數據平臺需要向多部門甚至多家單位開放，比如政務大數據平臺會向該地區各政府單位提供數據接口。
46%的受訪者選擇“企業機密泄露”，看來用戶在安全問題引發的后果中，更擔心機密數據泄露，這關乎企業的命脈。
38%的受訪者選擇“權限控制弱”，這與大數據平臺所涉及的人員規模和角色復雜程度有關，目前只有具備一定技術水平的單位具備大數據平臺建設能力，但同樣需要引入第三方開發、測試人員，在后期的數據維護和挖掘中，需要引入第三方服務公司，這些不同訪問角色的權限劃分和管控愈加重要。
28%的受訪者選擇“無審計信息”，可見用戶對于大數據平臺的審計記錄比較關注，這將提供一切安全事件的追責依據。
值得注意的是，只有13%的受訪者選擇“違反國家法規”，這不同于以往“安全需求多出自政策要求”的傳統觀念，保障數據安全的剛需成為越來越多用戶考慮的重點。
5. 哪些大數據安全產品最受青睞?
傳統的安全建設思路對于大數據安全同樣適用，但真正落地到技術手段的實現和方案的整合中，非關系型數據庫的技術結構比傳統關系型數據庫難度更大。另外，由于大數據平臺的數據訪問來源、對象以及過程都要復雜的多，安全策略的制定和實現難度也會更高，那么在數據安全產品的選擇上，用戶更傾向哪幾類呢?
大數據運維管控產品受到59%的受訪者青睞，這側面體現了用戶對運維側的行為管控最為重視，事實上，相比應用側的數據讀寫，運維側的開發、測試、分析人員會擁有更高的數據操作權限，也意味著更高的管控難度。
其次，大數據防火墻產品為41%，由于防火墻多用于應用側的對外安全防護，也正應了用戶對漏洞攻擊等外部入侵的安全防護需求。
32%的受訪者選擇大數據審計，該數字低于運維管控和防火墻產品，這與傳統環境下的安全需求差異明顯，看來用戶更看重能夠提供事中管控的安全手段，審計產品的旁路監控和事后追查能力也重要，但看起來沒那么迫切。
“大數據風險掃描”、“敏感數據梳理”的選擇者各有27%和28%。安全風險掃描能夠幫助用戶發現安全隱患，如安全漏洞、弱安全配置、弱口令等，有些問題可以人工修復，提高平臺安全基線，也能夠指導安全方案的規劃。敏感數據梳理是整體數據安全建設的基礎，但這項技術在規模龐大且數據類型繁雜的大數據平臺中落地，會面臨不小的挑戰。
“大數據脫敏”有20%的青睞者，這項技術適用于數據分發和共享場景下的安全需求，但這個數字沒有想象中高，也許用戶是出于性能考慮?有待觀察。
【本文是51CTO專欄作者“安華金和”的原創稿件，轉載請聯系原作者】
