大數據架構和平臺算是新事物，而且還在以一種非凡的速度不斷發展著。商業和開源的開發團隊幾乎每月都在發布其平臺的新功能。當今的大數據集群將會與將來我們看到的數據集群有極大不同。適應這種新困難的安全工具也將發生變化。在采用大數據的生命周期中，業界仍處于早期階段，但公司越早開始應對大數據的安全問題，任務就越容易。如果安全成為大數據集群發展過程中的一種重要需求，集群就不容易被黑客破壞。此外，公司也能夠避免把不成熟的安全功能放在關鍵的生產環境中。

“大數據”一詞常被誤解。事實上，使用頻率太高反而使它幾乎沒有什么意義了。大數據確實存儲并處理大量的數據集合，但其特性體現遠不止于此。

在著手解決大數據問題時，將其看作是一種觀念而不是特定的規模或技術非常有益。就其最簡單的表現來說，大數據現象由三個大趨勢的交集所推動：包含寶貴信息的大量數據、廉價的計算資源、幾乎免費的分析工具。

如今，有很多特別重視不同數據類型(例如，地理位置數據)的大數據管理系統。這些系統使用多種不同的查詢模式、不同的數據存儲模式、不同的任務管理和協調、不同的資源管理工具。雖然大數據常被描述為“反關系型”的，但這個概念還無法抓住大數據的本質。為了避免性能問題，大數據確實拋棄了許多關系型數據庫的核心功能，卻也沒犯什么錯誤：有些大數據環境提供關系型結構、業務連續性和結構化查詢處理。

由于傳統的定義無法抓住大數據的本質，我們不妨根據組成大數據環境的關鍵要素思考一下大數據。這些關鍵要素使用了許多分布式的數據存儲和管理節點。這些要素存儲多個數據副本，在多個節點之間將數據變成“碎片”。這意味著在單一節點發生故障時，數據查詢將會轉向處理資源可用的數據。正是這種能夠彼此協作的分布式數據節點集群，可以解決數據管理和數據查詢問題，才使得大數據如此不同。

上圖顯示的是一個Hadoop文件系統的架構圖，顯示出數據節點和客戶端如何交互。

節點的松散聯系帶來了許多性能優勢，但也帶來了獨特的安全挑戰。大數據數據庫并不使用集中化的“圍墻花園”模式(與“完全開放”的互聯網相對而言，它指的是一個控制用戶對網頁內容或相關服務進行訪問的環境)，內部的數據庫并不隱藏自己而使其它應用程序無法訪問。在這兒沒有“內部的”概念，而大數據并不依賴數據訪問的集中點。大數據將其架構暴露給使用它的應用程序，而客戶端在操作過程中與許多不同的節點進行通信。

規模、實時性和分布式處理：大數據的本質特征(使大數據解決超過以前數據管理系統的數據管理和處理需求，例如，在容量、實時性、分布式架構和并行處理等方面)使得保障這些系統的安全更為困難。大數據集群具有開放性和自我組織性，并可以使用戶與多個數據節點同時通信。驗證哪些數據節點和哪些客戶應當訪問信息是很困難的。別忘了，大數據的本質屬性意味著新節點自動連接到集群中，共享數據和查詢結果，解決客戶任務。

嵌入式安全：在涉及大數據的瘋狂競賽中，大部分的開發資源都用于改善大數據的可升級、易用性和分析功能上。只有很少的功能用于增加安全功能。但是，你希望得到嵌入到大數據平臺中的安全功能。你希望開發人員在設計和部署階段能夠支持所需要的功能。你希望安全功能就像大數據集群一樣可升級、高性能、自組織。問題是，開源系統或多數商業系統一般都不包括安全產品。而且許多安全產品無法嵌入到Hadoop或其它的非關系型數據庫中。多數系統提供最少的安全功能，但不足以包括所有的常見威脅。在很大程度上，你需要自己構建安全策略。

應用程序：面向大數據集群的大多數應用都是Web應用。它們利用基于Web的技術和無狀態的基于REST的API。雖然全面討論大數據安全的這個問題超出了本文的范圍，但基于Web的應用程序和API給這些大數據集群帶來了一種最重大的威脅。在遭受攻擊或破壞后，它們可以提供對大數據集群中所存儲數據的無限制訪問。應用程序安全、用戶訪問管理及授權控制非常重要，與重點保障大數據集群安全的安全措施一樣都不可或缺。

數據安全：存儲在大數據集群中的數據基本上都保存在文件中。每一個客戶端應用都可以維持其自己的包含數據的設計，但這種數據是存儲在大量節點上的。存儲在集群中的數據易于遭受正常文件容易感染的所有威脅，因而需要對這些文件進行保護，避免遭受非法的查看和復制。