美國國家安全局永遠無法捕捉互聯網上所有可疑的動向——但他們也不需要。

[[74860]]

國家安全局總部位于馬里蘭州米德堡。

有這么一家機構，其數據中心內保存著大量來自互聯網的可見內容——圖像捕捉系統就在我們周圍，但我們卻又無從感知。它擁有大量針對世界各地家用、企業乃至政府設施的衛星圖像資料，共同構成一套總量達到PB級別的地理數據庫，囊括了個人與組織信息。同時，其分析系統能夠處理Web搜索請求、電子郵件信息及其它來自無數用戶的電子設備操作活動。

雖然機構中沒有任何人能確切“掌握”個人在網絡中的行為，但信息被濫用的可能性仍然存在。從政策角度看，所有情況都會被軟件所“了解”，而該機構的分析人士則從這一龐大的系統流程數據海洋中搜尋異常狀況（例如違法活動）。

當然，這里說的是谷歌公司。大多數用戶對于谷歌在“大數據”方面的處理并不在意，因為我們在很大程度上接受了由其提供的恩惠——雖然谷歌也確實從我們的活動中賺到了豐厚的經濟回報。不過如果我們把“谷歌”這個名字消去，轉而替換為“國家安全局”，那么事情在很多人眼中就會變得完全不同。

事實上國家安全局的PRISM程序以及對手機運營商通話元數據的收集與谷歌公司的處理方式并無不同：獲取大量數據、從中找到信息之間的聯系；整個過程無需手動操作，而且由專業分析人士從中提取“例外”情況。二者之間的本質區別只在于，如果國家安全局發現了異常事態，那么根據外國情報監視法（簡稱FISA）的有關規定，聯邦調查局的特工人員將有權進一步監控甚至敲開我們的大門。

那么，國家安全局所搜集的“大數據”到底包含哪些內容、他們又能對這些信息做些什么？#p#

從網絡干流中提取信息

讓我們姑且不談美國法律對于國家安全局行事方式的默認，轉而關注其它一些能夠對其加以約束的理論：也就是物理學法則與摩爾定律。國家安全局有能力從電話網絡交換流量與互聯網中收集大量數據，而且這種情況長期以來一直存在。由于電話公司本身的積極配合，安全局能夠進行深度包檢測、擁有數據包捕獲硬件以及其它一些信號監控手段。然而他們原先一直無法真正捕捉并保存用戶們所產生的全部數據，更無法將其無限期加以留存——但現在情況發生了變化，谷歌與雅虎的新機制讓這兩項艱巨任務成為可能。

我們都知道，國家安全局監控民眾資料的消息來自前AT&T公司員工MarkKlein。他曾于2006年為AT&T工作，并幫助國家安全局在AT&T的全球網光纖主干上安裝了類似于“水龍頭”的分流裝置，借以將數據信息引導至由一款名為Narus流量語義洞察分析器的工具。（該設備后來被更名為‘智能流量分析器’，或者簡稱為ITA。）

[[74861]]

AT&T公司位于舊金山福爾遜街的“秘密房間”被認為是該公司全國幾套互聯網監聽基礎設施之一，專門為國家安全局提供數據資料。

Narus的設備還被聯邦調查局用于替代原先由其自主研發的“Carnivore”系統。它會對“配對標簽”數據包（即數據包的屬性與數值監控對象）進行掃描，并保留與設定條件相匹配的數據包信息。我曾在2012年9月對Narus公司網絡分析產品管理總監NeilHarrington進行過采訪，Harrington表示該公司的洞察系統能夠以每秒達GB級別的速度對數據進行分析與排序。“通常采用一個萬兆以太網接口，而且全力啟動后系統的數據吞吐通能力可達到12Gb每秒。由于20Gb處理能力無法實現，因此我們選擇了12Gb方案。如果我們暫時關閉不感興趣的配對標簽，則處理效率還能進一步提升。

單獨一臺NarusITA每秒能夠處理1.5GB數據包信息的全部內容。這意味著其每小時處理能力達到5400GB、每天則為129.6TB，這還只是一個萬兆網絡裝置的水準。所有數據都通過專有信息傳輸協議被歸納到一組邏輯服務器當中，數據包內容在這里被處理并重新匹配，從而把每天上PB的總體數據量降低至GB級別。具體方法是制作數據流量列表（在表中填寫數據包的元數據內容）與應用程序數據列表。

國家安全局的這套網絡“龍頭”分流機制在美國及世界其它區域都普遍存在。不過在如此龐大的數據流面前，如何從中提取數據包并分析出真正有價值的信息是安全局方面面臨的最大難題。存儲、索引與分析工作需要面對超乎想象的規模化對象。根據思科公司的統計，2012年全球互聯網流量每天達1.1艾字節，單從物理角度講將其存儲下來就已經無法實現，更不要說實際使用了。因此，國家安全局目前所捕捉并保留的數據總量僅占每天全球互聯網流量中的一小部分。

另一大難點在于截獲的數據包往往受到安全套接層（簡稱SSL）加密機制的保護。即使是在理想情況下，破解SSL加密機制也需要投入高昂成本，而且根本不可能應用到所有互聯網流量當中（盡管針對伊朗的Flame惡意軟件攻擊已經證明SSL機制可以被破解）。因此，雖然美國國家安全局有能力掌握數據流的真實內容，但他們恐怕無法以實時方式獲取這部分信息。#p#

原始社交網絡

根據2006年曝出的消息，互聯網監控還不是國家安全局的惟一一種數據收集方式。就在同年五月，有消息稱安全局從電話運營商處獲取到通話數據庫，其中包含大量通話數據記錄（例如通話時間與通話時長、相關電話號碼以及移動設備本地數據等等）。這套數據庫建立于2001年“911”恐怖襲擊事件后不久，而且得到了AT&T、Verizon與BellSouth三家運營商的支持。長途通信供應商Qwest通訊公司則由于不認同FISA的合法地位而拒絕加入該計劃。

根據《今日美國》發布的報告，國家安全局利用這套數據庫進行“社交網絡分析”。雖然分析流程主要是希望找出涉及海外個人的通話記錄，但安全局方面仍然從運營商處獲得了整套記錄數據庫，其中包括國內電話信息。

這套數據庫（或者至少是其后續方案）被稱為MARINA，《倫敦周刊》的MarcAmbinder報道稱。而且根據上周英國《衛報》公布的文檔，國家安全局仍然在無差別收集美國國內及涉外兩類電話信息——目前惟一的區別在于FISA已經得到正式許可。根據FISA法令，其信息收集范圍包括“廣義通訊路徑信息，包括但不限于對話識別信息（例如呼入呼出電話號碼、國際移動用戶識別碼（簡稱IMEI）等）、端口標識、電話卡號碼以及呼叫時間與時長。”

2006年，《今日美國》稱這套通話數據庫是“世界上規模最大的數據庫”。該數據庫處理著數以十億記的電話記錄數據，而這無疑是安全局物理空間難題的早期翻版。在如今互聯網全面爆發的時代，監控工作的規模與難度無疑又會進一步提升。另外，要想通過電話信息推斷人與人之間的關系，恐怕需要對大量柱狀數據進行索引與分析。#p#

神秘的社交圖譜

頗為諷刺的是，幾乎在同一時間，谷歌與雅虎等互聯網公司開始著手部署計劃、希望解決大數據的存儲與分析難題。2006年11月，谷歌公司率先公布了BigTable數據庫計劃書，稱其有能力對PB級別的網絡數據進行索引，且支持谷歌地球及其它應用程序。雅虎也不甘示弱，在努力追趕谷歌GFS文件系統（也就是BigTable的基礎）的同時拿出了自己的成果——Hadoop。

BigTable與基于Hadoop的數據庫為國家安全局指出了一條光明大道，使其真正有能力對獲得的海量數據進行處理。但二者在服務情報工作方面還存在一大致命缺點：區分化安全（或者說廣義層面上的安全性缺失）。因此在2008年，安全局方面決定著手建立一套更為理想的BigTable版本，也就是目前歸屬于Apache基金會的Accumulo項目。

Accumulo是一套“NoSQL”數據庫，以鍵值對為基礎。其設計思路類似于谷歌的Big Table與Amazon的Dynamo DB，但Accumulo卻擁有一部分由國家安全局親自設計的特殊安全功能，例如多級安全訪問機制。該項目利用開源Hadoop平臺及其它Apache產品創建而來。

在眾多功能當中，Column Visibility值得關注，該功能允許數據行中的個別項目擁有不同分類屬性。這樣一來，擁有不同數據訪問權限的用戶與應用程序就能在信息列中查看與其職責匹配的數據內容。訪問權限較低的用戶無法閱讀當前列中級別較高的數據。

Accumulo還能夠通過特定模式以幾乎實時的方式生成數據報告。舉例來說，該系統可以根據某個IP地址范圍找到特定的關鍵詞或者電子郵件信息；它還能夠以某個目標電話號碼為基礎分析出其它號碼與之關聯的程度。經過甄別后，它會將有價值的電子郵件或者電話號碼傳出另一套數據庫，以供安全局工作人員慢慢加以分析。

換句話來說，Accumulo為國家安全局帶來與谷歌同樣的電子郵件與網絡搜索分析能力——互聯網上的任意操作、通話過程中的全部內容，一切都在其掌控之中。

它的運行基于名為“迭代器”的特定服務器進程類型。這些代碼會持續處理輸入的信息并以新型模式生成反饋報告。由于查詢PB級數據庫并等待響應往往需要耗費大量時間，特別是不斷有新數碼加入進來的情況下，因此迭代器就像是一群不知疲倦的小螞蟻、日夜幫助國家安全局進行數據處理工作。

Accumulo還只是安全局武器庫中的成員之一。由Accumulo生成的融合數據會被傳輸至Palantir的分析數據庫及其Graph應用程序當中，能利用這些工具完成分析。Graph能夠根據屬性、關系以及基于此類關系的搜索行為在不同“實體”之間建立虛擬化連接——這些關系從概念上講類似于Facebook的Unicorn搜索與社交圖譜、谷歌的KnowledgeGraph以及微軟研究院的Satori。

Palantir這類工具只能與大數據庫中的小型子集協作，例如MARINA電話數據庫。不過由Accumulo實現的后端工作能從規模大到無法由分析工具管理的海量數據中抽取出數據集。由于安全局與其它社交網絡相互連通，關系類數據還擁有另一種處理源頭，這就是PRISM。#p#

PRISM也走后門

國家安全局監控互聯網通信的障礙之一在于SSL。從表面上看，以Gmail、Facebook以及原先也曾人氣爆棚的Hotmail這類“云”服務令分析難題更加難以克服，因為它們等于是在SSL的保護之下為會話加入更多交互機制。然而諷刺的是，這些通信服務本身反而降低了安全局利用PRISM方案收集受保護數據的難度。

根據國家安全局承包商Edward Snowden泄露出的圖片信息（已經由<華盛頓郵報>與<衛報>刊發），微軟公司早在2007年就開始為安全局方面提供數據。在這一計劃中，國家安全局開始訪問云服務背后的服務器并查看用戶數據，這等于是繞過了SSL保護機制、直接觸及存儲數據。

PRISM為國家安全局提供了一條與云供應商相通的網絡紐帶。不過目前對于安全局如何通過PRISM與云供應商對接還存在一些爭議。《衛報》與《華盛頓郵報》在文章中將其稱為通向服務器的“坦途”。不過《衛報》與《紐約時報》也報道稱，微軟表示其信息供應機制與DropBox非常相似，即設立一個由服務向安全局遞交數據的“安全在線空間”，且與其服務器內容同步。其中容納的信息包括用戶從何處接入服務、他們與哪些對象進行溝通、電子郵件中的原始數據以及共享的文檔等。其實聯邦調查局也一直在進行類似的信息收集工作，但有趣的是曝出這條新聞的正是其同行——中央情報局主管DavidPatraeus與他的傳記作家PaulaBroadwell。

國家安全局理論上可以將這些來自服務的元數據大量導出以實現內容搜索的全面性。然而事實上這根本不現實，理由很簡單——他們沒有那么大的存儲空間。安全局方面根本不可能親自保存包括電子郵件及附件在內的規模化應用程序數據。PRISM也允許安全局通過服務對特定對象的操作進行監控，包括臨場數據（在其上線時自動通知安全局工作人員）、即時消息、視頻與語音聊天以及利用服務實現的IP語音電話等。

國家安全局位于猶他州布拉夫代爾的數據中心正在建設之中，將配備澤字節級別的存儲能力。#p#

途徑與方式

有了收集得來的海量數據，我們就能很容易理解為什么安全局要在猶他州興建擁有澤字節級別存儲能力的數據中心了。另外，大家應該也能理解為什么隱私保護倡導者們會擔心政府方面可能濫用個人數據。

我們先把政策放在一邊，專注于審視當前監控體系的功能。國家安全局手中的技術能夠創建出覆蓋數億人口的地理與關系圖，其監控能力甚至超出了美國本土，這意味著我們的日常溝通都面臨著被侵入的威脅。安全局同樣有能力保護這些數據免受閑雜人等的窺探。而且在必要時，相信安全局也有能力讓信息遠離犯罪分子的覬覦。

即使已經開始著手建設如此龐大的數據中心，國家安全局仍然沒有能力收集整個互聯網的數據流量。但安全局事實上也不一定要通過捕捉全部信息來掌握特殊人士的動向——單是從流量中整理出的元數據已經足以勾勒出特定對象在網絡上的大體活動。

現在的問題不在于國家安全局能或者不能勘破個人用戶的數字化生活軌跡、并以“國家公敵”的形式動用一切力量打擊特定對象。真正的關鍵是，安全局方面是否有能力將管理政策落實到位、保證這種強大的感知能力不會被濫用。當然，安全局的內部數據庫肯定采用了更深入的信息劃分機制，但外界對于這種保障措施的嚴格程度無從知曉。

國家情報主任JamesClapper及其他一些美國官員稱，法律承諾這些數據“不會被用于故意針對任何美國公民、身處境外的美國人或者任何身處美國本土的人士。”然而EdwardSnowden的聲明告訴我們，光靠法律的制約還遠遠不夠，國家安全局需要出臺更嚴厲的措施來保證其項目承包商不會將這套搜索引擎體系用于個人目的。