數據越多垃圾越多？如何收集、處理、分析更多的安全數據
安全遙測正在興起，但獲取洞見性及可運營化的數據依然困難，很多企業在這方面是落后于時代的。我們需要全行業的努力來扭轉這種局面。
安全團隊如今收集的數據可謂海量。企業戰略集團(ESG)的研究表明，38%的企業每個月安全運營中要收集、處理和分析10TB以上的數據。都是什么類型的數據呢?最大的數據源包括：防火墻日志、其他安全設備的日志數據、網絡設備的日志數據、反病毒(AV)工具產生的數據、用戶活動日志、應用日志等等。
值得指出的是，收集來的安全數據數量每年都在增長。事實上，28%的企業稱現在比2年前收集、處理和分析的數據量多了很多，而另外49%的企業稱當前處理數據量比2年前多了一些。
總的來說，這種對安全數據的癡迷是件好事兒。大堆數據中總會藏著少量有價值的精華。那么理論上，數據越多，等于精華越多。
然而，不幸的是，數據越多，垃圾數據也就越多。總有人得去梳理數據，轉譯數據，讓數據有意義，能使用。而且，基本的存儲問題也是存在的。是全部數據都存儲下來呢?還是定義某種價值分類方法，保留有價值數據，扔掉其他的?是集中存儲，還是分布式存儲?是放在自家內部網絡上，還是置于云端?還有，到底該怎么管理這所有的數據：關系數據庫管理系統(RDBM)?分布式多用戶全文搜索引擎Elastic?分布式系統基礎架構Hadoop?SIEM?
面對問題吧!安全就是個大數據應用，是時候統合安全行業和網絡安全人士，考慮安全數據問題，想出共有的解決方案了。
此處有些建議可供參考：
1. 我們需要倍加重視數據規范
是的，我們有一些標準格式，出自MITRE這樣的組織，比如STIX、TAXII、CVE列表等等。但常見的抱怨是，這些標準都太復雜了，而且主要用于美國聯邦政府。我們需要創建簡單的標準數據封裝，可以用在幾乎全部安全數據上的那種。
舉個例子，不用舍近求遠，就看看Splunk吧。該公司建議采用通用信息模型(CIM)標準，來規范所有數據。這樣就可以更容易地檢索數據，將數據置于上下文中理解，并能關聯不同系統中的數據元素。作為一個行業，我們需要的，是全部安全數據都能遵從類似CIM的一個開箱即用的模型，讓每個人都可以更輕松地處理數據。
2. 所有安全數據都應可通過標準API使用
除了通用格式，所有分析工具、SaaS產品，還有數據倉庫，都應提供通過標準API導入/導出數據的功能。比如這樣一個用例：公司網絡中有SIEM和網絡分析工具，但外包了終端檢測與響應(EDR)和威脅情報分析工作給SaaS提供商。當公司安全運營中心(SOC)團隊檢測到安全事件，他們應能通過想用的任意工具(或多個工具)，即時從所有源分析全部數據。
我們需要數據能通過標準API進行實時導入/導出，以便可以簡單有效地實時按需取用數據。
3. 企業需要分布式安全數據管理服務
今天的安全運營環境中，同樣的數據會在不同分析工具中收集處理多次。這樣非常浪費。為提升安全數據的效率和有效性，所有安全遙測都應通過分布式數據管理服務加以收集、處理、規范化并提供使用。
應澄清的一點是，數據并非就在分布式數據管理服務中加以分析。相反，數據應通過標準接口，以通用格式呈現給所有類型的分析工具。此類安全數據管理服務，還應負責基本的維護和安全操作。比如備份/恢復、歸檔、數據壓縮、加密等等。分布式安全數據管理服務可能會在內部存儲一些數據，然后自動過期并歸檔其他數據到更便宜的存儲上(如磁帶、云等)。注意：分布式安全數據管理服務，是ESG的SOAPA多層架構中的一層。
4. CISO必須擁抱人工智能和機器學習
鑒于安全數據規模的增長，知道數據的類型、位置、含義，清楚怎樣整合數據的人的數量，就顯得非常的小，且還在持續縮小中。幾乎可以斷定，我們實際上已經跨越了人類可以有效處理這些數據的那條線。是時候讓機器來做那繁重的多層數據分析工作，為人類總結歸納數據，只把困難的決策工作留給人類就好。
好消息是，已經有很多安全類AI創新，很多解決方案也走到了實用階段。壞消息是，市場上炒作太多，干貨太少。給CISO的建議是：貨物出門概不退換，買者自行小心，將大量資源投入研究、信息邀請書(RFI)/建議邀請書(RFP)和概念驗證項目中。
5. 盡量自動化，更多自動化
任何可被自動化的東西都應該自動化，包括數據收集、數據規范化、數據分發、數據分析和自動化修復。人類應降到安全數據周期的末端，專注困難的調查和決策。
面對現實，好心的安全團隊被如今龐大的數據量淹沒。他們奮不顧身，盡力而為，但現實結果卻冰冷殘酷：隨著安全數據規模上升，安全人員只能導出價值的增量部分。你甚至可以得出這樣的結論：更多安全數據需要的額外操作開銷，實際上會減少數據的價值——當今很多企業的現狀。
要讓增加的數據更有用，我們需要讓它更易于消費、分析和操作化。而要達到這一點，安全行業和網絡安全從業者需要精誠合作，共同努力。
【本文是51CTO專欄作者“”李少鵬“”的原創文章，轉載請通過安全牛（微信公眾號id:gooann-sectv）獲取授權】
