流量監(jiān)控和分析解決方案的虛擬化仍然缺乏我們在過去十年中在IT行業(yè)的許多其他領(lǐng)域觀察到的虛擬化方法。收集日志、事件和告警的管理應(yīng)用程序已經(jīng)設(shè)計成軟件并進(jìn)行了虛擬化，但是分析網(wǎng)絡(luò)流量并創(chuàng)建這些信息的繁重工作仍然基于繁重的方法:使用昂貴、復(fù)雜且不靈活的專有應(yīng)用程序?qū)崟r處理流量。即使以硬件為中心的網(wǎng)絡(luò)部門也在虛擬化交換機(jī)和路由器，但許多網(wǎng)絡(luò)分析解決方案仍然使用專有硬件。

然而，下一代網(wǎng)絡(luò)可見性平臺現(xiàn)在支持流量分析應(yīng)用程序的虛擬化，從而迎來了用于網(wǎng)絡(luò)、應(yīng)用程序和安全操作的軟件定義分析應(yīng)用程序的時代。這允許更靈活的分析，更好的理解，以及最重要的是更經(jīng)濟(jì)和可擴(kuò)展的方法，這是安全行業(yè)真正需要的。

HeavyIron用于網(wǎng)絡(luò)流量分析

如今，監(jiān)控網(wǎng)絡(luò)流量主要是硬件密集型的，很難跨企業(yè)的許多交付平臺和位置進(jìn)行擴(kuò)展。但是，監(jiān)控流量對于評估網(wǎng)絡(luò)和應(yīng)用程序性能，特別是檢測安全威脅至關(guān)重要。由于不同的分析目標(biāo)，許多解決方案分析相同的流量，每個解決方案都在自己的專有硬件上，導(dǎo)致重復(fù)的流量，甚至產(chǎn)生更多的硬件來處理和存儲不斷增長的流量。

長期以來，一直存在一個問題，即網(wǎng)絡(luò)和安全操作如何構(gòu)建一個可伸縮的、具有成本效益的系統(tǒng)來解密和分析不斷擴(kuò)大的網(wǎng)絡(luò)流量。幾十年來，服務(wù)器和存儲基礎(chǔ)設(shè)施已經(jīng)成功且高效地虛擬化了計算和存儲組件。甚至在過去幾年的網(wǎng)絡(luò)中，交換機(jī)、路由器和防火墻都已經(jīng)虛擬化了。虛擬化在流量監(jiān)控和分析中的應(yīng)用仍然是一項新興技術(shù)。網(wǎng)絡(luò)和應(yīng)用程序管理系統(tǒng)、SIEMs和soar是虛擬化的，因為流量是可管理的，時間不太敏感——但當(dāng)需要處理太多數(shù)據(jù)時，即使是這些系統(tǒng)也可能會遇到困難。在大多數(shù)情況下都需要專用硬件，特別是當(dāng)網(wǎng)絡(luò)流量超過10gbps時。

當(dāng)這個模型被復(fù)制到許多需要實時流量分析的應(yīng)用程序中時，就會產(chǎn)生許多“煙囪式”解決方案。這些解決方案使用專門的NIC卡捕獲和分析相同的流量，擁有在fpga上或跨多個處理器同時運行的定制分析引擎，能夠?qū)崟r跟蹤傳入流量的分析，然后存儲結(jié)果并丟棄底層流量。

這些技術(shù)的成本和規(guī)模限制了IT部門對網(wǎng)絡(luò)運營的洞察力，不僅限制了可以分析的通信量，而且只保留了任何事件或觀察的概要細(xì)節(jié)。另一個限制是丟棄對以后的根本原因分析非常有價值的底層數(shù)據(jù)。因此，部署通常集中在關(guān)鍵的聚合站點，如網(wǎng)絡(luò)入口-出口點(南北)，但它可能在其他地方(如內(nèi)部核心網(wǎng)絡(luò)或高價值內(nèi)容)有益或需要。對于那些經(jīng)常依賴于網(wǎng)絡(luò)或端點設(shè)備生成的事件和流數(shù)據(jù)的IT組織來說，這將創(chuàng)建進(jìn)一步抽象的元數(shù)據(jù)，以更少的洞察貢獻(xiàn)更多的數(shù)據(jù)。

可擴(kuò)展性和經(jīng)濟(jì)可行性

網(wǎng)絡(luò)數(shù)據(jù)包代理是解決這個問題的初始步驟。IT部門很久以前就發(fā)現(xiàn)，為每個應(yīng)用程序單獨使用網(wǎng)絡(luò)線路是低效的，并且會產(chǎn)生額外的故障點。這促使了包代理的引入，它聚合來自網(wǎng)絡(luò)中多個點的流量，過濾掉不需要的流量，戳戳數(shù)據(jù)包，為每個工具復(fù)制和負(fù)載平衡流量，并解密通信。盡管包代理接管了某些網(wǎng)絡(luò)流量分析，如NetFlow流量分析，但大部分分析負(fù)載仍然依賴于分析應(yīng)用程序和它們自己的硬件。

此外，過濾掉可能不重要的流量而不分析它(例如，來自應(yīng)用程序性能監(jiān)視的YouTube流)對于某些應(yīng)用程序是有效的。然而，特別是在安全方面，現(xiàn)在所有的流量都是開放的。因此，限制可見性將流量排除在分析之外，并增加錯過導(dǎo)致大規(guī)模利用的一次攻擊的風(fēng)險。然而，這種方法的主要挑戰(zhàn)是，NVF仍然通過流量激增和峰值，并且流量以很高的速率再現(xiàn)，這要求分析應(yīng)用程序依靠大量的處理來正確地評估峰值速率下的數(shù)據(jù)。

翻轉(zhuǎn)網(wǎng)絡(luò)分析

我們現(xiàn)在需要考慮虛擬化網(wǎng)絡(luò)流量分析，以利用虛擬化環(huán)境的可伸縮性。本質(zhì)上，我們需要重新思考流量分析架構(gòu)。

網(wǎng)絡(luò)流量可見性平臺包括應(yīng)用程序需要檢查的所有信息，同時允許可靠的流量分配和消耗。如果需要進(jìn)一步處理，則可能啟動分析引擎的一個新的虛擬實例

現(xiàn)在，每個流量分析應(yīng)用程序都捕獲流量，進(jìn)行實時分析，并存儲元數(shù)據(jù)發(fā)現(xiàn)。展望未來，我們需要重新考慮這種方法，進(jìn)一步集中分析中的流量捕獲和存儲，允許監(jiān)視應(yīng)用程序進(jìn)行近乎實時的分析。這種新策略將進(jìn)一步的通信量捕獲、解密和存儲功能集中在一個平臺上，并允許利用軟件api分配通信量。現(xiàn)有的NVF技術(shù)只集中了流量聚合。通過存儲數(shù)據(jù)，這實際上擴(kuò)展了NVF的能力來控制時間，將包代理和包捕獲解決方案的優(yōu)點結(jié)合到一個單一的、統(tǒng)一的平臺中。

這創(chuàng)建了一個網(wǎng)絡(luò)流量可見性平臺，其中包括應(yīng)用程序需要檢查的所有信息，同時允許可靠的流量分配和消耗。如果需要進(jìn)一步處理，則可以在可靠地捕獲流量并在幾乎實時或?qū)崟r的情況下隨時可用時啟動分析引擎的一個新的虛擬實例，無論何時啟動資源，都不會丟失一個包。

這大大改變了方法。分析應(yīng)用程序現(xiàn)在可以實時甚至接近實時地運行，而不是失去流量，而不是大型分析和計算基礎(chǔ)設(shè)施在無法跟上流量時失去對信息的訪問。額外的優(yōu)點是，任何事件周圍的實際網(wǎng)絡(luò)流量都可以用于詳細(xì)的取證分析，從而更深入地了解事件前后的活動。這種回溯分析與網(wǎng)絡(luò)安全尤其相關(guān)，因為新的攻擊方法可能已經(jīng)存在，但未被發(fā)現(xiàn)。

這種進(jìn)一步集中流量收集的方法能夠以極高的速率存儲和分發(fā)，允許在較便宜的服務(wù)器上虛擬化資源密集型的流量分析和操作，從而消除昂貴的專有硬件。網(wǎng)絡(luò)可見平臺吸收了流量峰值和增長，因此針對平均流量消耗的設(shè)計成為常態(tài)，延長了當(dāng)前監(jiān)控和分析設(shè)備的壽命，并推遲了必要的改進(jìn)。隨時數(shù)據(jù)訪問提供了對任何事件(事件前和事件后)的快速數(shù)據(jù)包訪問，提供了識別威脅或問題嚴(yán)重性、影響和緩解措施的上下文。虛擬化分析允許軟件定義的流量監(jiān)控和分析，在降低總擁有成本的同時，創(chuàng)建更好的可視性和洞察力。