在過去的幾年里，企業已經紛紛認識到大數據中蘊藏著海量有價值的信息這一事實。供應商都開始狂熱地致力于開發大數據分析新技術，如Hadoop Map/Reduce、Dryad、Spark和HBase，以便有效地將這些數據轉換成有價值的信息資本。而這一趨勢無疑將受益于另一種新技術的出現：軟件定義的網絡(SDN)。

所謂的大數據，其實大部分是非結構化的數據。雖然結構化的數據更符合傳統的數據庫架構，而非結構化的數據則較難處理。舉個例子來說，對于視頻存儲數據而言。雖然視頻文件的格式、文件大小、和源IP地址都是結構化數據，但視頻內容本身并不適合固定長度的字段，都是非結構化的。而從大數據分析中獲得的大部分有價值的數據信息均來自于非結構化數據的搜索和查詢功能。例如，從視頻剪輯中的成千上萬張面孔中使用面部識別算法挑選出一個人。

該技術針對的是需要通過高速以太網連接的服務器上的成千上萬大型集群數據進行快速有效的并行計算解析的問題。因此，大數據的智能挖掘處理過程主要包括如下三步：1)數據分割成多個服務器節點;2)并行分析每個數據塊;3)合并結果。

通過連續重復這些操作，直到對整個數據集完整進行了分析。

由于這些并行計算拆分合并的性質，可以將大數據分析放置在一個具有重大的負載的底層網絡。即使是采用世界上處理速度最快的服務器，數據處理速度也依然是大數據處理速度方面最大瓶頸。大數據只能是盡可能快地保持與網絡傳輸相同的速度在拆分合并階段在服務器之間傳輸數據。例如，Facebook的一項跟蹤研究表明，這種數據連續傳輸占到總運行時間的33%，而對于許多工作而言，通信階段就超過了運行時間的50%。

通過解決這一網絡瓶頸，我們可以顯著加快大數據分析的步伐。其具有雙重的意義：1 )更好地利用集群管理為提供基礎設施的云服務提供商降低TCO;2 )更快的完成處理工作，幫助基礎設施租戶實現實時分析。

我們需要的是一個智能化的網絡，通過每個階段的計算，自適應的調整，以適應數據傳輸分割與合并階段的帶寬要求，不僅提高速度，而且還提高了帶寬利用率。

SDN的作用

軟件定義的網絡在建立用于大數據分析的智能自適應網絡方面具有巨大潛力。由于控制和數據面板的分離，SDN提供了一個良好的定義編程接口，使得智能軟件編程網絡是高度可定制的、具備可擴展性和靈活性，以滿足大數據的需求。#p#

SDN可以根據需求配置網絡，以充分滿足虛擬機計算的大小和形狀要求，進而達到最佳狀態。這直接解決了大數據需要大規模并行應用程序所面臨的處理速度較慢的最大挑戰。處理速度緩慢是因為大多數虛擬機的大數據應用程序計算都花費了相當大量的時間用于等待大量數據分散聚集到達操作平臺，以便可以開始處理。利用SDN，網絡可以按照需求和容量規模在拆分合并操作過程中創建安全的途徑，從而大大減少了等待時間，因此總的處理時間也就隨之減少了。

這種軟件定義的網絡非常智能，基本上可以了解應用程序需要從網絡上獲得什么資源，以便獲得更好的精度和效率提供給大數據應用程序。原因是兩方面：1)存在明確的計算和通信模式，如Hadoop Split-Merge分析或Mapreduce paradigm; 2)存在一個集中的管理結構，使得利用應用程序層面對信息成為可能，例如Hadoop Scheduler或HBase Master。

借助SDN控制器所具有的底層網絡狀態的全局視圖，智能軟件可以準確地通過編程網絡解析應用程序的需求。

SDN還提供了其他協助管理、整合和分析大數據的功能。新的SDN面向包括OpenFlow和OpenStack等網絡協議，使網絡管理更加容易，更加智能化，自動化程度更高。OpenStack使設置和配置網絡元素所需的人力少了很多，OpenFlow有助于網絡自動化獲得更大的靈活性，以支持新的需求：如數據中心自動化、BYOD趨勢、安全和應用程序加速。

從規模的角度來看，SDN在發展針對大數據的網絡基礎設施方面也起著至關重要的作用，便于簡化管理成千上萬的開關，以及增強供應商之間的互操作性，加快了網絡基礎建設和應用程序開發。OpenFlow協議與任何供應商的OpenFlow設備兼容，這種互操作性不會阻礙企業利用專有解決方案將大數據轉化為信息資本。

鑒于大數據強大的影響力和潛在的價值越來越清晰，確保企業網絡為擴展到這些新興的需求做好準備將是一個關鍵性的步驟，進而確保企業的長期業務成功。很顯然，一個成功的解決方案將充分利用兩大關鍵要素：大數據應用程序所提供的存在模式和網絡SDN所提供的可編程性。從這個角度來看，SDN的確是為使得網絡適應更遠、更快、駕馭更大知識量和保持創新的步伐做好準備過程中發揮了重要作用。

本文作者Bithika Khargharia是一位高級工程師，專注于極端網絡架構和垂直解決方案。在技術研究和開發領域擁有包括曾供職于思科的超過十年的經驗。Bithika在跨行業系統工程方面的經驗包括綠色技術、可管理性和性能、服務器、網絡和大型數據中心架構、分布式(網格)計算、自動化計算和軟件定義的網絡。