雅虎構建終極私有云:可按需擴展
設想一下,一個每秒處理150萬個請求的網站需要什么樣的基礎設施。這正是雅虎負責云架構的副總裁托德·帕帕約安努(Todd Papaioannou)面臨的挑戰之一。
帕帕約安努上個月在加州圣克拉拉舉行的云領導人論壇會議上發表演講時稱,“什么是我最大的痛點?不是谷歌。我最大的問題是彈性。虛擬機須馬上啟動,但是虛擬化還沒有準備好。當日本海嘯、本·拉登死亡或者邁克爾·杰克遜去世等突發新聞引起雅虎流量達到高峰的時候,用10到20分鐘來處理這個高峰流量的時間是太長了。”
這是雅虎建立自己的終極私有云的原因。“對于建立私有云來說,我不是指一個虛擬化的服務器集群,我是指一個能夠迅速擴展和收縮的基礎設施。”
使用公有云也不能解決這個問題。帕帕約安努預測稱,依靠亞馬遜的彈性塊存儲服務,啟動一個虛擬機實例需要20至40分鐘。
雅虎是最流行的互聯網網站。它每天要處理40萬臺服務器提出的網頁申請。雅虎支持6.80億注冊用戶,存儲200多PB數據,其中多數存儲在4.2萬臺Hadoop服務器中。它每天收集和處理1000億個事件,每秒處理1150萬個請求,每個月處理110億個網頁。
帕帕約安努稱,“私有云并不只是漂亮的營銷短語。當通訊高峰出現時,我們目前的唯一選擇是‘分級卸載工作量’。這意味著私有云將暫停一些低等級的工作量或者把這種工作量從服務器中刪除,把這些服務器專門用于高峰工作量。低優先等級的工作量包括運行批量工作量的服務器。”
在雅虎私有云堆棧的底部是兩層帕帕約安努考慮的“基礎設施即服務”(IaaS)。這是一個熟悉的詞匯,表示提供多租戶裸機硬件的公有云提供商。在雅虎的案例中,它不與任何人共享其數據中心。相反,雅虎有一個名為“云結構”的用戶開發的抽象層。它能夠把整個計算機/數據中心資源池看作是一個池,并且在分配任務的時候不考慮它們的物理位置在什么地方。
在這個版本的基礎設施即服務的下一層是“云服務”,如負責全球負載平衡的雅虎緩存代理。“通訊服務器”等服務在這里。通訊服務器是一個開源軟件內容緩存工具。雅虎在2009年把它發布給開源軟件社區。
這個堆棧的下一個部分與平臺即服務(PaaS)有關。在公共云中,這意味著包括操作系統和中間件軟件在內的一個租借的地方。在雅虎的案例中,這就是Hadoop。在另一個時代Hadoop一直被稱作網格計算引擎。在目前的詞匯中,Hadoop是用于分布式處理計算機集群中的大型數據集的一個開源軟件。
下一層是是帕帕約安努所說的雅虎秘笈:知識即服務。這包括使廣告與內容匹配的網絡對象的其它應用。這個應用對廣告、相關的鏈接和其它用戶內容進行分析、排序、優化和排名。
在這個堆棧的頂部是“軟件即服務(SaaS)”或者稱作雅虎媒體服務。這包括網絡電視、雅虎開發人員網絡、Front Page、郵件、Messenger以及用戶生成的內容。


















