近日，谷歌(Google)第一次允許媒體記者進入該公司位于世界各地的數據中心進行參觀拍攝，向世人展示其迷宮一樣的世界。這些數據中心日以繼夜地處理著全球網民的搜索請求、Youtube視頻和郵件等。雖然本次公布的只是一些圖片和非常有限的視頻資料，且沒有詳細注釋說明，但如古老的諺語所述：一張圖片勝過千言萬語，今天我們將就這些有限的圖片管中窺豹，分別從制冷、機柜、服務器、建筑等方面做一些最粗淺的分析以饗讀者。

一、制冷篇

圖1是谷歌某個數據中心的內部場景。從該圖可以首先看出這個數據中心的冷站規模很大，整個房間管道林立，色彩斑斕非常好看。

圖1 谷歌某數據中心內部場景

空調管道采用了谷歌企業標準色來區分不同管路的功能。例如，綠色標注的是冷卻水回水管，黃色是冷卻水供水管、藍色是冷凍水供水管，深紅色和冷機側的粉紅色管是冷凍水回水管，白色的是消防管路，從而便于運維人員快速定位并查找問題。IT設備同樣也采用五種顏色的網線，加上不同數據中心不同主題的裝修風格，都是數據中心顏色標識管理的典范。

圖1的左側是大型冷水機組，右側是板式熱交換器，以便在室外溫度較低時候采用板換散熱實現水側節能(water-side economizer)。谷歌也非常重視數據中心的耗水問題，據他們估算，采用高效節能方式的數據中心每年可節約幾億加侖的飲用水。

從圖1還可以看出，有一些運營層面的小細節也考慮得非常周全。例如，管路屋頂等地方采用了很多的電動吊裝葫蘆鏈條，方便重型設備的吊裝維護或更換;又例如，管路底部采用了中間凹兩邊凸的滾輪型支撐，這樣會減少管路振動和拉伸形變產生的物理應力;還有，樓層間的豎管采用了U型彎曲以便減少水溫變化和建筑形變帶來的隱形損傷;冷機周邊地面也配備了應急排水口，等等。此外，在偌大的機房中，運營人員采用同樣運用了谷歌標準色的自行車來進行現場巡視。 #p# 

二、微模塊機柜篇

圖2為谷歌在美國俄克拉荷馬州的數據中心，整個機房在大量服務器LED指示燈的閃爍下顯得非常整潔和夢幻。

圖2 谷歌俄克拉荷馬州數據中心

從這個整機房的俯視圖看，數據中心采用了廠房式大開間框架結構。封閉熱通道的一排排機柜構成龐大微模塊陣列，機房頂部是供電網絡橋架和消防管路，服務器和交換機的狀態燈閃爍著，只有極少量的機房級照明。

整個數據中心面積很大，走道以及頂部空間都非常寬敞，但設備區卻較為緊湊。機柜間冷通道才兩塊磚多點的距離(標準磚寬度為600mm)，其中熱通道占用了大約兩塊磚的距離，而且服務器機柜的深度較短，也就一塊磚多些。

從圖2較近處還可以發現有些地方以藍色布簾密封。這些密封的地方應該是空缺的位置，是留給服務器機柜的，這也說明了谷歌的服務器部署是以機架為單位快速安裝部署的。用布簾密封可以隔絕冷熱氣流的混合，減少冷量的浪費，體現了精細化運營的思想。高密度的服務器采用全正面維護，頂部為密集的TOR交換機單元。

仔細觀察圖2還可以看出，谷歌采用了創新的空調置頂散熱方式。整個機房大環境作為冷通道提供冷量給服務器吸入，加熱后的熱空氣在封閉通道內上升，然后通過熱通道頂部的空調盤管制冷，并被幾個煙囪狀導風管和大散熱風扇重新循環回外部冷環境。這種空調置頂布局雖然存在著盤管漏水、更換維護較難等風險，并對產品質量和施工工藝要求非常高，但其氣流組織較為合理。例如熱氣流自動上升，冷氣流自動下沉，從而減少風扇的功耗，且機房大冷池環境可以作為緩沖池，減少局部空調故障引發的熱保護。

據相關資料顯示，谷歌微模塊(圖3)的整個熱通道溫度非常高，像個大烤箱，溫度可以高達49攝氏度，以至于一旦必須進去維護，那么服務器必須關掉才行。采用熱通道封閉可以提供一個較為舒適的現場運營環境，熱量被限制在熱通道中，并被冷凍水帶走。雖然大開間鐵皮廠房的冷量密封保溫特性不太好，但因為谷歌服務器的高溫工作特性(如圖3所示谷歌服務器的深度較短，大約只有600mm多的深度，散熱會比較容易)，送風溫度高達27攝氏度，因此這個較高溫度下的冷量傳遞損失不會很大，圍欄效應的影響幾乎可以忽略。

圖3 谷歌微模塊內的熱通道

圖3顯示了谷歌微模塊熱通道內部的一些細節。例如，熱通道寬度大約是兩塊標準地板磚，里邊安裝的是機柜頂部空調盤管的安裝支架和加固支撐，地板底下的快接軟管提供冷凍水給熱通道頂部的空調盤管。從冷凍水管的數量和密度上看，頂部空調盤管也做了模塊化冗余設計，是個很不錯的設計。服務器全正面維護，每臺服務器采用三個分布式較大風扇散熱，綠光來自服務器內部LED狀態燈。根據整機房以及微模塊內的照片，我們還可以猜測到，為匹配置頂空調。

谷歌的微模塊是6個機柜為基本單元來建設，每排機柜以3個機柜為最小顆粒不斷延伸。谷歌自行設計的服務器采用盡可能少的能耗，并控制風扇轉速到足夠低，只要服務器內部溫度不要超過設定值就可以了，處處都體現節能。

谷歌在供電和制冷等方面總能打破常規。例如，他們有些機房沒有采用商用的傳統UPS和精密空調方案。圖4則是谷歌創新的“三明治”服務器，谷歌還為此申請了專利。“三明治”服務器采用的是液冷散熱片，上下兩個服務器靠此散熱片內部的冷凍水以及循環風扇帶走熱量。

圖4 谷歌“三明治”服務器示意圖

當然，也不是谷歌的所有機房都采用這些創新的散熱方案，例如一些POD小機房(圖5)和網絡設備間(圖6)就采用傳統的散熱方案。圖6展示的網絡設備間采用了傳統的風管上送風或者地板下送風方式散熱，雙路冗余高可靠供電。不過，在這些傳統機房模塊中谷歌都采用了簡單低成本的塑料簾子隔離冷熱通道方案，避免了冷熱氣流直接混合短路，也大大提高了能源利用效率。

圖5 谷歌一POD小機房

圖6 谷歌某數據中心的網絡設備間

從谷歌早期發布的一個POD機房優化視頻中可以看出，通過一些精細化運營手段，例如機房CFD仿真改善氣流組織、采用冷熱簾隔離、提高送風溫度、安裝藍色LED燈用于照明等措施，可以使數據中心PUE值從原來的2.4降低到1.5以下。這也說明即使不用費心創新，單純采用運營優化也可以實現較好的節能效果。 #p# 

三、谷歌服務器篇

步入谷歌的大型數據中心，整個機房的服務器陣列非常整齊壯觀，海量的服務器風扇同時運轉帶來巨大的噪音，以至于進入數據中心必須佩戴防噪耳塞。

圖7 谷歌數據中心的服務器陣列

從圖8和圖9可以看到谷歌的服務器上架有兩種配置方式，分別是低密方式——每機柜約放置十五六臺服務器，以及高密方式，每機柜接近三十臺左右(可能采用類似Facebook的1.5U高效風扇設計)。

圖8 低密度機柜

圖9 高密度機柜

除開密度不一樣，共同的地方則是都采用了TOR交換機置頂，PDU和網絡快速接口都在左側。每臺服務器含有2個或者更多的子機，服務器沒有前面板也無上蓋板，這樣不僅成本更低，散熱也更好。而且服務器通常很短，采用不同顏色的網線做功能區分。網線和電源線采用快插接口，即插即用。機柜底下滾輪設計方便整機架快速部署和搬遷，全正面維護，方便現場快速維修和免工具更換。

透過這些照片，也可以看到不同版本不同類型的谷歌服務器設計。和早前發布的帶鉛酸電池服務器設計不一樣，新版本的服務器結構更為方正美觀。最關鍵的是，這些自行打造的服務器要比標準的商用服務器要便宜不少。

盡管仍被視為互聯網公司，谷歌實際上已經成為世界上最大的硬件制造商之一，因為它的設備多數是自己制造的。

1999 年的時候，谷歌基礎設施高級副總裁Urs Hölzle[zy1]從“三個開電子商店的家伙”那里買了 2000 個剝離下來的電路板。通過改造，去除不必要的部件，谷歌構建了自己的服務器。DIY服務器的價格是1500美元，而當時的商用機價格約為5000美元，考慮到其上百萬量級的服務器設備，那么DIY服務器帶來的成本節約會是天文數字。

谷歌DIY的服務器簡單易維護。如果服務器出了故障，甚至可以免工具快速維修，實在無法維修則直接報廢拆解成電子垃圾回收。并且，谷歌在定制的服務器內部安裝了分布式的帶電池UPS，可以省掉傳統數據中心大量UPS的采購成本。而且該內置UPS可以實現供電效率99.9%，相比傳統的UPS方案也實現數據中心總節能15%，這在能源緊張運營電費高漲的今天無疑是非常大的費用節省。

圖10 谷歌工作人員在維修服務器

為了統一管理自己的服務器，谷歌開發了一個軟件系統。數據中心管理者能夠通過這個系統指揮數千個電腦，如同一個計算機一樣。在 2002 年的時候，谷歌開發了谷歌 File System，可以在不同的機器上順利地傳送文件。MapReduce則是谷歌為編寫云端服務而開發的系統，它的開源版本Hadoop已經成為業界標準。

此外，谷歌還開發了一個自動化的決策系統 Borg，用于決定哪個機器最適合某項任務。這對服務器集群的穩定性提出了更高的要求。為此，谷歌內部有一個團隊，叫做 SRE(網站可靠性工程團隊)，他們的任務就是使用各種方法，對服務器進行破壞，以檢測公司進行危機處理的能力。每年，SRE都會進行一次虛擬的戰爭，叫做DiRT(disaster recovery test)。攻擊是虛假的，但是幾乎和現實一樣，危機管理人員必須按照處理程序來做，如果他們不能找出處理方式，攻擊就必須停止，以免影響到真正的用戶。

谷歌公司內部的某個墻上展示著一排排的主板，那些代表著谷歌成立以來自己打造的不同時代的服務器。其中有一塊標明著2008年7月9日，那是谷歌有史以來的第一百萬臺服務器，但這是個累計的數字，并不意味著那個時間谷歌已經擁有百萬臺服務器的規模。 #p# 

四、數據中心建筑篇

谷歌在數據中心選址上非常謹慎。以谷歌位于哥倫比亞河畔的Dalles數據中心(圖11)為例，谷歌喜歡將數據中心建設在河流旁邊開闊的谷地。而且，可以看出其典型的建筑風格是大開間低層廠房結構，多為結構較為合理的長條矩形狀。大型架空冷卻塔和底下的儲冷罐位于建筑邊上，附近是兩個為數據中心配套的變配電站。直接采用附近水電站便宜的綠色充足水電來給數據中心供電，空氣質量很好。

圖11 谷歌Dalles數據中心

圖12 谷歌Dalles數據中心平面布局圖

類似選址的還有谷歌建于比利時的數據中心(采用運河的水處理后來散熱)，以及芬蘭灣哈米納數據中心(直接采用海水來給數據中心散熱)，而不像國內，許多大型數據中心受限于種種原因多建在沿海城市，忍受著空氣質量不好、電力容量少電費高、多層建筑租金昂貴等多種弊端。

總之，谷歌的數據中心選址多位于能源較為豐富、氣候條件較好的地方。一則可以大量使用綠色低成本的能源，二則還可以利用較為優越的地理氣候條件實現更為節能的自然冷卻。目前谷歌主流的數據中心年PUE值基本可以達到1.2以下的水平。且數據中心和周邊自然環境融合很好，數據中心周圍倘佯的小鹿、漫山的野花、氤氳的冷卻塔蒸汽、靜謐的河流以及雪地垂釣等，都體現了人與自然的和諧相處。

五、結語

谷歌非常注重自己的信息安全，例如谷歌會將使用過的硬盤全部銷毀。就數據中心的創新技術而言，Hölzle說：“谷歌付出了鮮血、汗水和眼淚，也希望其他公司也能付出自己的艱辛來自己打造，成就更多的發現和偉大。”

雖然谷歌這次如此大規模地公開其數據中心的秘密，但谷歌所透露的都是通常一兩代之前的技術。至于谷歌當前的技術究竟發展到什么水平?我們還不得而知，但谷歌自己說過，一旦他們自己的員工看過了谷歌正在打造的2013年下一代數據中心和服務器集群，那么他們將無比抱怨目前的這些設計。

即便如此，本次披露的這些數據中心也像是一件件精美的藝術品，使用的技術也都是業界非常領先的技術。我們在拭目以待谷歌更多更新數據中心技術的同時，應該從這些資料中學習并理會其思想，以同樣孜孜不倦的創新精神去實現構建完美的數據中心。