上周，Google一反常態的公布了其數據中心的內部照片，這引起了所有科技愛好者的關注。這比互聯網的新對手Facebook公布自己數據中心的設計晚了18個月。除了照片，Google只附加了小學生看書說話式的文字。而Facebook將數據中心的設計藍圖全部公開，任何人可以參考。

圖：James Hamilto

過去，數據中心被Google視為核心技術，因此Google對自己數據中心的細節總是三緘其口。一般而言，每當Google公開一項技術，意味著Google已經掌握了更先進的技術。即便如此，已經被Google“解密”的技術依然值得深入研究、學習。(注：作者James Hamilton目前系AWS專注數據中心效率研究的副總裁，此前供職于微軟未來數據中心團隊。)

但這些公開的照片有些不平常，這些照片來自Google正在使用的數據中心，看來Google已經掌握了更深層次技術，這些照片并不會給競爭對手透露核心機密。Google并沒有披露這些照片的細節，Google提供的文字描述語焉不詳。我發現Google數據中心的機械設計值得注意，于是我花時間對其進行了研究。為了更好的了解Google數據中心的特別之處，讓我們先了解傳統的數據中心的硬件架構。

圖：傳統數據中心硬件構架

傳統的數據中心設計方案有太多顯而易見的問題，這些方案已經使用了40年，無法與時俱進。最明顯的問題在于：

沒有冷/熱風道，這讓冷熱空氣泄露并與混合;

空氣處理室(CRAH)與服務器之間的距離太遠，傳輸空氣的成本非常昂貴;

這是一個封閉的系統，熱空氣被冷卻后循環使用，而不是將熱空氣排出，讓新鮮的冷空氣來冷卻服務器。

Facebook Prineville Oregon的數據中心就是一個***的案例：

圖：Facebook Prineville數據中心硬件架構

我是一個Facebook Prineville數據中心的粉絲。Facebook徹底拋棄了水冷設備，它們不僅昂貴而且費電。(CSDN注：Facebook在Prineville的數據中心地處在喀斯開山脈的雨影區，空氣干燥而干凈，晝夜溫差大，夜間只有4攝氏度，適宜采用自然空氣冷卻。詳見：《Facebook開源數據中心王國》)全部使用彼此隔離的風道，室外的熱空氣通過蒸發皿降溫，數據中心所在的建筑被看作一個巨大的整體，散熱效率非常高。#p#

讓我們看看Google愛荷華州的Concil Bluffs數據中心：

圖：Concil Bluffs數據中心內部

你可以看到一張經過挑選的照片，一個巨大的房間，而不是被分成若干獨立的區域。完全采用風道設備，徹底避免服務器或機架產生的空氣泄露。冷空氣直接流入服務器，熱空氣并不會流回，而是通過熱交換器將熱量傳遞出去。空氣流動控制格外重要，空氣流動經濟性(air-side economization)是提升散熱效率的關鍵。提高空氣流動經濟性的關鍵是讓冷空氣流入服務器，而不是讓服務器排出熱空氣(Facebook采用了全封閉的風道來提高空氣流動經濟性)。

通過這些照片，我們看到Google全面進行了顛覆性的嘗試。Google把整個建筑視為風道的一部分，并沒有完全棄用水冷系統，而是將其升級進化，從而提高水冷系統的效率。通過Google在芬蘭Hamina數據中心照片，我們看到在熱風道上多組熱交換器。

圖：Hamina數據中心內部

氣流如何工作?

在Mayes County數據中心這樣照片里，我們看到數以百計的風扇直接將熱空氣排入密閉的風道，從冷卻塔來的冷水通過包裹金屬外層的水管輸送到風道頂端的熱交換器，熱空氣迅速被冷卻避免在風扇周圍聚集。

圖：Mayes County數據中心巨大的風道。大量的風扇將熱空氣排入風道，不銹鋼包裹的水管將冷水輸送到頂部的熱交換器。

數據中心內部保持80華氏度(約等于26.67攝氏度)，略高于其它數據中心。80華氏度的空氣進入服務器內部，然后被加熱。服務器后部的風扇將被加熱到 接近120華氏度的空氣排入封閉的風道，熱空氣上升，并被頂部的熱交換器冷卻，被冷卻的空氣會從下方的活動地板排出。Google數據中心高級總監Joe Kava表示：“一旦水冷管泄露，后果非常嚴重。我們的設計經過了多年考驗，萬無一失。”

水冷的核心優勢是輸送水比輸送空氣成本更低，而且水的熱容積更大。Google的設計思想是盡可能讓水通過各種方式到達機架，這并不是工業界***次這么做，但Google做的幾近***。IBM的iDataPlex也將水直接通到機架后面，許多高密度的HPC系統也采用了這種方式。

固然直通到機架的水冷系統擁有高效率，但我更青睞空氣流動經濟系統。任何一個系統都可以屏蔽戶外的熱空氣，并讓冷空氣長途跋涉輸送給服務器(請見本文***張圖片)。我依然傾向將外部空氣輸送到服務器的方法，然而，隨著服務器密度不斷增加，單位空間的功率也隨之增長，水冷系統就十分必要了。正如Google將水冷系統覆蓋到服務器，亦如IBM在上世紀80年代采用的熱導模塊。熱導模塊在當時是非常先進的水冷系統，由Green Revolution Cooling提供，該公司還使用了將服務器完全浸入油中的冷卻方式。