數據中心制冷技術的應用及發(fā)展
1、前言
隨著云計算為核心的第四次信息技術革命的迅猛發(fā)展，信息資源已成為與能源和材料并列的人類三大要素之一。作為信息資源集散的數據中心正在發(fā)展成為一個具有戰(zhàn)略意義的新興產業(yè)，成為新一代信息產業(yè)的重要組成部分和未來 3-5 年全球角逐的焦點。數據中心不僅是搶占云計算時代話語權的保證，同時也是保障信息安全可控和可管的關鍵所在，數據中心發(fā)展政策和布局已上升到國家戰(zhàn)略層面。
數據中心是一整套復雜的設施。它不僅僅包括計算機系統(tǒng)和其它與之配套的設備(例如通信和存儲系統(tǒng))，還包含配電系統(tǒng)、制冷系統(tǒng)、消防系統(tǒng)、監(jiān)控系統(tǒng)等多種基礎設施系統(tǒng)。其中，制冷系統(tǒng)在數據中心是耗電大戶，約占整個數據中心能耗的30~45%。降低制冷系統(tǒng)的能耗是提高數據中心能源利用效率的最直接和最有效措施。制冷系統(tǒng)也隨著數據中心的需求變化和能效要求而不斷發(fā)展。下文簡要回顧和分析了數據中心發(fā)展各個時期的制冷技術應用，并展望了未來數據中心的發(fā)展方向。
2、風冷直膨式系統(tǒng)及主要送風方式
1994年4月，NCFC(中關村教育與科研示范網絡)率先與美國NSFNET直接互聯(lián)，實現(xiàn)了中國與Internet全功能網絡連接，標志著我國最早的國際互聯(lián)網絡的誕生。1998~2004年間中國互聯(lián)網產業(yè)全面起步和推廣，此時的數據中心正處于雛形階段，更多的被稱為計算機房或計算機中心，多數部署在如電信和銀行這樣需要信息交互的企業(yè)。當時的計算機房業(yè)務量不大，機架位不多，規(guī)模也較小，IT設備形式多種多樣，單機柜功耗一般是1~2kw。受當時技術所限，IT設備對運行環(huán)境的溫度、濕度和潔凈度要求都非常高，溫度精度達到±1℃，相對濕度精度達到±5%，潔凈度達到十萬級。依據當時的經濟和技術水平，計算機房多采用了風冷直膨式精密空調維持IT設備的工作環(huán)境，保證IT設備正常運行。
風冷直膨式精密空調主要包括壓縮機、蒸發(fā)器、膨脹閥和冷凝器以及送風風機、加濕器和控制系統(tǒng)等，制冷劑一般為氟里昂，單機制冷量10-120KW。原理如圖1所示。每套空調相對獨立控制和運行，屬于分散式系統(tǒng)，易于形成冗余，可靠性較高，具有安裝和維護簡單等優(yōu)點，是這個時期數據中心大量采用的空調方案。缺點是設備能效比較低，COP(Coefficient Of Performance)值小于3.0，室內外機受到管道距離限制。
圖1 風冷直膨式精密空調原理圖
風冷直膨式精密空調室內機一般部署在機房一側或兩側，機房內的氣流組織方式一般采用兩種：送風管道上送風方案和架空地板下送風方案。風管上送風方式是指在機房上空敷設送風管道，冷空氣通過風管下方開設的送風百葉送出，經IT設備升溫后負壓返回空調機。該方法的優(yōu)點在于安裝快速，建造成本低。缺點是受到各種線纜排布和建筑層高限制，送風管道截面無法做大，導致風速過高，送風量無法靈活調節(jié)。這種送風方式在低熱密度的機房應用較多。
圖2 風管上送風案例
地板下送風是另一種，即使是現(xiàn)在，也是大量數據中心項目中仍在使用和新建采用的一種氣流組織方式。這種方式利用架空地板下部空間作為送風靜壓箱，減少了送風系統(tǒng)動壓，增加靜壓并穩(wěn)定氣流。空調機將冷空氣送至地板下，通過送風地板通孔送出，由IT設備前端進風口吸入。該方法的優(yōu)點在于機房內各點送風量可以通過送風地板通孔率調整，同時，通過合理布置數據中心機房線纜和管道，可以少量敷設在地板下，保證美觀。缺點是隨著使用需求的增長和調整，地板下敷設的電纜不斷增加，導致送風不暢，甚至形成火災隱患。
圖3 地板下送風案例
3、水冷系統(tǒng)
2005~2009年間互聯(lián)網行業(yè)高速發(fā)展，數據業(yè)務需求猛增，原本規(guī)模小、功率密度低的數據中心必須要承擔更多的IT設備。此時的單機柜功率密度增加至3~5kw，數據中心的規(guī)模也逐漸變大，開始出現(xiàn)幾百到上千個機柜的中型數據中心。隨著規(guī)模越來越大，數據中心能耗急劇增加，節(jié)能問題開始受到重視。
傳統(tǒng)的風冷直膨式系統(tǒng)能效比COP(Coefficient Of Performance)較低，在北京地區(qū)COP約為2.5~3.0，空調設備耗電驚人，在數據中心整體耗電中占比很高。而且，隨著裝機需求的擴大，原來建設好的數據中心建筑中預留的風冷冷凝器安裝位置嚴重不足，噪音擾民問題凸顯，都制約了數據中心的擴容。此時，在辦公建筑中大量采用的冷凍水系統(tǒng)開始逐漸應用到數據中心制冷系統(tǒng)中，由于冷水機組的COP可以達到3.0~6.0，大型離心冷水機組甚至更高，采用冷凍水系統(tǒng)可以大幅降低數據中心運行能耗。
冷凍水系統(tǒng)主要由冷水機組、冷卻塔、冷凍水泵、冷卻水泵以及通冷凍水型專用空調末端組成。系統(tǒng)采用集中式冷源，冷水機組制冷效率高，冷卻塔放置位置靈活，可有效控制噪音并利于建筑立面美觀，達到一定規(guī)模后，相對于直接蒸發(fā)式系統(tǒng)更有建造成本和維護成本方面的經濟優(yōu)勢。
圖4 水冷系統(tǒng)
冷凍水系統(tǒng)應用最多的空調末端是通冷凍水型精密空調，其單臺制冷量可以達到150kw以上。送風方式與之前的風冷直膨式系統(tǒng)變化不大，僅僅是末端內的冷卻媒質發(fā)生變化，空調設備仍然距離IT熱源較遠，主要依靠空調風扇輸送空氣維持氣流組織。
4、水側自然冷卻和新型空調末端
2010~至今，隨著數據中心制冷技術的發(fā)展和人們對數據中心能耗的進一步關注和追求，自然冷卻的理念逐漸被應用到數據中心中。
在我國北方地區(qū)，冬季室外溫度較低，利用水側自然冷卻系統(tǒng)，冬季無需開啟機械制冷機組，通過冷卻塔與板式換熱器“免費”制取冷源，減少數據中心運行能耗。水側自然冷卻系統(tǒng)是在原有冷凍水系統(tǒng)之上，增加了一組板式換熱器及相關切換閥組，高溫天氣時仍采用冷水機組機械制冷，在低溫季節(jié)將冷卻塔制備的低溫冷卻水與高溫冷凍水進行熱交換，在過渡季節(jié)則將較低溫的冷卻水與較高溫的冷凍水進行預冷卻后再進入冷水機組，也可以達到降低冷水機組負荷及運行時間的目的。
圖5 水冷系統(tǒng)自然冷卻系統(tǒng)原理
傳統(tǒng)數據中心的冷凍水溫度一般為7/12℃，以北京地區(qū)為例，全年39%的時間可以利用自然冷卻，如果將冷凍水提高到10/15℃，全年自然冷卻時間將延長至46%。同時由于蒸發(fā)溫度的提高，冷水機組COP可以提升10%。另一方面，隨著服務器耐受溫度的提升，冷凍水溫度可以進一步提高，全年自然冷卻的時間也將進一步延長。目前國內技術領先的數據中心已經將冷凍水溫度提高至15/21℃，全年自然冷卻時間可以達到70%甚至更長。
水側自然冷卻系統(tǒng)雖然相對復雜，但應用在大型數據中心項目中的節(jié)能效果顯著。水側自然冷卻系統(tǒng)日漸成熟，已經成為我國當前數據中心項目設計中最受認可的空調系統(tǒng)方案。我國目前PUE能效管理***的數據中心也正是基于水側自然冷卻系統(tǒng)，全年PUE已實現(xiàn) 1.32。
在冷源側系統(tǒng)不斷演進發(fā)展的同時，新型空調末端形式也層出不窮。
傳統(tǒng)的機房精密空調機組結構形式相對固定，設備厚度一般為600mm，寬度為2500mm左右，風量約27000m3/h，其機組內部風速達到7米/秒，空氣阻力很大，風機大量的壓力損失在了機組內部，造成了很大的能量浪費。一般配置了450Pa風機全壓的空調機，機外余壓只有大約200Pa。
圖6所示的AHU風機矩陣是一種新型的空調末端，運行時由AHU設備的回風口吸入機房熱回風，順序經過機組內部的過濾器、表冷器等功能段。降溫后的空氣由設置在AHU前部的風機矩陣水平送入機房，冷空氣送入機房冷區(qū)，即機柜正面，冷卻IT后升溫排至熱區(qū)，即機柜背面封閉的熱通道內，向上至回風吊頂，又回到空調回風口，如此周而復始循環(huán)。這種新型的空調末端改變了機房布置和傳統(tǒng)精密空調機組的內部結構，大大增加了通風面積，截面風速可以控制在3米/秒以下，減少了空氣在設備內部多次改變方向并大幅減小部件布置緊湊導致的阻力。末端能耗最多降低約30%。
圖6 AHU風扇矩陣設備
行級空調系統(tǒng)(Inrow)和頂置冷卻單元(OCU)是一種將空調末端部署位置從遠離負荷中心的機房兩側移至靠近IT機柜列間或機柜頂部的空調末端側的優(yōu)化，形成了我們稱之為靠近負荷中心的集中式制冷方式。行級空調系統(tǒng)由風機、表冷盤管，水路調節(jié)裝置、溫濕度傳感器等組成，設備布置在IT機柜列間。行級空調通過內部風機將封閉通道的熱空氣輸送至表冷盤管，實現(xiàn)冷卻降溫， IT設備根據自身需求將低溫的冷通道空氣引入，通過服務器風扇排至封閉的熱通道，實現(xiàn)水平方向的空氣循環(huán)。行級空調系統(tǒng)(Inrow)因靠近負荷中心，因輸送冷空氣至負荷中心的距離減小，設備維持制冷循環(huán)所需的能耗會比傳統(tǒng)方式降低。頂置冷卻單元與行級空調系統(tǒng)制冷循環(huán)很相似，但頂置冷卻單元僅由表冷盤管、水路調節(jié)裝置、溫濕度傳感器等組成，設備本身不再配置風機，表冷盤管設置于機柜頂部。IT機柜風扇將排出的熱空氣聚集到封閉的熱通道內，通過熱壓的作用，熱空氣自然上升，經過機柜頂部的頂置冷卻單元表冷盤管降溫后，因熱壓作用開始下降，并再由IT機柜風扇吸進IT設備降溫，實現(xiàn)垂直方向的空氣循環(huán)。頂置冷卻單元(OCU)因其本身就沒有配置風扇，熱壓作用維持了空氣的自然流動循環(huán)，使得空調末端設備的能耗消耗降低至***至0。以華北地區(qū)某個應用了行級空調系統(tǒng)(Inrow)和頂置冷卻單元(OCU)冷卻技術的大型數據中心為例，年均PUE可實現(xiàn)1.3以下。
[page]
5、風側自然冷卻系統(tǒng)
與水側自然冷卻系統(tǒng)相比，風側自然冷卻系統(tǒng)(FreeCooling或Air-side economization)減少了能量轉換和傳遞環(huán)節(jié)，節(jié)能效果更加直接和顯著。風側自然冷卻系統(tǒng)是指室外空氣直接通過濾網或者是間接通過換熱器將室外空氣冷量帶入到數據機房內，對IT設備進行降溫的冷卻技術。根據室外空氣是否進入機房內部空間，可分為直接風側自然冷卻和間接風側自然冷卻系統(tǒng)。該技術實現(xiàn)冷源與負荷中心直接接觸，該系統(tǒng)不再通過傳統(tǒng)空調系統(tǒng)中制冷機組生產低溫冷媒對數據中心降溫，可顯著減少數據中心空調系統(tǒng)能耗。Google，F(xiàn)acebook等互聯(lián)網巨頭在美國、歐洲等氣候條件良好的地區(qū)建設的應用直接風側自然冷卻技術的數據中，PUE可實現(xiàn)接近1.07。
圖8 FACEBOOK案例照片和系統(tǒng)原理
如圖9所示，我國大部分地區(qū)全年平均氣溫在20℃以下，從溫度分布角度計算，非常適合采用風側自然冷卻方案。
圖9 我國年平均氣溫分布度
但是，風側自然冷卻方案不僅僅與環(huán)境溫度和濕度有關，室外空氣質量直接決定了風側自然冷卻方案的應用可行性。圖10反映了全球PM 2.5的分布情況，從中可以看出我國，尤其是華北地區(qū)的空氣污染情況非常嚴重，大氣環(huán)境中的水分(水分)、污染物(主要有SO42-，NO3-，CL-)和氧氣會使得IT設備上的金屬元器件加速腐蝕、非金屬元器件加速老化，對IT設備造成***性損壞。對國內多個地區(qū)的空氣質量的持續(xù)測試也印證了這一點(如圖11所示)。在如此惡劣的環(huán)境條件下，如果將新風直接引入機房，將直接威脅IT設備的安全運行，國內已經有多起由于直接新風的引入而導致IT設備故障的失敗案例，不僅造成了硬件損壞而且還影響了業(yè)務的正常運營。
