引言
伴隨著云計算、大數(shù)據(jù),特別是人工智能技術的創(chuàng)新發(fā)展,承擔大量數(shù)據(jù)計算和存儲的數(shù)據(jù)中心,需要更高效的冷卻方案來滿足業(yè)務發(fā)展的需要。在解決高熱密度數(shù)據(jù)中心的散熱問題方面,液冷具有傳統(tǒng)數(shù)據(jù)中心空調系統(tǒng)無法比擬的優(yōu)勢,同時能耗更低。

一、什么是液冷?
液冷是指使用高比熱容的液體作為熱量傳輸工質,滿足服務器等IT設備散熱需求的冷卻方式。液冷技術并非近年才出現(xiàn)——早在上世紀60年代,IBM的大型計算機就已采用水冷技術。目前液冷技術主要應用于高性能計算領域。
二、液冷的主要類型
按照液體與發(fā)熱器件的接觸方式,液冷主要分為間接接觸型液冷和直接接觸型液冷兩大類。
1. 冷板式液冷(間接接觸型)
冷板式液冷將主要發(fā)熱器件固定在冷板上,依靠流經(jīng)冷板的液體將熱量帶走,是典型的間接接觸型液冷。由于硬盤、電源等其它發(fā)熱部件依然需要風扇驅動空氣散熱,因此采用冷板式液冷的服務器也稱為“氣液雙通道服務器”。
技術特點:
-
經(jīng)過多年發(fā)展,技術相對成熟
-
BAT等互聯(lián)網(wǎng)巨頭在開放數(shù)據(jù)中心峰會上均有方案展示
-
對現(xiàn)有數(shù)據(jù)中心架構影響較小
-
具有低噪音、高能效、低總體擁有成本(TCO)的特點
-
可有效解決較高熱密度數(shù)據(jù)中心的散熱問題
2. 浸沒式液冷(直接接觸型)
浸沒式液冷將發(fā)熱元件直接浸沒在冷卻液中,依靠液體的流動循環(huán)帶走IT設備運行產(chǎn)生的熱量,是典型的直接接觸型液冷。
技術演進:
-
早期方式:將服務器浸沒在特殊設計的箱體(TANK)中,但降低了數(shù)據(jù)中心建筑空間利用率
-
改進方式:部分廠商為服務器定制設計外殼,將每個服務器和冷卻液包裹起來,在不改變現(xiàn)有數(shù)據(jù)中心部署架構的前提下優(yōu)化空間利用率
技術優(yōu)勢:
-
發(fā)熱元件與冷卻液直接接觸,散熱效率更高
-
完全沒有風扇,噪音更低
-
可解決更高熱密度場景的散熱需求,更加節(jié)能
三、冷卻液的主要類型
1. 水
主要是去離子純凈水,廣泛應用于制冷系統(tǒng)中。
優(yōu)點:
-
比熱容高,散熱性能良好
-
價格低廉,環(huán)境友好無污染
-
可與現(xiàn)有系統(tǒng)兼容
缺點:
-
非絕緣體,只能應用于非直接接觸型液冷技術
-
一旦發(fā)生泄漏會對IT設備造成致命損害
2. 礦物油
價格相對低廉的絕緣冷卻液。
優(yōu)點:
-
單相礦物油無味無毒,不易揮發(fā)
-
環(huán)境友好型介質
缺點:
-
粘性較高,容易殘留
-
易分解,具有一定可燃性
-
在某些特定條件下存在燃燒風險
3. 氟化液
最初作為線路板清潔液使用,因其絕緣且不燃的惰性特點被應用于數(shù)據(jù)中心液冷技術。
優(yōu)點:
-
絕緣性能好
-
不燃,安全性高
缺點:
-
是目前三種冷卻液中價格最為昂貴的
-
部分氟化液存在環(huán)保爭議
四、浸沒式液冷:單相系統(tǒng)與兩相系統(tǒng)對比
單相液冷
冷卻液在循環(huán)散熱過程中沒有發(fā)生相變,維持液態(tài)。
特點:
-
要求冷卻液沸點高
-
冷卻液揮發(fā)流失控制相對簡單
-
與IT設備的元器件兼容性高
-
冷卻介質受污染較小
-
相對于兩相液冷,散熱效率較低
應用現(xiàn)狀:目前公布的浸沒式液冷案例中,絕大部分采用單相液冷系統(tǒng)。
兩相液冷
冷卻液在循環(huán)散熱過程中發(fā)生相變(液態(tài)→氣態(tài)→液態(tài))。
特點:
-
傳熱效率更高
-
無需泵體驅動流體循環(huán)(依靠相變自發(fā)完成)
-
冷卻液揮發(fā)流失控制相對復雜
-
密閉箱體雖可解決揮發(fā)問題,但相變導致箱體壓力變化,需按壓力容器標準設計生產(chǎn)
-
冷卻液介質易受污染,需要預處理和污染控制
五、液冷技術應用于數(shù)據(jù)中心的主要驅動力
傳統(tǒng)服務于高性能計算領域的液冷技術,如今正越來越多地應用于數(shù)據(jù)中心。需求驅動使數(shù)據(jù)中心向更高密度演進,并采用比風冷技術更高效的制冷解決方案。主要驅動力體現(xiàn)在以下三個方面:
1. 人工智能技術的創(chuàng)新與發(fā)展
近年來,CPU功耗持續(xù)增長,契合摩爾定律的演進趨勢;同時GPU、FPGA、ASIC等在數(shù)據(jù)中心應用領域呈現(xiàn)快速增長,進一步推高了數(shù)據(jù)中心IT設備的功率密度。
Uptime Institute的Andy Lawrence指出:“機柜的功率密度正在提升,Uptime追蹤監(jiān)測的大部分數(shù)據(jù)中心機柜功率密度現(xiàn)已達到10kW,甚至部分機柜達到30kW,且這并非局限于高性能計算應用領域。液冷系統(tǒng)特別是浸沒式液冷系統(tǒng),非常適合解決CPU和GPU的散熱問題。”
2. 進一步降低數(shù)據(jù)中心的運行成本
數(shù)據(jù)中心制冷系統(tǒng)的運行成本十分昂貴。盡管業(yè)界不斷創(chuàng)新風冷系統(tǒng),從傳統(tǒng)的機房空調到直接風側自然冷卻的AHU、間接風側自然冷卻的AHU,但由于空氣的載熱能力遠低于液體,采用液體冷卻介質的液冷技術可大幅降低數(shù)據(jù)中心的能源利用率。
已公布的浸沒式液冷數(shù)據(jù)中心PUE可達到1.05甚至更低。對照風冷系統(tǒng)數(shù)據(jù)中心PUE=1.3-1.5的水平,液冷的能效優(yōu)勢非常顯著。
3. 邊緣計算
并非所有邊緣計算數(shù)據(jù)中心都會采用液冷方式,但據(jù)估算,將有超過20%的邊緣計算數(shù)據(jù)中心會采用液冷技術。液冷技術因其高效、對建筑物依賴度低、靜音安全等特點,可在場地電力容量不足的條件下實現(xiàn)更高密度部署。
六、數(shù)據(jù)中心部署液冷技術的主要阻礙
盡管液冷技術具有風冷無法比擬的優(yōu)勢,且市場驅動力為大規(guī)模應用奠定了堅實基礎,但液冷技術在數(shù)據(jù)中心部署仍面臨多重挑戰(zhàn):
1. 缺乏相應的標準支持
目前液冷技術,尤其是浸沒式液冷,在數(shù)據(jù)中心仍缺乏大規(guī)模應用案例,且缺乏相應的國家或行業(yè)標準對技術進行有效規(guī)范。
2. 數(shù)據(jù)中心的空間利用率
現(xiàn)有數(shù)據(jù)中心物理基礎設施的設計基于風冷系統(tǒng)架構,如樓體承重、機房層高等。浸沒式液冷基于液體容器的設計,以及人員維護的便利性考慮,必然造成空間利用率降低。
3. 制冷架構顆粒度過低,運行與維護復雜
液冷的控制顆粒度細化至機柜(箱體)級、服務器級甚至芯片級,比目前主流的風冷系統(tǒng)顆粒度更細,系統(tǒng)更復雜,維護也相對困難。
4. 腐蝕風險
前文提到的三種常見冷卻液,其本身均無腐蝕性。例如水本身無腐蝕性,但水中其他物質可能具有腐蝕性,因此冷板式液冷中通常采用去離子純水。礦物油和氟化物本身也不具備腐蝕性,但與空氣接觸后可能被其他物質污染,從而存在腐蝕IT設備的潛在風險。這需要進行預處理來避免,也推高了液冷技術部署的成本。
七、結語
液冷技術對現(xiàn)有數(shù)據(jù)中心制冷架構而言,既是巨大的挑戰(zhàn),也是重大的機遇。隨著液冷技術不斷完善、產(chǎn)業(yè)鏈持續(xù)成熟、應用案例不斷積累,液冷技術必將在數(shù)據(jù)中心制冷領域占據(jù)重要地位,為高密度計算時代提供堅實的散熱支撐。