2024基于標(biāo)準(zhǔn)PCIe接口的人工智能加速卡液冷設(shè)計白皮書- 降低服務(wù)器和冷板式人工智能加速卡之間的適配難度

冷板式人工智能加速卡在結(jié)構(gòu)設(shè)計、流體快插接頭、熱性能設(shè)計等方面無統(tǒng)一設(shè)計要求，服務(wù)器針 對不同廠商的冷板式人工智能加速卡需要進行結(jié)構(gòu)和散熱適配，耗費大量人力、物力。本技術(shù)白皮書主 要制定標(biāo)準(zhǔn)PCIe接口形態(tài)的冷板式人工智能加速卡在結(jié)構(gòu)設(shè)計、冷板設(shè)計、流體快插接頭選型、熱性能 設(shè)計、可靠性設(shè)計方面的要求，用于指導(dǎo)冷板式人工智能加速卡的設(shè)計。通過本白皮書提供的設(shè)計指導(dǎo)， 降低服務(wù)器和冷板式人工智能加速卡之間的適配難度，降低適配的成本和人力投入。同時降低部署和運 維難度，方便終端客戶根據(jù)業(yè)務(wù)場景靈活選擇相應(yīng)產(chǎn)品，加速液冷式人工智能加速卡和服務(wù)器產(chǎn)品上市。 此外，通過統(tǒng)一的設(shè)計指導(dǎo)，在冷板本體、流體快插接頭等關(guān)鍵組件上產(chǎn)生規(guī)模化效益，獲取低成本液 冷解決方案，推動冷板式液冷技術(shù)的普及。

以AIGC為代表的人工智能大模型的發(fā)展，帶來了算力需求的指數(shù)式提升。AI芯片需要通過提升工 作頻率或增加運算單元來獲得更強的算力，帶來人工智能加速卡功耗的不斷提升。當(dāng)前人工智能加速卡 單卡功耗已達到350W至600W量級，帶來服務(wù)器散熱功耗的顯著提升，在給服務(wù)器散熱設(shè)計帶來挑戰(zhàn)的 同時，也給建設(shè)綠色數(shù)據(jù)中心帶來了很大的挑戰(zhàn)。液冷技術(shù)成為解決人工智能服務(wù)器高功耗散熱問題、 降低數(shù)據(jù)中心PUE的關(guān)鍵，其中冷板式液冷技術(shù)是當(dāng)前解決人工智能加速卡高功耗問題的主流方案。目 前標(biāo)準(zhǔn)PCIe接口形態(tài)的人工智能加速卡仍然是業(yè)界主流，國內(nèi)外部分廠商已經(jīng)推出了相應(yīng)的冷板式人工 智能加速卡，但均是按照自身產(chǎn)品形態(tài)特征進行設(shè)計，未考慮同行業(yè)其他廠商情況，不能作為標(biāo)準(zhǔn)化設(shè) 計。

同時，雖然冷板式液冷散熱技術(shù)在CPU、內(nèi)存、扣板式人工智能加速卡上已經(jīng)取得了成功應(yīng)用，但 在標(biāo)準(zhǔn)PCIe接口形態(tài)的人工智能加速卡上的應(yīng)用仍然很少，業(yè)界迫切需要一個針對標(biāo)準(zhǔn)PCIe接口形態(tài)人 工智能加速卡的液冷設(shè)計指導(dǎo)，來推動冷板式散熱技術(shù)在人工智能加速卡應(yīng)用的普及。

冷板式液冷加速卡由人工智能加速板卡、液冷板、加速卡外殼結(jié)構(gòu)件組成。

冷板覆蓋加速卡上的主芯片及其他發(fā)熱元件（包括但不限于VR、顯存等），提高板卡封裝狹小空 間內(nèi)人工智能芯片散熱效率。加速卡對外提供一對流體快插接頭（兩個公頭），用于連接服務(wù)器內(nèi)部集 /分水結(jié)構(gòu)或RCM。

冷板式人工智能加速卡能夠有效避免局部熱點，降低服務(wù)器系統(tǒng)風(fēng)扇功耗，降低數(shù)據(jù)中心整體PUE， 是未來綠色數(shù)據(jù)中心發(fā)展的必然趨勢。

附件：2024基于標(biāo)準(zhǔn)PCIe接口的人工智能加速卡液冷設(shè)計白皮書- 降低服務(wù)器和冷板式人工智能加速卡之間的適配難度