隨著數(shù)據(jù)密集應(yīng)用不斷增長，超大規(guī)模數(shù)據(jù)中心的工作負荷日益繁重。數(shù)據(jù)中心內(nèi)的網(wǎng)絡(luò)流量顯著增加，促使架構(gòu)師開始尋找新方法以實現(xiàn)更高的數(shù)據(jù)速率和吞吐量。

目前， 最先進的網(wǎng)絡(luò)適配器(NIC) 達到每端口200 G 速率。然而，為了滿足數(shù)據(jù)中心日益增長的需求，業(yè)界正朝向使用400 G NIC 方向發(fā)展，但前提是相關(guān)的支持技術(shù)需要同時進步，而這絕非易事。Molex（莫仕）深入探討伴隨這項轉(zhuǎn)變而來的散熱挑戰(zhàn)，以及我們的合作工作小組解決這些難題的獨特方法。

400G運作的散熱挑戰(zhàn)

下一代數(shù)據(jù)中心會過渡至400G 網(wǎng)絡(luò)適配器，因而面臨各種散熱方面的難題。

我們面對的第一項挑戰(zhàn)是更高的數(shù)據(jù)速率會消耗更多的功率。通過廣泛的研究、試驗和仿真，我們發(fā)現(xiàn)數(shù)據(jù)速率和熱量產(chǎn)生之間的關(guān)系大致是線性的，其中數(shù)據(jù)速率提高一倍，將使得系統(tǒng)發(fā)熱量增加兩倍以上。結(jié)論是什么？那就是網(wǎng)絡(luò)適配器速率從200 G 轉(zhuǎn)變成400 G后，系統(tǒng)熱量將會大幅增加。

第二項挑戰(zhàn)則在于需要可支持400 G NIC 的基礎(chǔ)設(shè)施。與使用無源直接連接電纜(DAC) 的200 G NIC 不同，有時400 G NIC可能需要使用大功率有源光纜(AOC)來支持高數(shù)據(jù)速率。這些大功率AOC 的功耗可高達8W，會將自身的熱量導(dǎo)入系統(tǒng)，再加上以高速率運送數(shù)據(jù)，使得溫度不斷升高。

質(zhì)疑基礎(chǔ)設(shè)施

這些迫在眉睫的散熱挑戰(zhàn)，使得我們對目前NIC 環(huán)境基礎(chǔ)架構(gòu)中某些零組件的可行性產(chǎn)生懷疑。我們與英偉達(NVIDIA) 和Meta 兩家公司合作，更加深入地研究這個難題。

一項研究重點是外形尺寸。具體而言，我們調(diào)研了使用OCP NIC 3.0 業(yè)界標準小型光纖連接頭(small form factor，SFF) 產(chǎn)品的可行性，看看它能否匹敵早前提出的TSFF(tall SFF)。眾所周知，TSFF 可以提供更多空間，因此能實現(xiàn)更優(yōu)異的I/O 散熱解決方案。在理想情況，系統(tǒng)架構(gòu)師可以在可能的情況下繼續(xù)采用SFF。真正的問題在于，SFF 是否能為400 G NIC 提供可行的解決方案？或者我們是否需要轉(zhuǎn)而將TSFF 定為業(yè)界標準？這個問題很難給予直接的答復(fù)，因為有幾個變量可能會對結(jié)論有所影響。出于這個原因，我們的研究工作考慮了許多可能顯著影響散熱性能的因素，包括以下幾個方面。

●   外形尺寸：TSFF 對比SFF。

●   NIC ASIC 功率限制( 僅限使用DAC 電纜)。

●   模塊類型：QSFP-DD Type 1 對比Type 2 A。

●   監(jiān)測位置點：機箱后部上方的平均溫度、散熱器

底座溫度和前端溫度。

●   測試裝置類型︰有/ 無測試裝置。

●   冷信道對比熱信道。

模擬試驗的設(shè)置與假設(shè)

每一攝氏度溫度的變化，都對結(jié)論有影響。由于涉及到可行性，因此有必要確保模擬試驗反映著現(xiàn)實且合理的使用狀況。

對此，我們的模擬試驗同時使用了TSFF 和SFF 兩種外形尺寸的OCP NIC 3.0 網(wǎng)絡(luò)適配器來建立模型。英偉達公司慷慨地為研究提供了進行模擬試驗的ASIC 原型設(shè)計散熱模型ConnectX-6 DX。為了進行模擬試驗，我們假設(shè)功率上限為23 W，并根據(jù)配備標準鋁制散熱器的裝置建立了模型。

對于QSFP-DD 類型模塊，我們使用了常態(tài)功耗為10.2 W 的多信道散熱模型。與ASIC 原型設(shè)計相似，我們選擇為QSFP-DD 模型配備了標準鋁制散熱器，使得覆蓋的受熱表面積最大化，但不采用任何先進的冷卻技術(shù)或材料，目的是了解前面所強調(diào)的變量之間的相對影響。

對于模擬試驗的環(huán)境，我們同時測試了熱信道和冷信道兩種環(huán)境。熱信道的環(huán)境溫度為55°C，氣流速度范圍為200 至1 000 LFM( 每分鐘線性英尺)，氣流方向從后至前。所有這些都符合OCP 3.0 技術(shù)規(guī)范。另一個不同環(huán)境是冷信道，模型環(huán)境溫度為35°C，氣流速度范圍為200 到600 LFM，氣流方向從前至后。如圖1 所示，我們的模擬實驗使用了符合英偉達OCP NIC 3.0 規(guī)范的測試裝置，包括安裝在測試盒內(nèi)的兩個相同的網(wǎng)絡(luò)適配器。

圖1 在模擬測試中所使用的測試裝置和模型設(shè)置

調(diào)研結(jié)果：外形尺寸的影響

通過模擬試驗結(jié)果，我們了解到數(shù)個邊界條件和變量如何對散熱性能產(chǎn)生了非零影響( 即是超過幾攝氏度)。

在調(diào)研中，第一個值得注意的結(jié)果是，外形尺寸對QSFP-DD 模型的散熱性能造成了重要的影響。如圖2所示，我們發(fā)現(xiàn)TSFF 的散熱性能明顯優(yōu)于SFF，尤其是在氣流速度較低的時候。在這種情況下，散熱性能提升了多達6 C ° 。盡管這個結(jié)果并不令人驚訝，但6°C 的改進幅度確實很突出。

同樣地，我們的研究結(jié)果顯示，在熱信道應(yīng)用中使用TSFF 尺寸時，ASIC 原型設(shè)計的散熱性能提高了10°C之多。另外，關(guān)于NIC ASIC原型設(shè)計的功率限制參數(shù)( 無源DAC 應(yīng)用)，與在熱信道條件下使用SFF相比，采用TSFF 的模塊功率限制增加了約2.5 W。

圖2 我們在模擬試驗中發(fā)現(xiàn)TSFF的散熱性能明顯優(yōu)于SFF

調(diào)研結(jié)果︰還須考慮其他變量

除了外形尺寸，我們的調(diào)研還深入了解模塊類型和監(jiān)測位置點對于散熱結(jié)果的影響。在比較兩款業(yè)界標準模塊時，我們發(fā)現(xiàn)QSFP-DD Type 2 A 模塊具有出色的散熱性能，改進了大約4 C ° 。這項性能改進的主要原因是Type 2A 模塊本身前端有一個外部整合散熱器。同樣地，這個結(jié)果并不令人驚訝，但非常突出。

最后，我們發(fā)現(xiàn)不同的監(jiān)測位置點( 也就是模塊上的探測點) 之間存在溫度偏差。例如，仿真試驗顯示，散熱器底座的監(jiān)測溫度相比前端的監(jiān)測溫度降低5 C ° 。如圖3 所示，在量化NIC 模塊的熱性能時，監(jiān)測位置點顯然是不可忽視的考慮因素。

圖3 所使用的監(jiān)測位置點對散熱結(jié)果有重大影響

調(diào)研結(jié)論

我們的調(diào)研深入了解了幾個特定變量和邊界條件對散熱性能的影響，但結(jié)果并不是主要的結(jié)論。相比發(fā)現(xiàn)哪些設(shè)置“合理呈現(xiàn)真實環(huán)境”而言，更重要的是，這項研究表明業(yè)界迫切需要就這些變量和邊界條件達成共識。

以模塊類型和監(jiān)測位置點等變量為示例，試驗結(jié)果顯示， 模塊類型對于散熱性能會造成重大的影響( ? 4°C )，這個發(fā)現(xiàn)帶來一個問題：除了排除SFF 尺寸在400G NIC 的可用性之外，是否可以保留SFF 尺寸但改用Type 2 A QSFP-DD 模塊呢？到目前為止，業(yè)界尚未達成共識。如要對SFF 的可行性得出真正的結(jié)論，首先要進行定義并在業(yè)界達成共識。

同樣地，業(yè)界目前也沒有針對監(jiān)測位置點達成一致的標準。調(diào)研顯示，監(jiān)測散熱性能的位置點會對仿真試驗結(jié)果產(chǎn)生重大影響，差距甚至可高達5 C ° 。如果我們不能就監(jiān)測位置點達成一致共識，那么所有的研究數(shù)據(jù)之間就缺乏一致性，這將導(dǎo)致無法真正地比較試驗結(jié)果。這里再次強調(diào)，OCP 和整個業(yè)界要邁向400G NIC 發(fā)展，首先必須達成共識。

呼吁采取行動

如何才能達成關(guān)鍵的業(yè)界共識？我們認為模塊、I/O、NIC、系統(tǒng)和數(shù)據(jù)中心多個專業(yè)領(lǐng)域需要參與更多。這樣的合作將幫助OCP 更好地協(xié)調(diào)可實現(xiàn)的目標，并確定最合適的環(huán)境來進行這些可行性研究。而且，到目前為止的研究所涵蓋的范圍并不全面，我們還必須考慮其他的變量，包括采用QSFP-DD 有源電纜(AEC) 的可行性，預(yù)計其耗散熱量低于AOC。

如果業(yè)界發(fā)現(xiàn)SFF 無法適用于AOC，下一步可能考慮使用AEC。此外，如果發(fā)展采用TSFF 尺寸網(wǎng)絡(luò)適配器，就需要擴展研究內(nèi)容，涵蓋采用整合散熱器的八個SFF 可插拔模塊(OSFP-RHS) 端口的可行性。

業(yè)界多方合作對于達成散熱設(shè)計共識極為重要，而OCP 將會發(fā)揮關(guān)鍵的作用。Molex 莫仕非常榮幸能與Meta 和英偉達合作，針對相關(guān)的下一代解決方案進行試驗研究。我們?nèi)胶献髟O(shè)計測試方案，并仔細進行模擬以量化每一個已定義變量的影響，然后共同分析結(jié)果，并且在數(shù)據(jù)中心需要援手時，尋求達到新性能水平的方法。

（本文來源于《電子產(chǎn)品世界》雜志2022年3月期）