12月14日消息，AMD于本月初推出了其最強的AI芯片Instinct MI300X，其8-GPU服務器的AI性能比英偉達H100 8-GPU高出了60%。對此，英偉達于近日發(fā)布了一組最新的H100與MI300X的性能對比數(shù)據(jù)，展示了H100如何使用正確的軟件提供比MI300X更快的AI性能。

根據(jù)AMD此前公布的數(shù)據(jù)顯示，MI300X的FP8/FP16性能都達到了英偉達（NVIDIA）H100的1.3倍，運行Llama 2 70B和FlashAttention 2 模型的速度比H100均快了20%。在8v8 服務器中，運行Llama 2 70B模型，MI300X比H100快了40%；運行Bloom 176B模型，MI300X比H100快了60%。

但是，需要指出的是，AMD在將MI300X 與 英偉達H100 進行比較時，AMD使用了最新的 ROCm 6.0 套件中的優(yōu)化庫（可支持最新的計算格式，例如 FP16、Bf16 和 FP8，包括 Sparsity等），才得到了這些數(shù)字。相比之下，對于英偉達H100則并未沒有使用英偉達的 TensorRT-LLM 等優(yōu)化軟件加持情況下進行測試。

AMD對于英偉達H100測試的隱含聲明顯示，使用vLLM v.02.2.2推理軟件和英偉達DGX H100系統(tǒng)，Llama 2 70B查詢的輸入序列長度為2048，輸出序列長度為128。

而英偉達最新公布的對于DGX H100（帶有8個NVIDIA H100 Tensor Core GPU，帶有80 GB HBM3）測試，帶有公開的NVIDIA TensorRT LLM軟件，v0.5.0用于Batch-1，v0.6.1用于延遲閾值測量。工作量詳細信息與腳注與AMD之前的測試相同。

結(jié)果顯示，與 AMD展示的MI300X 8-GPU服務器性能相比，英偉達DGX H100 服務器在使用優(yōu)化的軟件加持后，速度提高了 2 倍多，相比 AMD MI300X 8-GPU 服務器快了47%。

DGX H100 可以在1.7 秒內(nèi)處理單個推理任務。為了優(yōu)化響應時間和數(shù)據(jù)中心吞吐量，云服務為特定服務設(shè)置了固定的響應時間。這使他們能夠?qū)⒍鄠€推理請求組合成更大的“Batch”，并增加服務器每秒的總體推理次數(shù)。MLPerf 等行業(yè)標準基準測試也使用此固定響應時間指標來衡量性能。

響應時間的微小權(quán)衡可能會導致服務器可以實時處理的推理請求數(shù)量產(chǎn)生不確定因素。使用固定的 2.5 秒響應時間預算，英偉達DGX H100 服務器每秒可以處理超過 5 個 Llama 2 70B 推理，而Batch-1每秒處理不到一個。

顯然，英偉達使用這些新的基準測試是相對公平的，畢竟AMD也使用其優(yōu)化的軟件來評估其GPU的性能，所以為什么不在測試英偉達H100時也這樣做呢？

要知道英偉達的軟件堆棧圍繞CUDA生態(tài)系統(tǒng)，經(jīng)過多年的努力和開發(fā)，在人工智能市場擁有非常強大的地位，而AMD的ROCm 6.0是新的，尚未在現(xiàn)實場景中進行測試。

根據(jù)AMD之前透露的信息顯示，其已經(jīng)與微軟、Meta等大公司達成了很大一部分交易，這些公司將其MI300X GPU視為英偉達H100解決方案的替代品。

AMD最新的Instinct MI300X預計將在2024年上半年大量出貨，但是，屆時英偉達更強的H200 GPU也將出貨，2024下半年英偉達還將推出新一代的Blackwell B100。另外，英特爾也將會推出其新一代的AI芯片Gaudi 3。接下來，人工智能領(lǐng)域的競爭似乎會變得更加激烈。

編輯：芯智訊-浪客劍