NVIDIA H100 NVL

許多讀者了解英偉達(dá)是在其游戲GPU領(lǐng)域，GTX、RTX系列顯卡對(duì)于廣大消費(fèi)者來說已經(jīng)是相當(dāng)熟悉了，但本次大會(huì)的重點(diǎn)似乎是AI領(lǐng)域，難道看到近期 AI 大火后也要來分一杯羹了？實(shí)則不然，英偉達(dá)與AI可以說有著相當(dāng)深的淵源，實(shí)際上自2012年，在深度學(xué)習(xí)框架剛剛提出的伊始，AI便與英偉達(dá)綁定在了一起，當(dāng)時(shí)，Alex Krizhevsky、Ilya Suskever，以及 Hinton 在英偉達(dá)的顯卡 GeForce GTX 580 上使用了 1400 萬張圖完成了訓(xùn)練，可處理 262 千萬億次浮點(diǎn)運(yùn)算。而十年之后，生成式AI里程牌式的模型Transformer橫空出世，OpenAI團(tuán)隊(duì)就是使用了英偉達(dá)提供的GPU A100訓(xùn)練AI，由此，創(chuàng)造出了令全世界震驚的目前最強(qiáng)AI——ChatGPT。

可以說，沒有英偉達(dá)強(qiáng)悍的硬件支持，那么就不會(huì)有今天的ChatGPT，這個(gè)被稱為“下一次工業(yè)革命元年”的2023年，不知要推遲多久才能到來。在本次英偉達(dá)GTC大會(huì)上，英偉達(dá)CEO黃仁勛難掩其激動(dòng)的心情，連連重復(fù)了三遍：“我們正處于 AI 的 iPhone 時(shí)刻！”。是的，對(duì)于手中擁有A100和H100兩款市面上獨(dú)一無二的超級(jí)“核彈”來說，ChatGPT的空前成功，已經(jīng)讓英偉達(dá)“贏麻了”。萬人空巷的ChatGPT已經(jīng)讓英偉達(dá)的股價(jià)又一次坐上了火箭，市值直接增加 700 多億美元，目前，英偉達(dá)市值為 6400 億美元。數(shù)錢數(shù)到手軟的黃仁勛也是放出豪言：英偉達(dá)就是要做 AI 圈的臺(tái)積電！

難掩喜悅的英偉達(dá)CEO黃仁勛

要知道，兩年前英偉達(dá)推出的A100其性能到現(xiàn)在也沒有對(duì)手，而去年GTC 2022所推出的H100更是一下子將最強(qiáng)GPU的標(biāo)準(zhǔn)整整提升了3倍！而本次GTC所推出的H100至尊版（H100 NVLINK）更是能將生成式AI（ChatGPT）的算力、提速 10 倍?？梢哉f在AI計(jì)算上，英偉達(dá)所提供的硬件已經(jīng)完全壟斷了市場，其他廠商短期內(nèi)難以望其項(xiàng)背。

本次大會(huì)所推出的重量級(jí)產(chǎn)品H100 NVLINK是專門針對(duì)大型語言模型訓(xùn)練（LLM）設(shè)計(jì)，其搭載了兩個(gè)基于Hopper架構(gòu)的H100芯片，頂部配備了三個(gè)NVLink連接器，使用了兩個(gè)相鄰的PCIe插槽。其FP64計(jì)算性能為134 teraFLOPS，TF32計(jì)算性能為1979 teraFLOPS，F(xiàn)P8計(jì)算性能為7916 teraFLOPS，INT8計(jì)算性能為7916 teraFLOPS，是H100 SXM的兩倍。其具有完整的6144位顯存接口（每個(gè)HBM3堆棧為1024位），顯存速率可達(dá)5.1Gbps，意味著最大吞吐量為7.8GB/s，是H100 SM3的兩倍多。

基于此英偉達(dá)推出了DGX AI超級(jí)計(jì)算機(jī)，DGX配有8個(gè)H100 GPU模組，同時(shí)H100配有Transformer引擎，能夠處理ChatGPT這樣令人驚嘆的模型。8個(gè)H100模組通過NVLINK Switch彼此相連，實(shí)現(xiàn)了全面無阻塞通信。8個(gè)H100協(xié)同工作，就像是一個(gè)巨型的GPU。H100 NVL這樣的GPU，其應(yīng)用無疑可以給AI的迭代進(jìn)化帶來更大的便利：

英偉達(dá)十幾年前就看到了AI在未來的潛力并一直在加速計(jì)算領(lǐng)域深耕，對(duì)此黃仁勛總結(jié)道：“短短十幾年，我們就從識(shí)別貓，跨越到了生成在月球行走的太空服貓的過程?，F(xiàn)在完全可以說，生成式 AI 就是一種新的計(jì)算機(jī)，一種可以用人類語言進(jìn)行編程的計(jì)算機(jī)?！?/p>

本次GTC大會(huì)，英偉達(dá)還帶來另一項(xiàng)革命性的技術(shù)，或?qū)⒋蠓岣呦冗M(jìn)光學(xué)光刻機(jī)的刻蝕速度，這就是NVIDIA cuLitho的計(jì)算光刻庫。

英偉達(dá)宣布，自己已經(jīng)于 ASML、臺(tái)積電及新思科技攜手推出了 CuLitho 軟件庫，能夠借助 AI 的能力和學(xué)習(xí)技術(shù)來輔助運(yùn)算，從而提高半導(dǎo)體的微影技術(shù)，讓之后的芯片能夠擁有更緊湊的晶體管和布線。簡單來說，這項(xiàng)技術(shù)的應(yīng)用可以使先進(jìn)制程芯片的制造速度大幅提升，并且將更加節(jié)能。英偉達(dá)CEO黃仁勛表示：“計(jì)算光刻是芯片設(shè)計(jì)和制造領(lǐng)域中最大的計(jì)算工作負(fù)載，每年消耗數(shù)百億CPU小時(shí)。而英偉達(dá)的新技術(shù)最終會(huì)應(yīng)用到計(jì)算光刻上，在這項(xiàng)技術(shù)的加持下，計(jì)算光刻的工作時(shí)長能從幾周直接降低到八小時(shí)左右，效率翻了幾番。”

據(jù)悉，生產(chǎn)一塊NVIDIA H100需要89塊掩膜板，在使用傳統(tǒng)CPU進(jìn)行計(jì)算刻蝕的時(shí)候，處理單個(gè)掩模板，需要整整2周時(shí)間。而如果在GPU上運(yùn)行cuLitho則只需8小時(shí)即可處理完一個(gè)掩膜板。不僅處理速度被大大加快，其需要的功耗也被大幅減低，對(duì)此黃仁勛說道：“臺(tái)積電可以通過在500個(gè)DGX H100系統(tǒng)上使用cuLitho加速，將功率從35MW降至5MW?！?nbsp;        

在英偉達(dá)對(duì)于未來的規(guī)劃中，它將參與到AI應(yīng)用的方方面面，甚至英偉達(dá)還計(jì)劃將AI引入量子計(jì)算領(lǐng)域。其推出的L4 Tensor Core GPU，專門針對(duì)AI生成視頻，其用于加速AI視頻，可以提供比CPU高120倍的性能，能效提升約99%?？梢詢?yōu)化視頻解碼與轉(zhuǎn)碼、視頻內(nèi)容審核、視頻通話等性能，一臺(tái)8-GPU L4服務(wù)器可以取代100多臺(tái)用于處理AI視頻的雙插槽CPU服務(wù)器；對(duì)于靜態(tài)AI生成圖像，英偉達(dá)也拿出了對(duì)應(yīng)的L40 GPU，其針對(duì)2D、3D圖像生成進(jìn)行優(yōu)化，并可以結(jié)合Omniverse，直接生成3D內(nèi)容，甚至是元宇宙內(nèi)容。在未來，英偉達(dá)還將推出AI超級(jí)云計(jì)算，將出租針對(duì)AI的算力，讓每個(gè)企業(yè)都可以使用簡單的網(wǎng)絡(luò)瀏覽器訪問AI超算。這是AI的時(shí)代，也是英偉達(dá)的時(shí)代。

正如此次 GTC 的演講主題：" 切勿錯(cuò)過 AI 的決定性時(shí)刻 "，不管我們目前對(duì) AI 是何看法，但不可否認(rèn)的是未來 AI 的作用和戰(zhàn)略性地位會(huì)越來越高。但是目前，我國的AI發(fā)展情況不容樂觀，加上美國政府對(duì)于先進(jìn)GPU的層層禁令，本次GTC所發(fā)布的H100 NVL要想出口給我國可謂是困難重重，頂級(jí)硬件的獲取受限，這對(duì)于本就處于競爭劣勢的我國來說無疑是雪上加霜。但是英偉達(dá)畢竟是家商業(yè)公司，絕對(duì)不會(huì)放棄中國這個(gè)龐大的市場，有業(yè)內(nèi)人士透露，后續(xù)英偉達(dá)會(huì)發(fā)布一些閹割特供版（暫定為 A800）給到國內(nèi)企業(yè)。

就目前來看，現(xiàn)在即將來到AI的時(shí)代，但更是英偉達(dá)的時(shí)代。