前言

北京時間3月21日晚11點，一年一度的英偉達(dá)GPU技術(shù)大會GTC（Gpu Technology Conference）如期而至，吸引了超過25萬名觀眾參與。

黃仁勛教主一如既往地穿著標(biāo)志性的黑皮夾，進(jìn)行了長達(dá)78分鐘的主題演講，逐一向觀眾披露了英偉達(dá)的最新產(chǎn)品——挑戰(zhàn)芯片極限的計算光刻技術(shù)、ChatGPT專用GPU等，無一不是“核彈”級別的殺手锏。

黃仁勛表示，近40年以來，摩爾定律一直是引領(lǐng)計算機(jī)行業(yè)發(fā)展的重要規(guī)律，但在成本與功耗不變的情況下，這一定律已經(jīng)逐漸放緩，各行各業(yè)都在尋找數(shù)字化轉(zhuǎn)型，而英偉達(dá)要用技術(shù)重塑行業(yè)，“要成為顛覆者，而不是被顛覆者。要利用加速計算和AI，幫助企業(yè)應(yīng)對這些挑戰(zhàn)?！?/span>

野心勃勃的英偉達(dá)，不斷用芯片推動AI技術(shù)，也正在用AI技術(shù)賦能芯片行業(yè)。

01

AI輔助制芯技術(shù)，將計算光刻提速40倍

此次大會中，黃仁勛宣布了一項為芯片領(lǐng)域帶來的重大突破——推出計算光刻軟件庫cuLitho，將加速計算帶入計算光刻領(lǐng)域，使計算速度提升40倍。

黃仁勛稱，英偉達(dá)經(jīng)過與臺積電、ASML、Synopsys（新思科技）三大半導(dǎo)體巨頭的多年合作，終于推出了這一技術(shù)，大大降低芯片代工廠在這一工序上所消耗的時間和能耗，為2nm以及更先進(jìn)制程的到來做好準(zhǔn)備。

我們知道，光刻是芯片制造過程中的一個重要工藝，相當(dāng)于用“光刀”在晶圓上“雕刻”出精細(xì)的電路圖。這個圖案首先要呈現(xiàn)在光掩膜（photomask）上。掩膜板就像是漏字板，激光一照，通過鏡頭，“漏字板”上的圖案也就落到了硅片上，如下圖：

晶體管、器件、互聯(lián)線路都需要經(jīng)過這樣的光刻步驟。光刻機(jī)巨頭ASML也是靠著這一技術(shù)一直壟斷著全球的EUV光刻機(jī)。

ASML曾表示，計算光刻是其“鐵三角”業(yè)務(wù)之一。計算光刻技術(shù)是通過模擬光通過光學(xué)元件并與光刻膠相互作用時的行為，應(yīng)用逆物理算法來預(yù)測掩膜板上的圖案，以便在晶圓上生成最終圖案。

換言之，就是計算光刻是通過軟件，對整個光刻過程來做建模和仿真，對工藝流程做優(yōu)化，比如說形貌優(yōu)化、掩膜板修正等。計算光刻目的是消除光刻過程中，小尺寸器件“模糊”的問題。

在芯片設(shè)計和制造領(lǐng)域中，計算光刻是最大的計算工作負(fù)載，每年都要消耗數(shù)百億CPU小時。

隨著晶體管和互聯(lián)線寬的持續(xù)微縮，掩膜板的復(fù)雜度可能會越來越高。英偉達(dá)先進(jìn)技術(shù)副總裁Vivek Singh說，foundry廠所需的數(shù)據(jù)中心規(guī)模擴(kuò)張速度，會比摩爾定律本身的發(fā)展速度還要快；最終就是沒有足夠多的算力來解決問題。

“按照過去15年的趨勢，如果某個foundry廠現(xiàn)有3座數(shù)據(jù)中心，那么未來10年內(nèi)就需要100座這樣的數(shù)據(jù)中心?！盫ivek說道，“功耗方面，45兆瓦（MegaWatt）或許還行，但如果是45千兆瓦（GigaWatt），問題就比較大了。英偉達(dá)對此給出的回答是cuLitho?！?/span>

英偉達(dá)的新算法cuLitho，可以讓日益復(fù)雜的計算光刻工作流程能夠在GPU上并行執(zhí)行，它不僅能使計算速度提升40倍，而且功耗也可以降低9倍之多。

舉個例子，比如英偉達(dá)的H100在制造過程中需要89塊掩膜板。如果用CPU進(jìn)行處理的話，每個掩膜板都需要消耗兩周的時間。

而如果在GPU上運行cuLitho，則只需8個小時即可處理完一個掩膜板。

而臺積電也可以用500個DGX H100系統(tǒng)中的4,000個Hopper GPU，完成之前需要多達(dá)40,000臺基于CPU的服務(wù)器才能搞定的工作，并且功率也會從35MW降至5MW。

英偉達(dá)拋出的這一技術(shù)，無疑相當(dāng)于一枚芯片界的“核彈”，它使得2nm及更先進(jìn)芯片的生產(chǎn)成為可能。未來，臺積電、ASML、Synopsys也將引入這一技術(shù)，繼續(xù)突破芯片制造的物理極限。臺積電方面消息稱，將于今年6月對cuLitho進(jìn)行生產(chǎn)資格認(rèn)證，加速2nm芯片試產(chǎn)。

02

ChatGPT專用GPU：H100 NVL——提速10倍

黃仁勛一直對AI和機(jī)器學(xué)習(xí)持倡導(dǎo)態(tài)，他曾公開表示AI技術(shù)已經(jīng)來到拐點，押注AI十年也使得英偉達(dá)在ChatGPT浪潮中獲得豐厚回報。對于大型語言模型而言，算力是其中最重要一環(huán)，因此高度依賴英偉達(dá)強(qiáng)大的GPU芯片。

針對算力需求巨大的 ChatGPT，英偉達(dá)發(fā)布了 NVIDIA H100 NVL，這是一種具有 94GB 內(nèi)存和加速 Transformer Engine 的大語言模型（LLM）專用解決方案，配備了雙 GPU NVLINK 的 PCIE H100 GPU。

黃仁勛的主題演講中披露了該公司推出的全新GPU推理平臺，該平臺包括4種不同配置，針對不同工作負(fù)載進(jìn)行優(yōu)化，分別對應(yīng)了AI視頻加速、圖像生成加速、大型語言模型（LLM）加速和推薦系統(tǒng)和LLM數(shù)據(jù)庫。包括：L4 Tensor Core GPU、L40 GPU、H100 NVL GPU和Grace Hopper超級芯片。

其中最主要的是H100 NVL，它將英偉達(dá)的兩個H100 GPU拼接在一起，以部署像ChatGPT這樣的大型語言模型（LLM）。黃仁勛表示，“當(dāng)前唯一可以實際處理ChatGPT的GPU是英偉達(dá)HGX A100。與前者相比，現(xiàn)在一臺搭載四對H100和雙NVLINK的標(biāo)準(zhǔn)服務(wù)器速度能快10倍，可以將大語言模型的處理成本降低一個數(shù)量級。”

據(jù)悉，H100 NVL附帶94GB內(nèi)存，與上一代產(chǎn)品相比，H100的綜合技術(shù)創(chuàng)新可以將大型語言模型的速度提高30倍。據(jù)黃仁勛透露，H100 NVL預(yù)計將在今年下半年上市。

H100

此外，用于AI Video的L4芯片，在視頻解碼和轉(zhuǎn)碼、視頻內(nèi)容審核、視頻通話功能上做了優(yōu)化。英偉達(dá)稱其可以提供比CPU高120倍的AI視頻性能，同時能效提高99%。

同時，英偉達(dá)還針對Omniverse、圖形渲染以及文本轉(zhuǎn)圖像/視頻等生成式AI推出了L40芯片。其性能是英偉達(dá)最受歡迎的云推理GPU T4的10倍。

英偉達(dá)推出的全新超級芯片Grace-Hopper，適用于推薦系統(tǒng)和大型語言模型的AI數(shù)據(jù)庫，圖推薦模型、向量數(shù)據(jù)庫和圖神經(jīng)網(wǎng)絡(luò)的理想選擇，通過900GB/s的高速一致性芯片到芯片接口連接英偉達(dá)Grace CPU和Hopper GPU。

超級芯片Grace-Hopper

03

全球首個GPU加速量子計算系統(tǒng)

在21日的活動中，英偉達(dá)還官宣了一個使用 Quantum Machines 構(gòu)建的新系統(tǒng)，該系統(tǒng)為從事高性能和低延遲量子經(jīng)典計算的研究人員提供了一種革命性的新架構(gòu)。

據(jù)黃仁勛介紹，NVIDIA DGX Quantum是全球首個GPU加速的量子計算系統(tǒng)，可以實現(xiàn)GPU和量子處理單元（QPU）之間的亞微秒級延遲。其將全球最強(qiáng)大的加速計算平臺（由 NVIDIA Grace Hopper 超級芯片和 CUDA Quantum 開源編程模型實現(xiàn)）與全球最先進(jìn)的量子控制平臺 OPX（由 Quantum Machines 提供）相結(jié)合。這種組合使研究人員能夠建立空前強(qiáng)大的應(yīng)用，將量子計算與最先進(jìn)的經(jīng)典計算相結(jié)合，實現(xiàn)校準(zhǔn)、控制、量子糾錯和混合算法。

英偉達(dá)公司 HPC 和量子主管 Tim Costa 表示：“量子加速的超級計算有可能重塑科學(xué)和工業(yè)，英偉達(dá) DGX Quantum 將使研究人員能夠突破量子 - 經(jīng)典計算的界限?！?/span>

對此，英偉達(dá)將高性能的 Hopper 架構(gòu) GPU 與該公司的新 Grace CPU 整合為”Grace Hopper“，為巨型 AI 和 HPC 應(yīng)用提供了超強(qiáng)的動力。它為運行 TB 級數(shù)據(jù)的應(yīng)用提供了高達(dá) 10 倍的性能，為量子 - 經(jīng)典研究人員解決世界上最復(fù)雜的問題提供了更多動力。

總 結(jié)

在本次GTC大會上，黃仁勛說道，“加速計算并非易事，2012年，計算機(jī)視覺模型AlexNet動用了GeForce GTX 580，每秒可處理262 PetaFLOPS。該模型引發(fā)了AI技術(shù)的爆炸。”

“十年之后，Transformer出現(xiàn)了，GPT-3動用了323 ZettaFLOPS的算力，是AlexNet的100萬倍，創(chuàng)造了ChatGPT這個震驚全世界的AI。嶄新的計算平臺出現(xiàn)了，AI的‘iPhone時刻’已經(jīng)來臨。”

顯然，手握GPU算力技術(shù)的英偉達(dá)抓住了AI的關(guān)鍵時刻，在大模型軍備競賽中，英偉達(dá)贏得盆滿缽滿。ChatGPT在全球的爆火，就讓英偉達(dá)股價飆升市值直接增加700多億美元。

目前，英偉達(dá)市值為6400億美元。而在Microsoft 365， Azure，Stable Diffusion，DALL-E……時下最紅的AI產(chǎn)品中，英偉達(dá)都能分得一杯羹。

從大會發(fā)布的內(nèi)容來看，英偉達(dá)對先進(jìn)AI計算的支撐已經(jīng)覆蓋到從GPU、DPU等硬件到幫助企業(yè)加速構(gòu)建定制生成式AI模型的云服務(wù)?；蛟S正如黃仁勛所說，AI行業(yè)的”iPhone時刻“已來臨，創(chuàng)業(yè)公司正在競相建立顛覆式的商業(yè)模型，業(yè)界巨頭也在尋找應(yīng)對之道。

而英偉達(dá)正在成為AI“背后的巨人”。