#時(shí)事熱點(diǎn)頭條說#

當(dāng)人們?cè)跔?zhēng)論摩爾定律在本世紀(jì)20年代是否會(huì)放緩、是否仍然適用、甚至是否已經(jīng)走向盡頭時(shí)，英偉達(dá)的科學(xué)家們卻預(yù)示著令人印象深刻的“黃仁勛定律”。在過去十年中，英偉達(dá)GPU的人工智能處理能力據(jù)稱增長(zhǎng)了1000倍。黃氏定律意味著我們?cè)凇皢涡酒评硇阅堋敝锌吹降脑鏊俨粫?huì)逐漸消失，而是會(huì)繼續(xù)出現(xiàn)。

英偉達(dá)上周五發(fā)表了一篇關(guān)于黃氏定律的博客文章，概述了黃氏定律背后的信念和工作實(shí)踐。有趣的是，英偉達(dá)首席科學(xué)家比爾?戴利所描述的“后摩爾定律時(shí)代計(jì)算機(jī)性能的結(jié)構(gòu)性轉(zhuǎn)變”主要是基于人類的聰明才智。這一特征似乎有些難以預(yù)測(cè)，但戴利認(rèn)為，下面這張令人印象深刻的圖表標(biāo)志著黃氏定律的開始。

根據(jù)戴利最近在Hot Chips 2023大會(huì)上的演講，上圖顯示GPU AI推理性能在過去十年中增長(zhǎng)了1000倍。有趣的是，與摩爾定律不同的是，工藝尺寸縮小對(duì)黃氏定律的進(jìn)展幾乎沒有影響。

戴利回憶了如何通過改變Nvidia GPU的底層數(shù)字處理方式實(shí)現(xiàn)16倍的性能增益。另一個(gè)巨大的推動(dòng)力是Nvidia Hopper架構(gòu)的到來，此架構(gòu)使用了Transformer Engine。據(jù)稱，Hopper使用了8位和16位浮點(diǎn)數(shù)和整數(shù)計(jì)算的動(dòng)態(tài)混合，實(shí)現(xiàn)了12.5倍的性能飛躍，同時(shí)還節(jié)省了能耗。

戴利最令人驚訝的說法之一是，人工智能推理性能的1000倍性能增加與工藝尺寸縮小的收益形成鮮明對(duì)比。在過去的十年里，隨著英偉達(dá)GPU從28納米工藝轉(zhuǎn)向5納米工藝，半導(dǎo)體工藝的改進(jìn)“只占總收益的2.5倍”。

值得慶幸的是，戴利表示他和他的團(tuán)隊(duì)仍然看到了加速人工智能推理處理的“幾個(gè)機(jī)會(huì)”，其中包括進(jìn)一步簡(jiǎn)化數(shù)字的表示方式，在人工智能模型中創(chuàng)建更多的稀疏性，以及設(shè)計(jì)更好的內(nèi)存和通信電路。