Dally 在今年的演講中稱：“我們有一個(gè) 300 人左右組成的小組，嘗試著去預(yù)測(cè)我們?cè)谟ミ_(dá)產(chǎn)品方面的前景，我們就像是一盞遠(yuǎn)光燈，想要把遠(yuǎn)處的事物照亮。我們被松散地分成兩半。一半為 GPU 提供技術(shù)。它讓 GPU 自身更加完善，包括電路、VLSI 設(shè)計(jì)、架構(gòu)網(wǎng)絡(luò)、編程系統(tǒng)，以及進(jìn)入 GPU 和 GPU 系統(tǒng)的存儲(chǔ)系統(tǒng)。”

“英偉達(dá)研究團(tuán)隊(duì)希望開(kāi)發(fā)出能夠很好地使用 GPU 的軟件系統(tǒng)和技術(shù)。我們一直在推動(dòng)計(jì)算機(jī)圖形技術(shù)，并且有三個(gè)不同的計(jì)算機(jī)圖形研究小組，同時(shí)還有五支不同的人工智能小組。現(xiàn)在使用 GPU 來(lái)運(yùn)行人工智能是一項(xiàng)龐大的工程，并且規(guī)模不斷擴(kuò)大。我們還有一個(gè)小組專門(mén)研究和生產(chǎn)機(jī)器人和無(wú)人駕駛汽車?！彼f(shuō)，“我們也有一些面向地理位置的實(shí)驗(yàn)室，比如多倫多和特拉維夫人工智能實(shí)驗(yàn)室?！?/p>

英偉達(dá)有時(shí)會(huì)從一些小組中挑選一些人來(lái)實(shí)行瘋狂的計(jì)劃，比如有一個(gè)小組開(kāi)發(fā)出了英偉達(dá)的實(shí)時(shí)光線追蹤技術(shù)。

和以往一樣，Dally 的談話中有一些重復(fù)，但是也有一些新的內(nèi)容。這個(gè)小組的規(guī)模，當(dāng)然要比 2019 年大約 175 人有所增長(zhǎng)，因?yàn)槿藗儗?duì)無(wú)人駕駛系統(tǒng)和機(jī)器人的支持力度越來(lái)越大。Dally 說(shuō)：“一年之前，英偉達(dá)把 Macro Pavone 從斯坦福大學(xué)挖來(lái)，領(lǐng)導(dǎo)他們新的無(wú)人駕駛汽車研發(fā)小組?！彼](méi)有過(guò)多提及 CPU 的設(shè)計(jì)，但無(wú)疑，這方面的工作也得到了強(qiáng)化。

以下是 Dally 對(duì)英偉達(dá)在設(shè)計(jì)芯片時(shí)越來(lái)越多地使用人工智能的評(píng)論的一小部分（略加編輯），并附上了一些支持的幻燈片。

“身為一名人工智能專家，我們當(dāng)然想要利用人工智能來(lái)設(shè)計(jì)更好的芯片。我們有好幾種方法可以這樣做。第一條最簡(jiǎn)單的途徑就是我們可以使用（與人工智能相結(jié)合）已有的計(jì)算機(jī)輔助設(shè)計(jì)工具。比如，我們可以測(cè)繪 GPU 里的電力消耗，并且可以預(yù)測(cè)柵極電壓會(huì)降低到什么程度——所謂的 IR 下降就是指電流乘以電阻壓降。用常規(guī) CAD 軟件來(lái)做這件事要花上三個(gè)小時(shí)?！盌ally 說(shuō)道。

在 Dally 看來(lái)，這是一個(gè)迭代的過(guò)程，需要做的就是訓(xùn)練一個(gè)人工智能模型，來(lái)獲得相同的數(shù)據(jù)。

“我們?cè)谝欢言O(shè)計(jì)上這樣做，基本上就能將功率圖輸入，由此產(chǎn)生的推理時(shí)間僅需要三秒鐘。當(dāng)然，如果把特征提取的時(shí)間算在內(nèi)，這需要 18 分鐘。我們能夠很快地取得成果。在這個(gè)案例中，我們采用了圖神經(jīng)網(wǎng)絡(luò)，而不是卷積神經(jīng)網(wǎng)絡(luò)，我們這么做，就是要估算電路中各個(gè)節(jié)點(diǎn)的開(kāi)關(guān)頻率，從而促進(jìn)了前面例子中的功率輸入?！盌ally 說(shuō)，“我們可以在很短的時(shí)間內(nèi)得到精確的功率估算，這要比傳統(tǒng)的方法快。”

Dally 表示自己最喜愛(ài)的工作之一就是利用圖神經(jīng)網(wǎng)絡(luò)來(lái)預(yù)測(cè)寄生效應(yīng)。在幾年前，他曾是一名電路設(shè)計(jì)師。以前，電路設(shè)計(jì)是一個(gè)非常反復(fù)的過(guò)程，你要繪制一副晶體管的原理圖，但是你并不清楚它的性能如何，直到布局設(shè)計(jì)師拿到這副原理圖，進(jìn)行了布局，并提取了寄生器件，然后你才能進(jìn)行電路仿真。

“你會(huì)回去修改你的原理圖（并再次通過(guò)）布局設(shè)計(jì)師，這是一個(gè)非常漫長(zhǎng)的、反復(fù)的、非人道的、勞動(dòng)密集型的過(guò)程。現(xiàn)在我們可以做的是通過(guò)訓(xùn)練神經(jīng)網(wǎng)絡(luò)來(lái)預(yù)測(cè)寄生效應(yīng)，而無(wú)需進(jìn)行布局。這樣，電路設(shè)計(jì)者可以非?？焖俚剡M(jìn)行迭代，而不必在循環(huán)中進(jìn)行手工布局的步驟。這里的圖表顯示，與基準(zhǔn)真相相比，我們對(duì)這些寄生器件的預(yù)測(cè)非常準(zhǔn)確。”

Dally 稱，AI 還可以預(yù)測(cè)路由擁堵情況，這對(duì)企業(yè)們的芯片布局至關(guān)重要。

正常的過(guò)程是，研發(fā)人員必須采取一個(gè)網(wǎng)表，通過(guò)布局和路由過(guò)程運(yùn)行，這會(huì)非常耗費(fèi)時(shí)間，通常要花上好幾天。雖然能夠了解擁堵情況，但會(huì)發(fā)現(xiàn)原來(lái)的布局還不夠完善。因此必須重新設(shè)計(jì)，用另一種方法來(lái)布局宏，這樣就可以避開(kāi)那些紅色的區(qū)域（如下圖所示）。

這里有太多的線試圖通過(guò)一個(gè)特定的區(qū)域，有點(diǎn)像交通堵塞的車位?！拔覀儸F(xiàn)在能做到的就是不用再進(jìn)行布局和路由了，我們可以利用這些網(wǎng)表，并且通過(guò)圖神經(jīng)網(wǎng)絡(luò)，基本地預(yù)測(cè)哪里會(huì)出現(xiàn)擁堵，從而達(dá)到很高的精準(zhǔn)度?！彼f(shuō)，“這還不夠完善，但是它表明了問(wèn)題所在的區(qū)域，我們可以立即采取措施，快速地進(jìn)行迭代，而無(wú)需進(jìn)行完整的布局和路由?！?/p>

Dally 表示，目前這些方法都是通過(guò)人工智能對(duì)人類的設(shè)計(jì)進(jìn)行批判。真正讓人激動(dòng)的是，將人工智能用于實(shí)際的設(shè)計(jì)。

Dally 舉了個(gè)例子，比如 NVCell 系統(tǒng)，該系統(tǒng)采用了模擬退火與強(qiáng)化學(xué)習(xí)相結(jié)合的方法來(lái)設(shè)計(jì)標(biāo)準(zhǔn)單元庫(kù)。每獲得一項(xiàng)新技術(shù)，比如從 7nm 轉(zhuǎn)向 5nm，就擁有了一個(gè)單元庫(kù)。Dally 說(shuō)：“事實(shí)上，我們有數(shù)以千計(jì)的這種單元，并且必須用一套非常復(fù)雜的設(shè)計(jì)原則在新技術(shù)中進(jìn)行重新設(shè)計(jì)?！?/p>

據(jù) Dally 介紹，英偉達(dá)主要利用強(qiáng)化學(xué)習(xí)來(lái)布局晶體管。在過(guò)去，當(dāng)晶體管被布局好之后，往往會(huì)出現(xiàn)大量的設(shè)計(jì)規(guī)則上的錯(cuò)誤，就像電子游戲一樣。而這正是強(qiáng)化學(xué)習(xí)最拿手的。

“在 Atari 電子游戲中使用強(qiáng)化學(xué)習(xí)就是很好的范例。這就好比是一款 Atari 電子游戲，不過(guò)它是一款修復(fù)標(biāo)準(zhǔn)單元中設(shè)計(jì)規(guī)劃錯(cuò)誤的電子游戲。我們可以用強(qiáng)化學(xué)習(xí)來(lái)修正這些設(shè)計(jì)規(guī)則中的錯(cuò)誤，從而使我們可以在很大程度上實(shí)現(xiàn)一個(gè)標(biāo)準(zhǔn)單元的設(shè)計(jì)?！?/p>

如下圖所示，92% 的單元庫(kù)可以通過(guò)這款工具來(lái)實(shí)現(xiàn)，而不存在設(shè)計(jì)規(guī)則和電氣規(guī)則方面的錯(cuò)誤。此外，還有 12% 的單元要小于人類設(shè)計(jì)的單元?！翱傮w上來(lái)講，在單元復(fù)雜性方面，這款工具做出來(lái)的單元，與人類設(shè)計(jì)的單元相當(dāng)，或者更好?！盌ally 表示。

這對(duì)英偉達(dá)來(lái)說(shuō)有個(gè)好處是可以節(jié)約很多人力資源。在過(guò)去，一個(gè)大約 10 人的小組需要花費(fèi)一年的時(shí)間，來(lái)完成一個(gè)新的技術(shù)庫(kù)的移植?，F(xiàn)在，可以使用多臺(tái) GPU 運(yùn)行幾天來(lái)完成。這樣，人類就能處理 8% 未自動(dòng)完成的單元。“在很多案例中，我們最終能得到更好的設(shè)計(jì)。這樣可以解決人力，而且優(yōu)于人類的設(shè)計(jì)?！?/p>

Dally 的演講還有很多關(guān)于英偉達(dá)研究開(kāi)發(fā)的內(nèi)容，英偉達(dá)的研究和開(kāi)發(fā)主要集中在產(chǎn)品上，而非基礎(chǔ)科學(xué)。如果你感興趣的話，也可以了解下 Dally 在 2019 年、2021 年關(guān)于英偉達(dá)研究開(kāi)發(fā)的演講?？赐旰竽銜?huì)發(fā)現(xiàn)，Dally 在研究開(kāi)發(fā)工作和組織方面的描述并沒(méi)有什么改變，但是主題是不一樣的。

原文鏈接：

https://www.hpcwire.com/2022/04/18/nvidia-rd-chief-on-how-ai-is-improving-chip-design