半導(dǎo)體在摩爾定律的指導(dǎo)下發(fā)展了數(shù)十年，摩爾定律描述了數(shù)字技術(shù)以及近年來(lái)深度學(xué)習(xí)等先進(jìn)人工智能形式的巨大發(fā)展背后的進(jìn)步。

摩爾定律實(shí)際上是一種觀察結(jié)果，由英特爾聯(lián)合創(chuàng)始人戈登·摩爾 (Gordon Moore) 在 1965 年提出，該定律認(rèn)為芯片上的晶體管數(shù)量大約每年都會(huì)增加一倍。 1975年，他將公式調(diào)整為每?jī)赡暌淮巍?幾十年來(lái)，這一點(diǎn)一直成立，有助于解釋當(dāng)今世界的很多問(wèn)題，包括為什么智能手機(jī)和其他數(shù)字設(shè)備的性?xún)r(jià)比顯著提高，尤其是與許多其他種類(lèi)的商品相比。 晶體管的售價(jià)一度高達(dá)每個(gè) 150 美元。 2019 年，典型的英特爾微處理器包含 50 億個(gè)，每個(gè)成本為 0.0000001 美元。

但有人說(shuō)，由于晶體管尺寸現(xiàn)在如此之小，摩爾定律所描述的穩(wěn)定、可預(yù)測(cè)的進(jìn)步已經(jīng)結(jié)束，因?yàn)槟承┡σ呀?jīng)接近經(jīng)濟(jì)和物理學(xué)的極限。 與深度學(xué)習(xí)和其他形式人工智能的進(jìn)步密切相關(guān)的其他類(lèi)型的半導(dǎo)體創(chuàng)新正在進(jìn)行中。 但是，現(xiàn)在已經(jīng)不可能以如此清晰、容易被公眾掌握的方式來(lái)描述芯片創(chuàng)新的下一階段來(lái)預(yù)測(cè)未來(lái)。

半導(dǎo)體巨頭英偉達(dá) (Nvidia) 的首席科學(xué)家比爾·達(dá)利 (Bill Dally) 表示：“那些日子已經(jīng)一去不復(fù)返了，對(duì)吧？”該公司設(shè)計(jì)了人工智能最需要的芯片。英偉達(dá)以圖形處理單元而聞名，圖形處理單元是一種采用 許多核心同時(shí)進(jìn)行計(jì)算。人工智能對(duì)于 GPU 的需求非常大，尤其是具有許多密集層的神經(jīng)網(wǎng)絡(luò)。

雖然摩爾定律所描述的進(jìn)步不再像以前那樣迅速發(fā)展，但英偉達(dá)、谷歌 DeepMind 和其他公司的研究人員正在一系列領(lǐng)域取得進(jìn)展。

“深度學(xué)習(xí)是由硬件驅(qū)動(dòng)的。 我們感到繼續(xù)下去的巨大壓力，”斯坦福大學(xué)計(jì)算機(jī)科學(xué)系前系主任達(dá)利說(shuō)，他仍然是該校的兼職教授。

“事情變得越來(lái)越困難，但我們?nèi)匀挥泻玫南敕ā哪旰?，我們已?jīng)非常清楚性能的來(lái)源。 我們做了很多探索性的努力來(lái)回答這個(gè)問(wèn)題：在那之后性能將來(lái)自哪里，”Dally 說(shuō)，他領(lǐng)導(dǎo)著一個(gè)由 300 名擁有博士學(xué)位的研究人員組成的團(tuán)隊(duì)。

Dally 表示，Nvidia 的先進(jìn)數(shù)據(jù)中心芯片 Hopper 架構(gòu)于 2022 年推出，并設(shè)法將更多晶體管封裝到芯片上，但該芯片的成本比之前的版本更高，而且單個(gè)晶體管的成本也更高。 “較小的晶體管并沒(méi)有真正幫助我們太多，”達(dá)利補(bǔ)充道，“隨著我們從一代過(guò)渡到下一代，我們不再降低晶體管的成本?！?/p>

盡管如此，考慮到摩爾定律之外存在的其他類(lèi)型的創(chuàng)新，Hopper 的性?xún)r(jià)比還是有所提高。 達(dá)利表示，他相信至少在未來(lái)四年內(nèi)，實(shí)現(xiàn)更多創(chuàng)新的道路是明確的，這意味著與人工智能不斷增長(zhǎng)的力量密切相關(guān)的硬件改進(jìn)也應(yīng)該繼續(xù)下去，這將對(duì)醫(yī)療等眾多行業(yè)產(chǎn)生影響。 科學(xué)和醫(yī)療保健到金融和電子商務(wù)。

這項(xiàng)工作利用了稀疏性或?qū)ⅰ靶　睌?shù)字舍入為零等概念，從而減少了芯片必須執(zhí)行的乘法量。

八年前，現(xiàn)在麻省理工學(xué)院的 Dally 和 Song Han 以及其他人在 NeurIPS 會(huì)議上發(fā)表了一篇論文，該論文表明，對(duì)于很多神經(jīng)網(wǎng)絡(luò)，他們可以將 90% 的數(shù)字歸零，并且不會(huì)改變神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確性。

“我們?nèi)栽谘芯咳绾卫酶玫挠布?lái)利用這一點(diǎn)，”達(dá)利說(shuō)。

另一個(gè)創(chuàng)新領(lǐng)域涉及數(shù)字表示，其中數(shù)字以各種方式表示，例如一串 1 和 0。 Dally 表示，如果可以用更短的字符串（例如 8 個(gè)而不是 16 或 32 個(gè)單位或位）來(lái)完成此操作，那么乘法等過(guò)程中芯片所需的工作量就會(huì)相應(yīng)減少。 這提高了芯片的整體功率和效率。

英偉達(dá)和谷歌一直致力于為人工智能定制芯片。 這使得他們能夠比摩爾定律更快地?cái)U(kuò)展人工智能芯片性能，盡管在芯片上放置更多晶體管變得越來(lái)越困難。 2020 年，《華爾街日?qǐng)?bào)》專(zhuān)欄作家克里斯托弗·米姆斯 (Christopher Mims) 以 Nvidia 聯(lián)合創(chuàng)始人兼首席執(zhí)行官黃仁勛 (Jensen Huang) 的名字命名了黃氏定律 (Huang’s Law)，該定律指出，為人工智能提供動(dòng)力的硅芯片的性能每?jī)赡昃蜁?huì)增加一倍以上。

然而，存在一個(gè)根本性的差異：人工智能算法每隔幾個(gè)月就會(huì)進(jìn)化一次，而設(shè)計(jì)芯片則需要兩到三年的時(shí)間。

通過(guò)采用先進(jìn)的人工智能，可以顯著減少芯片設(shè)計(jì)的時(shí)間和成本。 一些研究人員認(rèn)為人工智能可以將設(shè)計(jì)過(guò)程從幾年縮短到幾天。 在軟件方面，更好的資源調(diào)度和更優(yōu)化的代碼可以提高現(xiàn)有芯片設(shè)計(jì)的性能。

數(shù)據(jù)中心和芯片研究總監(jiān) Olivier Temam 表示，緩慢而昂貴的芯片設(shè)計(jì)還有一個(gè)更微妙的后果：它需要人工智能研究人員為現(xiàn)有芯片創(chuàng)建算法，這反過(guò)來(lái)可能會(huì)限制他們?cè)O(shè)想的人工智能算法的范圍。 ，谷歌 DeepMind。 如果研究人員能夠更容易、更便宜地制造適應(yīng)新穎人工智能算法的芯片，可能會(huì)在該領(lǐng)域釋放更多創(chuàng)造力。

Temam 表示：“人工智能驅(qū)動(dòng)的芯片設(shè)計(jì)的最新進(jìn)展與持續(xù)的探索相結(jié)合，表明我們有一天可能能夠?qū)崿F(xiàn)芯片設(shè)計(jì)的自動(dòng)化，最終帶來(lái)生產(chǎn)力的大幅提升，從而改變整個(gè)行業(yè)?！?/p>