ChatGPT 真的那么牛嗎？

來(lái)自紐約大學(xué) Tandon 工程學(xué)院的研究人員發(fā)布了一篇《Chip-Chat: Challenges and Opportunities in Conversational Hardware Design》論文，用實(shí)驗(yàn)回答道：是的，ChatGPT 確實(shí)比較厲害！

只用簡(jiǎn)單的自然語(yǔ)言之英語(yǔ)和 ChatGPT 聊聊天，便制作出了一款微處理芯片。更值得注意的是，在 ChatGPT 的助力下，這款芯片組件不僅是設(shè)計(jì)了出來(lái)的，也是經(jīng)過了基礎(chǔ)測(cè)試，可以制造出來(lái)。

紐約大學(xué)發(fā)文評(píng)價(jià)道，「這是一項(xiàng)史無(wú)前例的成就，可以加快芯片開發(fā)速度，并允許沒有專業(yè)技術(shù)技能的個(gè)人設(shè)計(jì)芯片?！?/span>

所以說(shuō)，全民”造芯“的時(shí)代真的要來(lái)臨了嗎？在此，我們不妨先看看研究人員到底是怎么做的。

AI 大模型的應(yīng)用，硬件領(lǐng)域落后于軟件

在論文中，研究人員指出，現(xiàn)代硬件設(shè)計(jì)始于自然語(yǔ)言提供的規(guī)范，如英文文檔需求，然后再由硬件工程師使用硬件描述語(yǔ)言（HDL）如 Verilog，將需求用代碼構(gòu)建出來(lái)，完成芯片內(nèi)部的設(shè)計(jì)，最終再合成為電路元件。

那么，在 AIGC 時(shí)代來(lái)臨之際，如 OpenAI 的 ChatGPT 和 Google 的 Bard 號(hào)稱可以生成代碼，也有不少開發(fā)者使用過它們創(chuàng)建了一個(gè)又一個(gè)網(wǎng)站，但是當(dāng)前在其應(yīng)用范圍主要聚焦在軟件領(lǐng)域的情況，這些 AIGC 工具能否將硬件工程師的”翻譯“（文檔需求轉(zhuǎn)換成代碼）工作給取而代之。

基于此，研究人員使用了 8 種具有代表性的基準(zhǔn)，研究了在生成硬件描述語(yǔ)言本身的編寫時(shí)，最先進(jìn)的 LLM 狀態(tài)的能力和局限性。

測(cè)試原理與規(guī)則

實(shí)驗(yàn)環(huán)節(jié)，研究人員將 ChatGPT 作為一種模式識(shí)別器（充當(dāng)人類的角色），可以在各種類型的語(yǔ)言（口頭語(yǔ)、書面語(yǔ)）中轉(zhuǎn)換自如，同時(shí)，ChatGPT 可以讓硬件工程師們跳過 HDL 階段。

整體驗(yàn)證流程如下圖所示：

詳細(xì)來(lái)看，首先，硬件工程師對(duì)大模型提供初始提示，讓它創(chuàng)建一個(gè) Verilog 模型，然后提供輸入、輸出的具體信息。最終硬件工程師對(duì)輸出設(shè)計(jì)進(jìn)行可視化評(píng)估，以確定其是否符合基本設(shè)計(jì)規(guī)范。

如果一個(gè)設(shè)計(jì)不符合規(guī)范，它會(huì)在相同的提示下再生成五次。倘若它仍然不符合規(guī)范，那么它就會(huì)失敗。

一旦設(shè)計(jì)和測(cè)試用例已經(jīng)寫好了，它們就會(huì)被用 Icarus Verilog (iverilog，Verilog 硬件描述語(yǔ)言的實(shí)現(xiàn)工具之一) 編譯。如果編譯成功，則進(jìn)行模擬。如果沒有報(bào)告錯(cuò)誤，則設(shè)計(jì)通過，不需要反饋 (NFN)。

如果這些操作中的任何一個(gè)報(bào)告了錯(cuò)誤，它們就會(huì)被反饋到模型中，并被要求“請(qǐng)?zhí)峁┬拚?，這被稱為工具反饋 (TF)。如果相同的錯(cuò)誤或錯(cuò)誤類型出現(xiàn)三次，那么簡(jiǎn)單的人類反饋 (SHF) 是由用戶給出的，通常通過說(shuō)明 Verilog 中什么類型的問題會(huì)導(dǎo)致這個(gè)錯(cuò)誤 (例如：聲明中出現(xiàn)語(yǔ)法錯(cuò)誤)。

如果錯(cuò)誤持續(xù)存在，則會(huì)給出適度的人類反饋 (Moderate Human Feedback，MHF) ，并提供稍微更直接的信息給工具，以識(shí)別特定的錯(cuò)誤。

如果錯(cuò)誤持續(xù)存在，則會(huì)給出高級(jí)人類反饋 (Advanced HumanFeedback，AHF)，它依賴于精確地指出錯(cuò)誤所在和修復(fù)它的方法。

一旦設(shè)計(jì)編譯和模擬，沒有失敗的測(cè)試用例，它就被認(rèn)為是成功的。

但是如果高級(jí)反饋不能修復(fù)錯(cuò)誤，或者用戶需要編寫任何 Verilog 代碼來(lái)解決錯(cuò)誤，則測(cè)試被認(rèn)為是失敗的。如果會(huì)話超過 25 條消息，符合每 3 小時(shí) ChatGPT-4 消息的 OpenAI 速率限制，則該測(cè)試也被視為失敗。

Bard 和 HuggingChat 在首輪測(cè)試中折戟

具體實(shí)驗(yàn)環(huán)節(jié)，研究人員針對(duì) 8 位移位寄存器進(jìn)行了基準(zhǔn)測(cè)試。

他們要求大模型嘗試為一個(gè)「測(cè)試名稱」創(chuàng)建一個(gè) Verilog 模型，然后提供規(guī)范，定義輸入和輸出端口以及任何需要的進(jìn)一步細(xì)節(jié)，并進(jìn)一步詢問大模型“我將如何寫一個(gè)設(shè)計(jì)，以滿足這些規(guī)格？”

與此同時(shí)，研究人員還直接讓大模型生成測(cè)試臺(tái)的設(shè)計(jì)：

你能為這個(gè)設(shè)計(jì)編寫一個(gè) Verilog 測(cè)試臺(tái)嗎？測(cè)試臺(tái)應(yīng)該具備自檢功能，并且能夠與 iverilog 一起用于仿真和驗(yàn)證。如果測(cè)試用例失敗，測(cè)試臺(tái)應(yīng)該能夠提供足夠的信息，以便找到并解決錯(cuò)誤。

進(jìn)而，研究人員基于 ChatGPT-4、ChatGPT-3.5、Bard、HuggingChat 四款大模型得到了輸出內(nèi)容：

最終結(jié)果顯示，兩個(gè) ChatGPT 模型都能夠滿足規(guī)格，并開始進(jìn)行設(shè)計(jì)流程。不過，Bard 和 HuggingChat 未能滿足規(guī)格的初始標(biāo)準(zhǔn)。

雖然按照上文提到的測(cè)試流程，研究人員基于 Bard 和 HuggingChat 的初始提示，又讓大模型重新生成了五次回答，但是多輪之后，這兩個(gè)模型還是都失敗了。其中，Bard 始終無(wú)法滿足給定的設(shè)計(jì)規(guī)范，HuggingChat 的 Verilog 輸出是在模塊定義之后就開始不正確了。

鑒于 Bard 和 HuggingChat 在初始挑戰(zhàn)基準(zhǔn)提示符上的性能較差，研究人員決定后續(xù)只針對(duì) ChatGPT-4 和 ChatGPT-3.5 進(jìn)行完整的測(cè)試。

ChatGPT-4 和 ChatGPT-3.5 的角逐

下圖顯示了 ChatGPT-4 和 ChatGPT-3.5 的基準(zhǔn)測(cè)試結(jié)果，明顯可以看出，ChatGPT-3.5 的性能要比 ChatGPT-4 差一些，大多數(shù)對(duì)話導(dǎo)致基準(zhǔn)測(cè)試失敗，而大多數(shù)通過自己測(cè)試臺(tái)的對(duì)話都是不兼容的。

反觀 ChatGPT-4 的表現(xiàn)更勝一籌，大多數(shù)的基準(zhǔn)測(cè)試都通過了，其中大部分只需要工具反饋。不過，在測(cè)試臺(tái)設(shè)計(jì)中，仍然需要人類的反饋。

ChatGPT-4 與硬件工程師配對(duì)，共同開發(fā)芯片

為了探索 LLM 的潛力，研究人員還讓硬件設(shè)計(jì)工程師和 ChatGPT-4 配對(duì)，共同設(shè)計(jì)一種基于 8 位的累加器的微處理器。

對(duì) ChatGPT-4 的初始提示如下所示：

讓我們一起做一個(gè)全新的微處理器設(shè)計(jì)......我認(rèn)為我們需要限制自己的累加器8位架構(gòu)，沒有多字節(jié)指令。既然如此，你覺得我們?cè)撛趺撮_始?

考慮到空間限制，研究人員的目標(biāo)是使用 32 字節(jié)內(nèi)存（數(shù)據(jù)和指令相結(jié)合）的馮·諾依曼型設(shè)計(jì)。

最終，ChatGPT-4 與硬件工程師共同設(shè)計(jì)了一種新穎的基于 8 位累加器的微處理器架構(gòu)。該處理器采用 Skywater 130nm 工藝，這意味著這些“Chip-Chat”實(shí)現(xiàn)了我們認(rèn)為是世界上第一個(gè)完全由人工智能編寫的用于流片的 HDL。

GPT-4 設(shè)計(jì)的基于累加器的數(shù)據(jù)路徑（由人類繪圖）

在論文中，研究人員總結(jié)道，ChatGPT-4 產(chǎn)生了相對(duì)高質(zhì)量的代碼，這可以從短暫的驗(yàn)證周轉(zhuǎn)中看出。考慮到 ChatGPT-4 每 3 小時(shí) 25 條消息的速率限制，此設(shè)計(jì)的總時(shí)間預(yù)算為 ChatGPT-4 的 22.8 小時(shí)（包括重新啟動(dòng)）。每條消息的實(shí)際生成平均約為 30 秒：如果沒有速率限制，整個(gè)設(shè)計(jì)本可以在 <100 分鐘內(nèi)完成，具體取決于人類工程師。盡管 ChatGPT-4 相對(duì)容易地生成了 Python 匯編程序，但它很難編寫為我們的設(shè)計(jì)編寫的程序，而且ChatGPT也沒有編寫任何重要的測(cè)試程序。

總體上，研究人員完成了在模擬和 FPGA 仿真中評(píng)估了一系列全面的人工編寫的匯編程序中的所有 24 條指令。

ChatGPT 能夠節(jié)省芯片開發(fā)周期

“這項(xiàng)研究產(chǎn)生了我們認(rèn)為是第一個(gè)完全由 AI 生成的 HDL，用于制造物理芯片，”紐約大學(xué) Tandon 的研究助理教授兼研究團(tuán)隊(duì)成員 Hammond Pearce 博士說(shuō)?！耙恍┤斯ぶ悄苣Ｐ?，如 OpenAI 的 ChatGPT 和谷歌的 Bard，可以生成不同編程語(yǔ)言的軟件代碼，但它們?cè)谟布O(shè)計(jì)中的應(yīng)用尚未得到廣泛研究。這項(xiàng)研究表明 AI 也可以使硬件制造受益，尤其是當(dāng)它被用于對(duì)話時(shí)，你可以通過一種來(lái)回的方式來(lái)完善設(shè)計(jì)。”

然而，在這個(gè)過程中，研究人員也需要進(jìn)一步測(cè)試和解決將 AI 用于芯片設(shè)計(jì)所涉及的安全考慮因素。

整體而言，雖然 ChatGPT 不是一款專門面向硬件領(lǐng)域的自動(dòng)化軟件工具，但是它可以成為一款 EDA 輔助工具，而且?guī)椭?EDA 設(shè)計(jì)師們大大降低了知識(shí)門檻。

研究人員也表示，如果在現(xiàn)實(shí)環(huán)境中實(shí)施，在芯片制造中使用 LLM 模型可以減少 HDL 轉(zhuǎn)換過程中的人為錯(cuò)誤，有助于提高生產(chǎn)力，縮短設(shè)計(jì)時(shí)間和上市時(shí)間，并允許進(jìn)行更具創(chuàng)意的設(shè)計(jì)。其實(shí)，僅是這一點(diǎn)，ChatGPT 便值得被硬件工程師們拿來(lái)在硬件領(lǐng)域參與更多的嘗試與探索。

更詳細(xì)的測(cè)試流程見論文：https://arxiv.org/pdf/2305.13243.pdf

參考：

https://www.tomshardware.com/news/conversation-with-chatgpt-was-enough-to-develop-part-of-a-cpu

https://engineering.nyu.edu/news/chip-chat-conversations-ai-models-can-help-create-microprocessing-chips-nyu-tandon-researchers