GPGPU加速大模型訓練，用開源解決人、錢、時間難題。編輯 |  GACS9月14日~15日，2023全球AI芯片峰會（GACS 2023）在深圳南山圓滿舉行。在次日AI大算力芯片專場上，上海交通大學計算機科學與工程系教授梁曉峣分享了題為《開源GPGPU平臺“青花瓷”的技術進展與生態(tài)建設》的主題演講。梁曉峣教授以目前AI芯片領域的“王者”英偉達作為切入點，解讀了英偉達是如何在“瘋狂的大模型時代”中，通過數(shù)制、稀疏性、互連、內存帶寬方面的4項革新，以及涵蓋編程語言、運行環(huán)境等完善的軟件生態(tài)建設應對挑戰(zhàn)，從而鞏固自己的地位的。他認為，在英偉達以V100為代表的處理器中，CUDA Core和Tensor Core這兩個主要單元幫助英偉達奠定了AI時代算力基座的行業(yè)地位。為了建設國內的開源生態(tài)，梁曉峣團隊于去年推出自研GPGPU平臺“青花瓷”，該平臺支持大規(guī)模的并行通用計算、科學計算、AI計算等。梁曉峣團隊定義的“青花瓷”指令集分為9個大類，功能組合超過100個，支持應用超過100個，通過這套自定義指令，能夠實現(xiàn)架構通用性、性能先進性、生態(tài)兼容度。梁曉峣強調，青花瓷平臺不收取任何費用，完全免費開放給大家使用。以下為梁曉峣的演講實錄：感謝主辦方的邀請，這是我連續(xù)第二次在芯片論壇給大家做匯報。如果說從去年到今年發(fā)生了一件特別重要的事情，毫無疑問就是大模型，它的橫空出世改變了我們人類的世界。大模型可以做的事情非常多，包括在一些標準化測試當中，它的機器評分、人工智能評分已經超越了人類。大模型最關鍵的就是大，即它的參數(shù)量非常大，動輒幾十億，甚至上百、上千億的規(guī)模。像最大的GPT-3模型，可以達到1700多億參數(shù)。伴隨著參數(shù)，實際上就是算力的挑戰(zhàn)。因為每一個參數(shù)都需要參與計算，這么大的參數(shù)量就帶來巨大的算力。對于GPT-3最大的模型，用現(xiàn)在市場上最主流的A100 GPU，即使把1000塊A100 GPU互連在一起，也需要訓練30多天的時間，可見大模型對算力的需求是有多么的巨大。其實進入信息社會以來，人類社會發(fā)展史就是一部算力發(fā)展史。從最早期，人們采用分立元件三極管，搭出了一個人類歷史上第一臺通用計算機ENIAC。這個計算機有著非常大的體積，但它的算力可能也只是相當于今天一個計算器的算力。隨著集成電路的出現(xiàn)，我們發(fā)現(xiàn)可以把晶體管集成在晶圓、芯片上，可以在人眼看不見的尺寸上做所謂的集成電路，從而有了現(xiàn)在按照摩爾定律發(fā)展的28納米、14納米、7納米等尺寸芯片，晶體管尺寸會做得越來越小。伴隨著集成電路行業(yè)的發(fā)展，各種各樣的處理器、芯片類型都應運而生。比較有名的像CPU，英特爾是老大；現(xiàn)在如日中天的GPU，以英偉達為代表，在AI和數(shù)據中心中取得非常絕對的統(tǒng)治地位；像DPU主要做數(shù)據層面的分離和專用的處理，AI芯片也是其中一類。未來可能還會有更先進的芯片，比如量子芯片、光子芯片、生物芯片等，這些芯片可能還需要一段時間的發(fā)展，但是這個方向也是非常明確的，未來會往這個方向走。
01.英偉達抓住時代機遇，GPGPU提高計算并行度

我今天的報告可能不會涉及到那么多，主要還是和大家聊一聊現(xiàn)在最主流的，也是最重要的一類AI芯片——GPGPU。所謂GPGPU，就是通用圖形處理器（General-Purpose Graphics Processing Unit），現(xiàn)在代表性的企業(yè)是英偉達，這家公司在上半年市值突破了1萬億美金。歷史上只有幾家公司突破過1萬億美金，包括蘋果、微軟、谷歌和亞馬遜等。作為一家芯片企業(yè)，突破1萬億市值是歷史上第一次。為什么英偉達能做到這一點？正是因為它抓住了時代機遇。大家都在AI大時代淘金，而英偉達常被稱作是“賣鏟子的”，其實它是賺錢最多的。從英偉達來看，我認為最具有代表性的，真正讓英偉達進入AI時代算力基座的、奠定基礎的是V100這代GPU。V100已經是幾代以前的GPU了，但非常具有代表性。在一個GPU里面有很多處理器，下圖中一個方塊就是GPU的一個處理器。每個處理器放大來看，都是一樣的架構。在英偉達以V100為代表的處理器中，有幾個主要的單元，其中最主要的是CUDA Core和Tensor Core這兩個單元。

CUDA Core是大家耳熟能詳?shù)?，指的是GPU以SIMT，即單指令、多線程的方式運行。在V100這代架構里，英偉達增加了一個Tensor Core張量運算引擎，加入的主要目的就是為了做AI計算，那時候還叫深度神經網絡計算。因此，V100這代GPU是非常具有代表性的。那么具體分析，GPU為什么能夠算得這么快？為什么它的性能會這么好？主要得益于它極高的數(shù)據并行度。SIMT中，這個“T”指的是線程。一個GPU上可以有海量的線程，每時每刻都有成千上萬的線程可以同時運行。舉一個非常簡單的例子，比方說有兩個矩陣，A矩陣乘以B矩陣，要得到一個C矩陣結果。在C矩陣中，每一個結果點，即下圖中這個紅色的點，它的計算就是從A矩陣中拿出一行，B矩陣中拿出一列，把它們相乘作一個內值就得到了結果點。在CUDA Core里面，每一個線程都負責計算C矩陣中的一個結果點，一個線程只計算一個結果點。GPU中成千上萬個線程同時執(zhí)行，所以一瞬間的功夫，這個C矩陣里的所有結果都會被計算出來，這就是CUDA Core并行性比較強大的原因。

以此做類比，假如用一個CPU去做，CPU里一個線程也只能計算一個點，做完一個點再去做第二個、第三個點。但是CPU里可能只有十個線程，沒有這么高的并行性，所以它的算力、并行度沒有這么高，不如GPU計算那么快。這是在GPU CUDA Core里，用傳統(tǒng)的SIMT引擎里做計算。那么為什么要加入Tensor Core呢？因為英偉達意識到，即便用CUDA Core那種單點做矩陣的方式，速度還是不夠快。AI對于算力的需求是無止境的，AI模型參數(shù)在不斷變大，指數(shù)級上升，對算力需求也是指數(shù)級上升。只靠英偉達傳統(tǒng)SIMT里的CUDA Core還不夠，所以在V100這代GPU里，英偉達加入Tensor Engine，即張量運行計算單元。Tensor Core改變了矩陣計算的方式，按照一個模塊、一個模塊去做矩陣，而不是一個點、一個點去做矩陣。在英偉達的Tensor Core里，以4×4的矩陣塊為一個基本單位，一次可以計算出一個4×4的矩陣乘上另外一個4×4矩陣的結果。這種方式比CUDA Core又要有效很多，速度、功耗各方面都會提升很多，這是英偉達加入Tensor Core的主要原因。

剛才我們提到了，英偉達提出用張量引擎做矩陣，通過4×4的矩陣塊來進行運算。那么有沒有可能在更大的塊上做矩陣呢？原則上講，這個“塊”放得越大，一次能夠同時進行計算的數(shù)越多，GPU的效率會越高，性能會越好。華為的AI處理器借鑒了同樣的概念，但是用更大的矩陣塊去做，它的矩陣塊大小是16×16，一次可以吃進256個數(shù)，吐出一個16×16的矩陣結果，所以效率、算力會更高，超過了英偉達的Tensor Core。

當然也有其他一些公司在考慮，除了Tensor Core，有沒有其他的方式可以更有效地進行矩陣計算或者類似的計算？實際上是有的，比如谷歌自己的AI專用芯片TPU，特斯拉用在自動駕駛上的專用芯片F(xiàn)SD。無論是谷歌還是特斯拉，他們都采用一種脈動陣列的方式處理。比起張量引擎，脈動陣列的優(yōu)勢在于在很大規(guī)模的計算陣列上，增加了計算單元之間的互動、脈動，數(shù)據可以橫向滑，也可以縱向滑?；瑒拥募尤耄姑}動陣列變得更加高效，性能更高。

脈動陣列并不是一個新的東西，早在上世紀60年代，就由H. T. Kung教授提出，只是那個時候還沒有AI?，F(xiàn)在，谷歌和特斯拉發(fā)現(xiàn)這個結構用在AI做矩陣計算上非常有效。如果你采用脈動陣列的方式來做矩陣計算，會比由點、小矩陣塊或大矩陣塊來做并行都更加高效。
02.四項巨大革新，英偉達鞏固AI領域王者地位

這樣看來，英偉達似乎處于非常被動的局面，大家都群起來挑戰(zhàn)英偉達。華為用大矩陣塊做并行，谷歌、特斯拉用脈動陣列做并行，這些方式都比英偉達芯片高效，所以英偉達面臨著巨大的挑戰(zhàn)和壓力。如果應對不利，它可能會失去在AI領域的王者地位。面對華為、谷歌等公司的挑戰(zhàn)，英偉達也立刻提起反擊。在V100以后，英偉達又做了A100、H100兩代芯片。我認為，英偉達做了四項非常巨大的革新，從而再次鞏固了自己在AI芯片里王者的地位。第一項革新是數(shù)制。在做矩陣計算的時候，計算分為整型數(shù)和浮點數(shù)，其中浮點數(shù)是最為重要的。從傳統(tǒng)意義上講，做浮點數(shù)計算需要遵照國際標準，國際上有一個IEEE 754標準定義了浮點數(shù)計算的規(guī)則。無論是做CPU還是GPU，都要符合計算的標準。但是到了人工智能時代，我們發(fā)現(xiàn)這個規(guī)則其實是可以被打破的。在人工智能里做浮點數(shù)的計算，精度差一點，對于最后的網絡結果影響并不大。在這個基礎上，大家提出是不是可以把傳統(tǒng)IEEE 754國際標準放寬松，計算精度要求低一點？因為精度越低，算力越高，功耗越省。英偉達推出了自己的算制TF32，所謂TF32并不是32位的，其實只有19位數(shù)。英偉達稱，用19位的數(shù)來做計算，最后可以達到用32位浮點數(shù)來計算的等效網絡結果。最近，英偉達甚至在最新一代GPU中推出了TF8算制，也就是用8位浮點數(shù)，就可以達到32位的效果。

這實際上是英偉達的優(yōu)勢，因為它既做運動員又做裁判員。英偉達說TF8好，那就是TF8好，為什么呢？因為幾乎所有的模型，落地都會首先落在英偉達的GPU上。也就是說，即便英偉達這個數(shù)制定義得不好，哪怕這個計算是錯誤的，但是因為大家都是在它的基礎上做的，所以它的錯誤也變成了標準，它定義的東西就變成了“事實上的標準”。換句話說，即便你有更好的方法，但是因為別人的模型都是在英偉達GPU上先落地，所以它利用先發(fā)優(yōu)勢形成了事實標準。這顯然可以對它所謂的生態(tài)起到了很大的“護城河”作用。第二個是稀疏性，這和剛才講的精度有相關聯(lián)的地方。我們發(fā)現(xiàn)在網絡里，雖然參數(shù)很多，但實際上不是每一個參數(shù)都那么關鍵。當減掉一些參數(shù)后，網絡性并不受影響，這就是所謂的稀疏性。充分利用稀疏性，可以大量簡化計算，比方說四個參數(shù)，減掉兩個參數(shù)，就只需要計算兩次，但是對網絡精度結果并沒有太大影響。英偉達新的GPU里對稀疏性也進行了支持。當然，英偉達的支持是有限的，必須按照它的規(guī)則進行支持。

第三個方面是互連，我認為這一點尤其是在大模型下是最關鍵的，是英偉達真正的殺手锏?；ミB包括芯片跟芯片間的互連，板卡跟板卡間的互連，以及服務器跟服務器的互連。幾年前，英偉達前瞻性地收購了一家做互連的公司Mellanox，也就有了后面我們統(tǒng)稱英偉達NVLink的高速互連網絡。大模型的參數(shù)都是數(shù)百上千億，以后可能還會更大，沒有一個單芯片能夠容納這么大的參數(shù)，也沒有一個單芯片能夠容納這么大的算力。未來只要是大模型時代，所有的系統(tǒng)都需要由很多芯片互連在一起組成，少則幾百片，多則成千上萬片。這個時候，芯片之間的互連，數(shù)據之間的傳輸成為真正的瓶頸。芯片的算力未必能用得滿，但是互連網絡上數(shù)據的傳輸幾乎都是被耗盡的。如果互連網絡的速度帶寬不夠，芯片上的算力再高也是沒用的，發(fā)揮不出來，最后所有數(shù)據都被堵在互連的高速公路上。而在互連方面，毫無疑問，英偉達現(xiàn)在是世界上的王者。英偉達互連網絡的設計、速度、軟硬件的適配性是最好的，所以能在大模型下充分發(fā)揮出算力的優(yōu)勢。其他的芯片公司也許能做出很高算力芯片，但是因為沒有這么好的互連網絡支持，芯片的性能很難發(fā)揮出來。

第四點是內存帶寬。當我們有成千上萬數(shù)據的時候，在進行計算之前，首先要有地方存放。如果連存都存不下，數(shù)據供不上，何談算力呢？在這方面，英偉達也是走在世界的前列，它率先采用了HBM、HBM2以及現(xiàn)在HBM3E，使用最先進的片上堆疊的2.5D封裝技術，它內存的帶寬和容量都可以遠遠超越其他的競爭對手。

英偉達通過四項核心技術的反擊，再次鞏固了自己在AI市場上“霸主”的地位。過去幾年，雖然面臨著眾多芯片公司的挑戰(zhàn)，但是英偉達的市占率非常牢固，幾乎沒有被動搖。
03.大模型時代軟件生態(tài)成為重中之重，開源成為可能的出路

在近年相關的學術論文中，英偉達GPU作為AI芯片的出現(xiàn)頻率遠超其他芯片。統(tǒng)計顯示，在國際頂級會議，使用英偉達來做學術探索的論文與使用其他芯片的論文發(fā)表相差20倍。這是非常關鍵的，因為AI領域不斷在創(chuàng)新，不斷有新東西出現(xiàn)，我們無法預測明年，甚至下個月會產生什么新的東西。而這些新的東西都是在學術界，包括大公司先進的研究實驗室中產生的。這些論文中的實驗如果是在英偉達GPU上做的，自然落地首選就是英偉達GPU。其次，從AI數(shù)據中心的占比來看，英偉達無論是在阿里云、AWS，還是其他任何云里，都占據絕對主導地位，占85%以上。過去幾年，這個比例還在逐漸上升。

這樣的絕對主導地位是什么問題造成的？我個人認為，英偉達最大的優(yōu)勢還是在于它的軟件生態(tài)。一顆芯片好或不好，不是取決于它的硬件指標，不是取決于它的裸算力有多高、功耗有多低，而是取決于它好不好用。這個芯片做出來，大家是否能馬上用上，能否無縫遷移，能否很愉快地使用，這才是關鍵。而這點英偉達做得非常好，它有數(shù)十年的積累，新的模型幾乎都會先在英偉達GPU落地，這個先發(fā)優(yōu)勢是非常明顯的。關鍵中的關鍵就是生態(tài)。生態(tài)不只是幾個模型、幾個框架的問題，它是一個綜合性的問題，包括編程語言。編程語言，像英偉達的CUDA生態(tài)，指的是CUDA編程的方式、習慣，它又直接聯(lián)系到芯片指令集的定義、芯片的架構定義，一些運行庫和Runtime（運行時）也非常關鍵。現(xiàn)在做AI、做算法的同事中，其實很少有人會去寫CUDA。大家說英偉達最大的生態(tài)是CUDA，我認為不是這樣的，絕大多數(shù)人不寫CUDA，但是他們會用英偉達提供的算術庫和運行時。這些運行時是十幾年的積累，對于每一種網絡、應用都有一個專業(yè)的庫去加速，這些庫是閉源的，我認為這才是英偉達非常高的護城河，而不是CUDA編程環(huán)境。工具對于芯片的落地很重要，包括Debug工具以及其他相關的工具，所有這些，構成了一個芯片的生態(tài)。

早些年芯片的生態(tài)，有幾個核心的芯片公司，像英特爾、英偉達、高通等來定義核心的芯片架構、芯片產品。很多軟件公司圍繞這幾個核心的芯片大廠，去定制領域專業(yè)的軟件。過去六七年，這個形勢發(fā)生了變化，如雨后春筍般出現(xiàn)了很多芯片公司。下圖列出了過去五六年國內一些做AI芯片的公司，他們圍繞最主流的軟件框架，比如TensorFlow和PyTorch，去做AI芯片或GPGPU芯片。所謂行業(yè)變化，一開始，軟件公司圍繞硬件公司做領域專業(yè)的軟件，后來變成芯片公司圍繞一兩個軟件框架，做領域專用的芯片，這個過程一直持續(xù)到今天。本來這個過程，如果這樣發(fā)展下去，我認為是有希望的。只要給這些芯片公司足夠多的時間，他們一定會跑出來，因為行業(yè)在發(fā)展。

但是半路上殺出一個程咬金，今年突然進入了大模型時代。大模型層出不窮，導致這些做大芯片的芯片公司無所適從。大家都在做大模型，有這么多做大模型的公司，還有這么多做AI芯片的公司，到底怎么適配？本來大家只圍繞一兩個軟件框架去做還相對簡單，現(xiàn)在這么多大模型，我到底適配誰呢？大模型公司會看，這么多AI芯片公司到底誰能打，誰能打我就跟誰合作。當然，英偉達是一個默認的選擇，除了英偉達之外，誰能打呢？AI芯片公司也會問，這些做大模型的公司誰能賺錢呢？能賺錢，合作才有意義。這就出現(xiàn)了一個問題，在大模型時代，像英偉達這樣的公司過于領先的時候，就要想別的出路。我能想到一條出路，就是開源，用免費、開放、開源的方式去解決錢、人、時間的問題。在硬件上比較有代表性的是RISC-V，它是一個開源的CPU指令集和硬件架構。RISC-V是在2010年，由伯克利的David Patterson教授和Krste Asanovic教授從零開始設計的。當時它只定義了50條左右的指令，沒什么影響力，但是隨著時間的發(fā)展，開源社區(qū)逐漸煥發(fā)出蓬勃的生機。現(xiàn)在在CPU領域RISC-V特別火，已經成為繼英特爾x86體系、Arm指令集體系以外的第三極。這個開源的方式已經被證明，當對手特別強大的時候，實際上是一個有效的方式。
04.GPGPU領域的開源平臺，降低軟件開發(fā)難度

RISC-V是在CPU領域開源的方式，那么有沒有可能在GPGPU領域，我們也做一個開源的方式呢？這就是我們團隊推出GPGPU開源平臺的原因。我們把它命名為“青花瓷”，“瓷”就是China。建設青花瓷平臺的目的，是支持大規(guī)模的并行通用計算、科學計算、AI計算等。講得直接一點，除了打游戲的部分，其他英偉達GPU卡能做的，我們都希望能做，并通過這個平臺提供給大家。我們高度重視與英偉達GPGPU產品的兼容性。換句話說，我們希望終極的效果就是英偉達的GPU卡能夠跑的應用，我們一行代碼都不用改，直接在卡上跑起來，這就是解決生態(tài)的問題。為了建造這樣一種新的GPGPU平臺生態(tài)，我們做了三方面的工作。首先是打造了一個開源平臺，也就是“青花瓷”平臺。其次，我們出版了一本專業(yè)教材，叫《通用圖形處理器設計 GPGPU編程模型與架構原理》。這是國內第一本，也是目前為止唯一一本專業(yè)介紹如何設計一個GPGPU架構的教材。如果你是做GPGPU的芯片工程師，我相信基本上都讀過這個教材。這個教材出版到現(xiàn)在不過一年時間，一直在京東暢銷書排行榜上，可見大家對新的核心技術是非常關注的。最后，我們在上海交通大學打造了一門專門介紹通用圖形處理器設計的課程。我們的研究包括架構、基礎指令、基礎軟件棧，同時通過開源社區(qū)方式來呈現(xiàn)給大家，下圖是“青花瓷”平臺的整體架構和核心架構。一句話總結來說，英偉達有的東西，我們都有。

這里我要重新強調一下，GPGPU不是SIMD，也不僅僅是SIMT。SIMD叫單指令、多數(shù)據，SIMT叫單指令、多線程。某種意義上講，GPGPU包括了SIMD和SIMT的功能，但遠遠大于SIMD和SIMT。GPGPU有很多復雜的設計，包括存儲架構、線程的調度、線程的管理，包括一些分支沖突的解決，以及復雜的同步機理，這些東西都是GPGPU的核心，它不是那么簡單的一個SIMT和SIMD的問題。我們定義的“青花瓷”指令集分為9個大類，功能組合超過100個，支持應用超過100個，所以通過我們這套自定義指令，能夠實現(xiàn)架構通用性、性能先進性、生態(tài)兼容度。英偉達的核心并不完全是CUDA，而是運行時、運行庫、運行環(huán)境、API（應用程序接口）的支持，這些是它的核心競爭力。我們也定義了6大類API，可以支持的復雜函數(shù)超過50個。下圖是我們提供給大家的，在這條路上，上面綠色的東西是開源的，下面藍色的東西也是開源的。有了這套東西，你可以獲得我們的基礎指令集、基礎軟件知識，可以在我們仿真模型上運行任何程序。只要你是用CUDA或者框架寫的程序，都可以在上面運行。當然如果真的做芯片，你需要有RTL Model或者FPGA Model，這個我們是不開源的，我們只開源了這個仿真系。

下圖是我們能夠支持的不同類型的程序和函數(shù)，可以看出，我們這個平臺不只是為AI去做的，甚至跟AI沒有特別大的關系。AI只是我們能夠支持應用中的一部分，有很多很多的算子、應用都不是AI，但是它可能用在科學計算、金融活動以及人類生活的方方面面。

下圖這些也是我們能夠支持的，是另一類應用。

最后這一類應用是跟AI有關系的?，F(xiàn)在只要是推理網絡，我們的平臺都能完全跑得通；對于訓練網絡，不是跑不通，而是時間太長了跑不完，但是簡單的訓練像Tranformer是可以跑通的，并且不用改一行代碼。我們曾經跟某個大廠有一些合作和討論，為了看這個平臺的兼容性如何，所謂耳聽為虛、眼見為實。他們丟給我們10個應用，我們一行代碼不改，直接丟在平臺上跑，當場跑通了8個，還有2個調試一下也能跑通，這說明我們對于生態(tài)的兼容性是非常強大的。這也是我們做這個平臺最主要的目的，我們不會做任何一款芯片，這個平臺就是給大家提供一個參考設計。

如果你是在學校、在科研院所做基礎研究，可以結合我們的書、課程進行基礎研究。青花瓷可以作為一個實踐的平臺，開放、免費地給大家使用，也支持在這個基礎上做一些突破創(chuàng)新。我們什么都可以做，但是我們唯一不做的就是收費，我們不收任何費用，完全免費開放給大家使用。剛才說的東西都在我們的網站和代碼倉庫上，如果大家有興趣可以下載。網站上有非常詳細的使用說明，只要根據說明一步一步去做，就可以試著去跑一些網絡，跑一下最新的大模型。這個開源項目是不斷累積的過程，需要持續(xù)投入和漫長積累，唯有穿越行業(yè)的周期性長期存在，才有創(chuàng)造新生命的可能。RISC-V做了十多年才有今日的成就，我們的GPGPU平臺是一個新的生命，去年才剛剛發(fā)布，到現(xiàn)在不過一年的時間。我們希望堅持十年、十五年的時間，就有機會成功。有任何問題可以聯(lián)系我們，這是聯(lián)系方式，謝謝大家！青花瓷網站：https://gpgpuarch.org聯(lián)系方式：liang-xy@cs.sjtu.edu.cn以上是梁曉峣演講內容的完整整理。

*博客內容為網友個人發(fā)布，僅代表博主個人觀點，如有侵權請聯(lián)系工作人員刪除。