英偉達(dá)的進(jìn)化之路:從電子游戲到人工智能
“深度學(xué)習(xí)幾乎和大腦一樣”,黃仁勛說:“它非常有用,你可以教會他幾乎所有事情。但是它有一個非常大的壁壘,那就是它需要大量的計(jì)算。而我們的GPU具備這樣的計(jì)算能力,是深度學(xué)習(xí)計(jì)算模型的理想選擇。”
本文引用地址:http://cafeforensic.com/article/201612/341844.htm深度學(xué)習(xí)發(fā)展史具有里程碑意義的事件發(fā)生在2010年帕羅奧圖的一家日本餐館,在這里,斯坦福的軟件語言學(xué)教授吳恩達(dá)(Andrew Ng)會見了Google 當(dāng)時的 CEO 拉里·佩奇和塞巴斯蒂安·特倫(Sebastian Thrun)。塞巴斯蒂安·特倫是一位才華洋溢的計(jì)算機(jī)科學(xué)家,后來成為了Google X實(shí)驗(yàn)室的負(fù)責(zé)人。早在2008年吳恩達(dá)就發(fā)表了一篇關(guān)于將GPU運(yùn)用到深度學(xué)習(xí)模型的學(xué)術(shù)文章。“深度學(xué)習(xí)在2008年還不常見”,吳恩達(dá)說:“當(dāng)時的風(fēng)氣是寫出花哨的算法?!?/p>
特倫開發(fā)了最早一批的自動駕駛車,在斯坦福他和吳恩達(dá)的辦公室只有一墻之隔,這兩位科學(xué)家共同選擇了在Google建立一個深度學(xué)習(xí)研究團(tuán)隊(duì)。這樣的選擇是有道理的:Google有大量的計(jì)算基礎(chǔ)設(shè)施,這對于搭建世界上最大的神經(jīng)網(wǎng)絡(luò)來說是再好不過的了。佩奇同意了他們的想法,Google Brain就這樣誕生了。Google Brain產(chǎn)出的深度學(xué)習(xí)幾乎滲透到了Google的每一個產(chǎn)品里,尤其是搜索、語音識別和圖像識別。
在谷歌開始開發(fā)Google Brain的同時,相隔2500英里以外的另一只研究團(tuán)隊(duì)也在搗鼓著深層學(xué)習(xí)。2012年,當(dāng)時還是多倫多大學(xué)博士研究生的Alex Krizhevsky向ImageNet大賽提交了他出色的研究成果。全球各地的參賽者都可以向ImageNet大賽提交自己的軟件,比賽內(nèi)容是軟件對圖像中的物件和場景識別的精準(zhǔn)度。Alex Krizhevsky在自己的房間里用兩塊英偉達(dá)GeForce游戲芯片開發(fā)出了他的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)系統(tǒng),他向其中導(dǎo)入了120萬張圖片來訓(xùn)練其深度學(xué)習(xí)模型。他開發(fā)的這套模型所達(dá)到的圖像識別準(zhǔn)確度是前所未有的,錯誤率只有15%——對于以前25%的錯誤率來說是巨大的進(jìn)步。Alex Krizhevsky的研究成果不僅贏得了當(dāng)年的ImageNet大賽還立刻在學(xué)術(shù)界引起了巨大的反響。(Alex Krizhevsky和他以前在多倫多大學(xué)的教授現(xiàn)在都在Google工作。)
有了這樣的進(jìn)步以后,深層學(xué)習(xí)開始以野火般的趨勢推展開來。除了谷歌以外,微軟、Facebook和亞馬遜也開始著手富有前瞻性的深層學(xué)習(xí)項(xiàng)目。英偉達(dá)加大了對CUDA基礎(chǔ)軟件生態(tài)系統(tǒng)的投資,這一決定成為了推動這一場變革的關(guān)鍵助因?!斑@需要多年投入大量資金,”英偉達(dá)CUDA開發(fā)團(tuán)隊(duì)領(lǐng)頭人Ian Buck說:“我們現(xiàn)在正在從多年前這筆富有遠(yuǎn)見的投資中收獲果實(shí),這是黃仁勛多年來一直的承諾。”
基于深層學(xué)習(xí),英偉達(dá)持續(xù)優(yōu)化其硬件。英偉達(dá)將8片最新發(fā)布的服務(wù)器芯片Tesla P100集裝在一個三英尺長五英寸厚的長方形容器中,英偉達(dá)將這個容器命名為DGX-1并號稱其是“世界上第一臺盒子里的AI”。這臺售價130,000美金的機(jī)器的計(jì)算速度達(dá)到了每秒170萬億次( teraflop),這相當(dāng)于250臺傳統(tǒng)服務(wù)器的計(jì)算速度。今年8月,黃仁勛親自將第一臺DGX-1送給Elon Musk,Elon Musk在舊金山運(yùn)營了一個名為OpenAI的非營利AI項(xiàng)目。
黃仁勛的競爭意識在他早年就顯現(xiàn)出來了。黃仁勛于1963年出生在臺灣,在他10歲那年,他的父母還在辦理移民手續(xù),他被送到肯塔基州東部偏遠(yuǎn)地區(qū)的寄宿學(xué)校上學(xué),在那里度過了糟糕的青春時光。當(dāng)時那里環(huán)境惡劣,他的室友是比他年長7歲,身上有7處刀傷的男生。黃仁勛找到了自己的情緒出口,他迷上了乒乓球。1978年,15歲那年,他在美國乒乓球公開賽中奪得了青年組雙人季軍。
黃仁勛在高中時又迷上了計(jì)算機(jī),后來在俄勒岡州立大學(xué)(Oregon State University)學(xué)習(xí)計(jì)算機(jī)科學(xué)及芯片設(shè)計(jì)。在那里,他還遇見了他的老婆Lori。畢業(yè)以后,他們搬到了硅谷,在這里黃仁勛的第一份工作是在Intel的對手AMD那里設(shè)計(jì)處理器芯片。同時,他繼續(xù)進(jìn)修學(xué)習(xí),在1992年,他在斯坦福取得了電氣工學(xué)學(xué)碩士學(xué)位。接下來,他就在芯片制造商LSI Corp.遇見了Malachowsky和Priem,當(dāng)時Malachowsky和Priem都還在Sun Microsystems工作。
他們?nèi)齻€想創(chuàng)辦一家圖像處理芯片公司時,黃仁勛才剛滿30歲。他們在早期圖像處理中看到了可以帶來進(jìn)步的巨大機(jī)遇,他們的產(chǎn)品后來也成功的運(yùn)用在了PC上。
英偉達(dá)在1995年發(fā)布了第一代芯片NV1,耗費(fèi)了1千萬美金開發(fā)費(fèi),這筆錢由紅杉資本和Sutter Hill Ventures提供。英偉達(dá)設(shè)想NV1可以在很多場景下使用,但不幸的是消費(fèi)者并不買單。當(dāng)時英偉達(dá)才剛建立起來兩年,瀕臨破產(chǎn),他們被迫解雇了幾乎一半的員工,最后留下了40人。他們于1997年發(fā)布的第三代芯片RIVA128終于取得了成功。RIVA128的速度比其他圖形處理器快4倍,公司的危機(jī)也由此解除了。
在接下來一二十年里,各廠商都在不斷打破處理速度記錄,這已成為該行業(yè)和英偉達(dá)的常態(tài)。但是當(dāng)時的70家GPU公司現(xiàn)在還存在的只有英偉達(dá)和AMD了。
在當(dāng)時,黃仁勛就成功地打造了愉快的工作氛圍,這呼應(yīng)了該公司在Just 100榜單上的排名。他一直心系員工。在2015年的一場關(guān)于工作環(huán)境多樣化的會議上,他和一群英偉達(dá)女員工聊后發(fā)現(xiàn)了她們不能在事業(yè)上更上一層的原因。其中很重要的一點(diǎn)就是產(chǎn)假。黃仁勛決心改善這一狀況?,F(xiàn)在英偉達(dá)的員工可以休22周的帶薪產(chǎn)假,另外還有8周的彈性時間作為回歸過渡期。
黃仁勛將員工的幸福都?xì)w功于英偉達(dá)所做的事業(yè)。進(jìn)入深沉學(xué)習(xí)這樣的領(lǐng)域也為整個工作氛圍注入了新的活力?!肮ぷ鞅仨毮軌蚪o整個社會帶來價值。我們希望我們的工作可以改進(jìn)癌癥的早期發(fā)現(xiàn)和診斷。這多么美妙啊!”
英偉達(dá)的成功并不是沒有人注意到,幾乎所有的大型芯片商都突然開始追尋AI夢了,同時也有大量的初創(chuàng)公司開始開發(fā)架構(gòu)新型的深層學(xué)習(xí)芯片。開始躁動的不僅是芯片制造商。未來科技業(yè)中,深層學(xué)習(xí)至關(guān)重要,因此英偉達(dá)最重要的客戶Google現(xiàn)在也開始制造芯片了,成了其競爭對手。Google在此之前從未制造過芯片。
Google在5月的開發(fā)者大會上宣布已經(jīng)搭建好了一款名為Tensor Processor Unit的定制芯片,該芯片專為其深層學(xué)習(xí)框架TensorFlow制造。Google表示已經(jīng)在其數(shù)據(jù)中心中使用此芯片以改善其地圖服務(wù)和優(yōu)化搜索結(jié)果。
無獨(dú)有偶,英偉達(dá)的另一客戶微軟現(xiàn)在也開始為自己的數(shù)據(jù)中心開發(fā)制造芯片,該定制芯片被命名為FPGA,量產(chǎn)后,該芯片可以被重新編碼,對于AI app來說十分有利。
半導(dǎo)體行業(yè)的領(lǐng)軍人物英特爾似乎尤其懼怕英偉達(dá)的進(jìn)步。在錯過了智能手機(jī)的浪潮以后,它不能再錯過深層學(xué)習(xí)的浪潮了。英特爾沒有先進(jìn)的AI研究,于是選擇了瘋狂收購。英特爾最近買進(jìn)了兩家AI初創(chuàng)公司:在8月以4億多美金購入了Nervana,接下來還會收購Movidius,該筆收購還暫未披露任何報價。去年英特爾還豪擲160億美金購入了FPGA制造商Altera。
英特爾非常注重維護(hù)其收入來源——數(shù)據(jù)中心。英特爾以壟斷地位占據(jù)了該市場幾乎99%的市場份額。英偉達(dá)現(xiàn)有的芯片還不能替代英特爾的處理器,英特爾的處理器速度仍然更勝一籌。但是英特爾更想的是它的客戶們都只用它的產(chǎn)品。因此,英特爾計(jì)劃在2017年發(fā)布一款為深層學(xué)習(xí)優(yōu)化的服務(wù)器芯片——新一代Xeon Phi處理器。英特爾高調(diào)的宣布,有了從Nervana購入的技術(shù),該公司可以在2020年之前將現(xiàn)有的深層學(xué)習(xí)網(wǎng)絡(luò)速度提高100倍。
英偉達(dá)的優(yōu)勢是它早于英特爾,AMD及其他對手在深層學(xué)習(xí)領(lǐng)域開展業(yè)務(wù)。但是它也不能松懈。多年來,它在該領(lǐng)域一枝獨(dú)秀,但是現(xiàn)在市場涌入了更多競爭者了?!拔艺J(rèn)為英偉達(dá)所處的位置非常好,形勢對他們非常有利,但是我還是不能保證他們會怎么樣,”資深科技分析家 Jon Peddie說到,“有太多人對這個市場虎視眈眈了?!?/p>
“AI 計(jì)算是計(jì)算機(jī)的未來,”黃仁勛說:“只要我們繼續(xù)保持著最優(yōu)AI計(jì)算平臺的位置,我認(rèn)為我們可以獲得大量業(yè)務(wù)。最終,GPU會存在于每一個公司?!?/p>
黃仁勛沿襲了曾長期執(zhí)掌英特爾的Andy Grove 在其90年代的暢銷書《只有偏執(zhí)狂才能生存》(Only the Paranoid Survive)中的哲學(xué)理念。
“我一直都假設(shè)我們30天以后就沒有業(yè)務(wù)了,”黃仁勛說:“這從來沒有變過。這不是害怕失敗,這是害怕自滿,我不想在心中為自滿留下一點(diǎn)點(diǎn)位置?!?/p>
評論