日前Google針對資料中心市場推出自家晶片Tensor Processing Unit (TPU)，專門應(yīng)付處理大量數(shù)據(jù)需求。評論指出，Google之所以推出該技術(shù)，主要出發(fā)點在于追求效能、降低耗能與帶領(lǐng)其他業(yè)者一同加入打造TPU的行列。

　　據(jù)Network World報導(dǎo)，過去由IBM大型主機與升陽(Sun)伺服器處理的資料中心工作量自從受到諸如Google等云端業(yè)者帶動后，更讓英特爾(Intel)的PC硬體將其普及化，不過，日前Google公布自家TPU效能與架構(gòu)詳細研究報告后，上述情況恐將從此改變。

　　首先，TPU并非類似英特爾中央處理器(CPU)或NVIDIA繪圖處理器(GPU)的晶片，而是屬于機器學(xué)習(xí)的ASIC特殊應(yīng)用晶片。機器學(xué)習(xí)包括訓(xùn)練與推理兩大部分。訓(xùn)練是指利用數(shù)據(jù)將電腦程式化。

　　在機器學(xué)習(xí)系統(tǒng)提供各種語言的句子并教導(dǎo)電腦翻譯成其他語言屬于訓(xùn)練，而口說或在智慧型手機內(nèi)輸入某語言的句子轉(zhuǎn)變成另一種語言則是推理。

　　由于TPU是針對推理的特殊任務(wù)而設(shè)計，加上推理已逐漸成為Google工作量龐大部分，在工作量增加后也催生Google的TPU問世。

　　諸如語言翻譯與圖片搜尋等推理模型的處理容量屬于面對用戶的功能，因此，需要低成本與低延遲效能，而推理正是讓資料中心容量神經(jīng)網(wǎng)路工作量最大化最適合起點。

　　評論認為，Google之所以設(shè)計并打造TPU原因首先就是著眼于效能。Google將自家TPU與執(zhí)行95%推理工作量的英特爾伺服器等級Haswell CPU與NVIDIA K80 GPU相比，而在執(zhí)行神經(jīng)網(wǎng)路推理時，TPU速度更比NVIDIA GPU與英特爾CPU快15~30倍。

　　第二是考量實體空間。云端資料中心相當(dāng)于IT廠房。Google資料處理廠房等龐大基礎(chǔ)建設(shè)的資本與營運費用已成為一筆龐大預(yù)算。6年前，當(dāng)用戶開始使用自然語言辨識取代手機鍵盤時，Google工程時當(dāng)時曾預(yù)估，每天每位用戶3分鐘自然語言輸入，將會讓采用英特爾與NVIDIA設(shè)計的資料中心數(shù)量開始倍增。

　　第三是耗能。評論指出，速度較快的晶片但沒有伴隨耗能降低，只能影響實際空間成本，降低耗能則可帶來雙重影響，因為可降低使用能源量以及降低冷卻成本。Google指出，結(jié)合TPU與CPU處理器每瓦效能在不同工作量下，比CPU與GPU替代技術(shù)提升30~80倍。

　　第四是TPU可解決特殊應(yīng)用問題。英特爾的CPU與NVIDIA的GPU是屬于廣泛應(yīng)用的一般系統(tǒng)單晶片(SoC)，特別是精準計算的浮點運算。機器學(xué)習(xí)模型可容忍低準度數(shù)學(xué)運算，因此，無需浮點處理單元(FPU)。

　　若拿英特爾及NVIDIA的系統(tǒng)單晶片與FPU相比，利用TPU 8位元數(shù)學(xué)運算驅(qū)動的推理模型預(yù)測精準度兩者相當(dāng)。

　　另外，矩陣幾何數(shù)學(xué)組成了多數(shù)的神經(jīng)網(wǎng)路運算，至于矩陣相乘單元(Matrix Multiply Unit;MMU)則是TPU的核心。當(dāng)中包含可執(zhí)行8位元乘法與加法共256x256的乘數(shù)累加器(MAC)，MMU每周期可執(zhí)行6.4萬次累加計算。

　　TPU在時脈0.7GHz時由于可讓低準度矩陣數(shù)學(xué)最大化以及快速移動數(shù)據(jù)與結(jié)果，相較英特爾與NVIDIA的晶片可達到最大效能表現(xiàn)。Google也指出，未來TPU重新設(shè)計增加匯流排頻寬后，性能將提升2~3倍。

　　第五則是促使晶片廠打造TPU。由于Google是數(shù)據(jù)頭號使用者，因此相當(dāng)了解機器學(xué)習(xí)問題并能足夠打造出解決方案，而且歷經(jīng)2年在其資料中心運作后，證實該問題已經(jīng)獲得解決。

　　而Google之所以釋出這次報告，目的是希望在機器學(xué)習(xí)與晶片廠團體內(nèi)提高討論度，目前已是推出可大量執(zhí)行推理的商用解決方案的時候。

　　第六則是專利與智財權(quán)交易。由Norman Jouppi率領(lǐng)的團隊在15個月內(nèi)便推出TPU，若搜尋美國專利局資料庫有關(guān)Jouppi的專利，當(dāng)中更可發(fā)現(xiàn)許多TPU相關(guān)專利。評論指出，身為專利擁有者，Google可借由開放其專利鼓勵晶片廠進入該市場，而且主要機器學(xué)習(xí)使用者業(yè)者，例如亞馬遜(Amazon)、Google、Facebook、IBM與微軟(Microsoft)也在等候采購機器學(xué)習(xí)專屬系統(tǒng)單晶片。