解析谷歌大腦的深度學(xué)習(xí)及TensorFlow的前世今生
編者網(wǎng)按:本文是Google Brain負(fù)責(zé)人Jeff Dean在硅谷人工智能前沿論壇AI FronTIers的演講。
本文引用地址:http://cafeforensic.com/article/201710/365509.htm在深度學(xué)習(xí)的歷史上,神經(jīng)網(wǎng)絡(luò)的方法在1980-1990年之后開始明顯地發(fā)揮效力,在數(shù)據(jù)量、計(jì)算力的推動(dòng)下,用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的方法使得我們在研究和開發(fā)上獲得了比其它方法更高的準(zhǔn)確率(在圖像、語音等領(lǐng)域)。在2011年之前,深度學(xué)習(xí)的方法能達(dá)到的圖像誤識率都是26%,而在今天這個(gè)數(shù)字超過了人類的誤識率(5%),達(dá)到了3%。在Google今天的產(chǎn)品線中深度學(xué)習(xí)的方法使用非常廣泛,包括Android平臺、各類App中、藥物研究、Gmail等等。
Google Brain團(tuán)隊(duì)目前有什么樣的成果:
在研究方面,有27個(gè)paper在各種頂級會議中發(fā)表;
推動(dòng)Google搜索、廣告、相冊、翻譯、Gmail等產(chǎn)品線的整合優(yōu)化;
發(fā)布TensorFlow等在社區(qū)中高度流行的開源工具。
談到TensorFlow的開發(fā),我們最初的出發(fā)點(diǎn)是需要?jiǎng)?chuàng)建一個(gè)合適的深度學(xué)習(xí)工具。
這個(gè)工具需要滿足下面的幾個(gè)條件:
1. 適合于機(jī)器學(xué)習(xí)思考和算法的表達(dá);
2. 運(yùn)行效率高,能夠快速地試驗(yàn)想法;
3. 兼容性好,實(shí)驗(yàn)?zāi)茉诓煌脚_上運(yùn)行;
4. 可在不同環(huán)境下分享和重現(xiàn)研究的問題;
5. 適合產(chǎn)品化:能很快從研究階段過渡到產(chǎn)品應(yīng)用階段;
總結(jié)一下TF的目標(biāo)就是建立一個(gè)針對機(jī)器學(xué)習(xí)方面的思考快速實(shí)驗(yàn)的通用系統(tǒng),并且確保這個(gè)系統(tǒng)既是針對研究也是對產(chǎn)品化最好的系統(tǒng)。最后,這個(gè)系統(tǒng)不僅是Google的,而且開源的,屬于平臺上每一個(gè)人。
在2015年11月9日,我們發(fā)布了TensorFlow的最初版本,而目前我們已經(jīng)取得了這樣的成果:
1. TF當(dāng)前有500+的代碼貢獻(xiàn)者;
2. 從發(fā)布至今,一共有12000次+的代碼提交;
3. 100萬以上的代碼庫下載;
4. 大量的學(xué)校和商業(yè)機(jī)構(gòu)將他們的研究和開發(fā)工作搭建在TF之上(伯克利、斯坦福、OpenAI、Snapchat)。
我們在軟硬件平臺的支持上也不斷更新。數(shù)據(jù)顯示,我們已經(jīng)是GitHub上最受到歡迎的深度學(xué)習(xí)工具。
深度學(xué)習(xí)在Google產(chǎn)生了哪些重要的影響?
在語音識別上,我們推動(dòng)詞語識別的錯(cuò)誤率降低了至少30%;
深度卷積神經(jīng)網(wǎng)絡(luò)使得直接對未標(biāo)記的照片進(jìn)行搜索成為可能;
我們用深度學(xué)習(xí)的方法,在街景照片中抓取識別文字;
同樣用深度學(xué)習(xí)的方法,在衛(wèi)星俯瞰圖中檢索太陽能的屋頂;
在醫(yī)療影像中,使用視網(wǎng)膜影像進(jìn)行糖尿病的診斷;
機(jī)器人們現(xiàn)在能通過機(jī)器學(xué)習(xí)的方法進(jìn)行環(huán)境和語義理解;
RankBrian甚至被用于Google搜索中的排名優(yōu)化;
在Inbox中,我們通過語義分析自動(dòng)化地推薦可能的回復(fù)結(jié)果,當(dāng)前Inbox中10%的回復(fù)都是通過推薦生成發(fā)送的;
在機(jī)器學(xué)習(xí)的其它方面:
在過去很的的模型都是從零開始訓(xùn)練獲得的,這是非常低效的。我們專門針對深度學(xué)習(xí)設(shè)計(jì)的硬件的TPU,將在未來20個(gè)月后進(jìn)入大規(guī)模量產(chǎn)的階段。
在我們的設(shè)想里,未來的搜索請求可能是這樣的:請幫我查找所有關(guān)于深度學(xué)習(xí)和機(jī)器人的文獻(xiàn),并用德文總結(jié)出來。
我認(rèn)為未來3 - 5年內(nèi),通過語音識別、語義理解的發(fā)展,機(jī)器人/自動(dòng)駕駛汽車將會變得產(chǎn)業(yè)內(nèi)非常重要的領(lǐng)域。
PS:附PPT+文字版本。
在深度學(xué)習(xí)的歷史上,神經(jīng)網(wǎng)絡(luò)的方法在1980-1990年之后開始明顯地發(fā)揮效力,在數(shù)據(jù)量、計(jì)算力的推動(dòng)下,用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的方法使得我們在研究和開發(fā)上獲得了比其它方法更高的準(zhǔn)確率(在圖像、語音等領(lǐng)域)。
在2011年之前,深度學(xué)習(xí)的方法能達(dá)到的圖像誤識率都是26%,而在今天這個(gè)數(shù)字超過了人類的誤識率(5%),達(dá)到了3%。
Google Brain團(tuán)隊(duì)目前有什么樣的成果:
在研究方面,有27個(gè)paper在各種頂級會議中發(fā)表;
推動(dòng)Google搜索、廣告、相冊、翻譯、Gmail等產(chǎn)品線的整合優(yōu)化;
發(fā)布TensorFlow等在社區(qū)中高度流行的開源工具。談到TensorFlow的開發(fā),我們最初的出發(fā)點(diǎn)是需要?jiǎng)?chuàng)建一個(gè)合適的深度學(xué)習(xí)工具。
這個(gè)工具需要滿足下面的幾個(gè)條件:
適合于機(jī)器學(xué)習(xí)思考和算法的表達(dá);
運(yùn)行效率高,能夠快速地試驗(yàn)想法;
兼容性好,實(shí)驗(yàn)?zāi)茉诓煌脚_上運(yùn)行;
可在不同環(huán)境下分享和重現(xiàn)研究的問題;
適合產(chǎn)品化:能很快從研究階段過渡到產(chǎn)品應(yīng)用階段;
總結(jié)一下TF的目標(biāo)就是建立一個(gè)針對機(jī)器學(xué)習(xí)方面的思考快速實(shí)驗(yàn)的通用系統(tǒng),并且確保這個(gè)系統(tǒng)既是針對研究也是對產(chǎn)品化最好的系統(tǒng)。最后,這個(gè)系統(tǒng)不僅是Google的,而且開源的,屬于平臺上每一個(gè)人。
在2015年11月9日,我們發(fā)布了TensorFlow的最初版本,而目前我們已經(jīng)取得了這樣的成果:
TF當(dāng)前有500+的代碼貢獻(xiàn)者;
從發(fā)布至今,一共有12000次+的代碼提交;
100萬以上的代碼庫下載;
大量的學(xué)校和商業(yè)機(jī)構(gòu)將他們的研究和開發(fā)工作搭建在TF之上(伯克利、斯坦福、OpenAI、Snapchat)。
我們在軟硬件平臺的支持上也不斷更新。數(shù)據(jù)顯示,我們已經(jīng)是GitHub上最受到歡迎的深度學(xué)習(xí)工具。
深度學(xué)習(xí)在Google產(chǎn)生了哪些重要的影響?
在語音識別上,我們推動(dòng)詞語識別的錯(cuò)誤率降低了至少30%;
深度卷積神經(jīng)網(wǎng)絡(luò)使得直接對未標(biāo)記的照片進(jìn)行搜索成為可能;
我們用深度學(xué)習(xí)的方法,在街景照片中抓取識別文字;
同樣用深度學(xué)習(xí)的方法,在衛(wèi)星俯瞰圖中檢索太陽能的屋頂;
在醫(yī)療影像中,使用視網(wǎng)膜影像進(jìn)行糖尿病的診斷;
機(jī)器人們現(xiàn)在能通過機(jī)器學(xué)習(xí)的方法進(jìn)行環(huán)境和語義理解;RankBrian甚至被用于Google搜索中的排名優(yōu)化;
在Inbox中,我們通過語義分析自動(dòng)化地推薦可能的回復(fù)結(jié)果,當(dāng)前Inbox中10%的回復(fù)都是通過推薦生成發(fā)送的;
在機(jī)器學(xué)習(xí)的其它方面:
在過去很的的模型都是從零開始訓(xùn)練獲得的,這是非常低效的。我們希望通過xxx的方法來解決這個(gè)問題;我們的TPU將在,20個(gè)月之后進(jìn)入大規(guī)模量產(chǎn)的階段。
在我們的設(shè)想里,未來的搜索請求可能是這樣的:請幫我查找所有關(guān)于深度學(xué)習(xí)和機(jī)器人的文獻(xiàn),并用德文總結(jié)出來。
我認(rèn)為未來3 - 5年內(nèi),通過語音識別、語義理解的發(fā)展,機(jī)器人/自動(dòng)駕駛汽車將會變得產(chǎn)業(yè)內(nèi)非常重要的領(lǐng)域。
評論