IBM深度學(xué)習(xí)演算法新突破 大幅縮短培訓(xùn)時(shí)間
IBM Research宣布深度學(xué)習(xí)演算法出現(xiàn)新的突破,IBM新的分布式深度學(xué)習(xí)(DDL)軟件讓每個(gè)添加的處理器之間實(shí)現(xiàn)線性加速比(linear speedup),該開發(fā)旨在為添加到IBM DDL演算法的每個(gè)服務(wù)器實(shí)現(xiàn)類似的加速效能。
本文引用地址:http://cafeforensic.com/article/201708/363171.htm據(jù)EETimes報(bào)導(dǎo),IBM加速認(rèn)知基礎(chǔ)設(shè)施部門主管Hillman Hunter認(rèn)為,研究目標(biāo)是將深度學(xué)習(xí)培訓(xùn)的等待時(shí)間從幾天或幾小時(shí),縮短到幾分鐘或幾秒鐘。
Hunter發(fā)文描述這項(xiàng)開發(fā)成果,是最受歡迎的深度學(xué)習(xí)框架擴(kuò)展到服務(wù)器中的多個(gè)GPU,而不是使用GPU的多個(gè)服務(wù)器。Hunter進(jìn)一步指出,IBM團(tuán)隊(duì)編寫的軟件,可自動(dòng)化和優(yōu)化跨數(shù)百個(gè)GPU加速器上,十幾個(gè)服務(wù)器所需要的龐大而復(fù)雜的并行運(yùn)算任務(wù)。
IBM聲稱使用開源碼Caffe深度學(xué)習(xí)框架,將最多256個(gè)NVIDIA Tesla P100 GPU添加到單個(gè)服務(wù)器上,縮放效能為95%,可應(yīng)用在圖像識(shí)別學(xué)習(xí),以及類似的學(xué)習(xí)任務(wù)。IBM在50分鐘的培訓(xùn)時(shí)間內(nèi)實(shí)現(xiàn)幾乎線性的縮放效率。Facebook之前在同一資料庫(kù)上花60分鐘的培訓(xùn)時(shí)間,效能為89%。
在ImageNet-22k資料庫(kù)上的7個(gè)小時(shí)的培訓(xùn)中,IBM同樣聲稱對(duì)750萬(wàn)幅影像的驗(yàn)證精確度為33.8%,而微軟(Microsoft)之前針對(duì)同一資料庫(kù)花10天培訓(xùn),準(zhǔn)確率為29.8%。IBM的處理器是PowerAI平臺(tái),具備64節(jié)點(diǎn)Power8集群,加上256個(gè)NVIDIA GPU,提供超過2 petaFLOPS。
IBM正在向所有PowerAI平臺(tái)用戶免費(fèi)提供DDL套件,還為第三方開發(fā)人員提供各種應(yīng)用程式介面(API),讓開發(fā)人員選擇與應(yīng)用程式(App)最相關(guān)的基本演算法。
評(píng)論