英特爾Gaudi 2D AI加速器為DeepSeek Janus Pro模型提供加速
近日,DeepSeek發(fā)布Janus Pro模型,其超強性能和高精度引起業(yè)界關(guān)注。英特爾? Gaudi 2D AI加速器現(xiàn)已針對該模型進行優(yōu)化,這使得AI開發(fā)者能夠以更低成本、更高效率實現(xiàn)復雜任務的部署與優(yōu)化,有效滿足行業(yè)應用對于推理算力的需求,為AI應用的落地和規(guī)?;l(fā)展提供強有力的支持。
本文引用地址:http://cafeforensic.com/article/202502/466723.htm作為一款創(chuàng)新性的 AIGC模型,DeepSeek Janus模型集成了多模態(tài)理解和生成功能。該模型首次采用統(tǒng)一的Transformer架構(gòu),突破了傳統(tǒng)AIGC模型依賴多路徑視覺編碼的限制,實現(xiàn)了理解與生成任務的一體化支持。在此基礎上,Janus Pro通過優(yōu)化訓練策略和擴展模型規(guī)模,顯著提升了文生圖等功能的性能與穩(wěn)定性,并提供了10億參數(shù)和70億參數(shù)兩個版本,在性能與精度上展現(xiàn)了較強的競爭力。
在Janus Pro統(tǒng)一的Transformer架構(gòu)下,文生圖模型的吞吐量高低已經(jīng)從依賴加速器的高算力向充分利用HBM內(nèi)存高帶寬和大容量轉(zhuǎn)換。英特爾? Gaudi 2D憑借 2.45TB/秒的高帶寬和 96GB HBM 大容量內(nèi)存,為 Janus Pro 模型提供了強大的計算支持,使其在生圖批處理任務中,隨著批量大?。˙atch Size)的增加,吞吐性能得到顯著提升,大幅縮短任務處理時間。
與此同時,結(jié)合英特爾Optimum-Habana 框架的優(yōu)化,英特爾? Gaudi 2D顯著提升了文生圖任務的吞吐性能和推理效率,僅需約 10 秒即可生成16張高質(zhì)量的圖片,性能表現(xiàn)卓越。而且,開發(fā)者僅需調(diào)整數(shù)行代碼,即可實現(xiàn)這一結(jié)果,極大降低了開發(fā)門檻和遷移成本,為 AI 應用的高效部署提供便利。
圖片來源:利用英特爾Gaudi 2D AI加速器運行DeepSeek Janus-Pro-7B模型生成
此外,DeepSeek的蒸餾模型在至強和Gaudi平臺上也得到了支持,能夠為客戶創(chuàng)造更好的總體擁有成本(TCO),推動AI的普惠。
一直以來,英特爾始終秉承開放的態(tài)度,并通過軟硬件相結(jié)合的方式推動AI應用落地。目前,英特爾豐富的AI產(chǎn)品組合,包括英特爾?至強?處理器、英特爾?酷睿? Ultra處理器和英特爾銳炫?顯卡等,已經(jīng)針對業(yè)界超過500個開源AI模型提供支持,廣泛涵蓋DeepSeek、Llama 3.1和通義千問等。同時,英特爾深耕開放生態(tài),不僅以開放生態(tài)系統(tǒng)軟件實現(xiàn)針對性優(yōu)化,也通過打造企業(yè)AI開放平臺(OPEA)為這些模型提供支持。
評論