由Arm驅(qū)動(dòng)的NVIDIA Project DIGITS為數(shù)百萬(wàn)開(kāi)發(fā)者帶來(lái)高性能AI算力
當(dāng)前,一個(gè)令人振奮的趨勢(shì)是,人工智能 (AI) 應(yīng)用和功能正在各種邊緣側(cè)設(shè)備上快速擴(kuò)展和普及。隨著 AI 的不斷發(fā)展和進(jìn)步,對(duì)于 AI 研究員、數(shù)據(jù)科學(xué)家、開(kāi)發(fā)者和學(xué)生而言,獲取高性能算力以開(kāi)發(fā)或運(yùn)行新的模型(如語(yǔ)言模型、視覺(jué)模型或多模態(tài)模型)變得至關(guān)重要。鑒于 AI 創(chuàng)新的步伐空前加快,行業(yè)需要確保開(kāi)發(fā)者在云端及邊緣側(cè)均能獲得高性能算力,從而直接獲得更多的新功能。
本文引用地址:http://cafeforensic.com/article/202501/466241.htm圖 由Arm驅(qū)動(dòng)的NVIDIA Project DIGITS為數(shù)百萬(wàn)開(kāi)發(fā)者帶來(lái)高性能AI算力
為開(kāi)發(fā)者實(shí)現(xiàn)唾手可得的突破性AI性能
在今年的國(guó)際消費(fèi)類電子產(chǎn)品展覽會(huì) (CES) 上,NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛在主題演講中發(fā)布了個(gè)人 AI 超級(jí)計(jì)算機(jī) NVIDIA Project DIGITS,朝著 “隨處可開(kāi)發(fā)和部署 AI” 的愿景又邁近了重要一步?;?nbsp;Linux 系統(tǒng)的 Project DIGITS 搭載了 Arm CPU 核心,使每位 AI 開(kāi)發(fā)者都能擁有一套高性能的 AI 桌面系統(tǒng)。
Project DIGITS 采用了全新 NVIDIA GB10 Grace Blackwell 超級(jí)芯片,搭載 NVIDIA Grace CPU 、 NVIDIA Blackwell GPU、新一代 CUDA? core和第五代 Tensor Cores,通過(guò) NVIDIA NVLink?-C2C 片間互連技術(shù)實(shí)現(xiàn)連接,并配有 128GB 的統(tǒng)一的高一致性內(nèi)存。NVIDIA Grace CPU 搭載了先進(jìn)的高性能 Arm Cortex-X 和 Cortex-A 技術(shù),配置 10 個(gè) Cortex-X925 和 10 個(gè) Cortex-A725 CPU 核心。NVIDIA GB10 超級(jí)芯片能以 FP4 計(jì)算精度提供高達(dá) 1 PFLOPS (1,000 TFLOPs) 的 AI 性能,使開(kāi)發(fā)者能對(duì) AI 大模型進(jìn)行原型設(shè)計(jì)、微調(diào)和推理,同時(shí)還能與云端或數(shù)據(jù)中心環(huán)境無(wú)縫對(duì)接,實(shí)現(xiàn)協(xié)同工作。
Arm計(jì)算平臺(tái)的價(jià)值
借助無(wú)處不在的 Arm 計(jì)算平臺(tái),新的 AI 模型和應(yīng)用能更高效、更快速地在邊緣側(cè)運(yùn)行。在消費(fèi)級(jí)技術(shù)市場(chǎng),不論是用于 Project DIGITS 的最新 Arm CPU,或是集成在 Arm 終端計(jì)算子系統(tǒng) (CSS) 的一部分,Arm CPU 技術(shù)已成為市場(chǎng)中高性能邊緣側(cè)設(shè)備的核心驅(qū)動(dòng)力。這些 CPU 技術(shù)經(jīng)過(guò)精心優(yōu)化,可在各種實(shí)際用例和工作負(fù)載中實(shí)現(xiàn)最大性能和最高效率。
Arm 計(jì)算平臺(tái)還兼具靈活性,可針對(duì)不同的 AI 應(yīng)用場(chǎng)景使用不同的計(jì)算引擎。在 NVIDIA Project DIGITS 中,基于 Arm 架構(gòu)的 NVIDIA Grace CPU 和 NVIDIA Blackwell GPU 互相協(xié)作,使開(kāi)發(fā)者能夠?qū)⑦@些組件用于各種工作負(fù)載。這種異構(gòu)計(jì)算策略對(duì)于最大化 AI 性能,同時(shí)管理內(nèi)存利用率和功耗至關(guān)重要。
NVIDIA SoC 產(chǎn)品副總裁 Ashish Karandikar 表示:“我們與 Arm 在 GB10 超級(jí)芯片的合作上,巧妙地結(jié)合了 NVIDIA 的 AI 專業(yè)知識(shí)與 Arm 可擴(kuò)展的計(jì)算平臺(tái),實(shí)現(xiàn)了出眾的性能和能效,將推動(dòng)下一代 AI 創(chuàng)新。隨著 Project DIGITS 的推出,每位 AI 開(kāi)發(fā)者和研究員都將能擁有一臺(tái)功能強(qiáng)大的超級(jí)計(jì)算機(jī)?!?/p>
釋放軟件創(chuàng)新的潛能
對(duì)于開(kāi)發(fā)者而言,擁有一個(gè)完全集成的軟硬件 AI 平臺(tái)至關(guān)重要。Project DIGITS使用開(kāi)源 Linux 操作系統(tǒng),用戶可以訪問(wèn)資源豐富的 NVIDIA AI 軟件庫(kù),包括 NVIDIA NGC 目錄和 NVIDIA 開(kāi)發(fā)者門戶網(wǎng)站中提供的軟件開(kāi)發(fā)套件、編排工具、框架和 AI 模型,以加快生成式 AI 的工作流程。
Arm 和 NVIDIA Grace Hopper 和 Grace Blackwell 在數(shù)據(jù)中心的合作,為數(shù)據(jù)中心和邊緣側(cè)設(shè)備環(huán)境提供一致的平臺(tái)架構(gòu),使開(kāi)發(fā)者能夠無(wú)縫地使用同一套工具進(jìn)行 AI 應(yīng)用開(kāi)發(fā)。此外,Arm 不斷積極推動(dòng)開(kāi)源開(kāi)發(fā)者社區(qū)的重要工作,旨在開(kāi)發(fā)出適配的軟件,加速AI 的全面部署。目前,全球已有超過(guò) 2,000 萬(wàn)軟件開(kāi)發(fā)者在 Arm 計(jì)算平臺(tái)上構(gòu)建自己的應(yīng)用程序,共同推動(dòng)著一個(gè)快速創(chuàng)新、日益壯大的開(kāi)源社區(qū)。
賦予高性能 AI 算力的理想平臺(tái)
Arm 作為當(dāng)前和未來(lái) AI 領(lǐng)域應(yīng)用最廣泛的計(jì)算平臺(tái),自然而然地成為了 Project DIGITS 中 GB10 超級(jí)芯片的理想平臺(tái)。Project DIGITS是一個(gè)功能強(qiáng)大的個(gè)人計(jì)算機(jī)桌面平臺(tái),能夠運(yùn)行高達(dá) 200B 參數(shù)的 AI 大模型,讓原本的不可能變?yōu)榭赡堋_@種對(duì) AI 生態(tài)系統(tǒng)的廣泛影響力,為全球數(shù)百萬(wàn)開(kāi)發(fā)者帶來(lái)了靈活、高性能且高能效的 AI 功能。通過(guò)與 NVIDIA 及 Arm 強(qiáng)大的軟件生態(tài)系統(tǒng)緊密的合作,我們翹首以待下一代極具創(chuàng)新的 AI 應(yīng)用的問(wèn)世。
評(píng)論