●   此次交易體現(xiàn)了紅帽致力于幫助客戶在混合云環(huán)境中實(shí)現(xiàn)靈活部署，支持從本地?cái)?shù)據(jù)中心到公有云，再到邊緣計(jì)算的應(yīng)用和工作負(fù)載交付，滿足包括人工智能（AI）在內(nèi)的各類需求

●   Neural Magic將為紅帽帶來在生成式AI性能工程方面的專業(yè)技術(shù)，以及先進(jìn)的模型優(yōu)化算法和高效的GPU與CPU推理服務(wù)

全球領(lǐng)先的開源解決方案提供商紅帽公司近日宣布，已簽署最終協(xié)議收購Neural Magic，這是一家在加速生成式AI（gen AI）推理工作負(fù)載領(lǐng)域的軟件和算法領(lǐng)域的先驅(qū)公司。

Neural Magic在推理性能工程方面的專長及其對開源的承諾，與紅帽的高性能AI工作負(fù)載愿景高度契合。這些AI工作負(fù)載能夠精準(zhǔn)匹配客戶特定的使用場景和數(shù)據(jù)，覆蓋混合云環(huán)境的各個(gè)層面，無論在本地部署、公有云還是邊緣計(jì)算中。

盡管生成式AI在當(dāng)前技術(shù)領(lǐng)域中占據(jù)主導(dǎo)地位，但支撐這些系統(tǒng)的大型語言模型（LLM）仍在不斷擴(kuò)展。因此，構(gòu)建高效、可靠的LLM服務(wù)需要巨大的計(jì)算能力、能源資源和專業(yè)操作技能。這些挑戰(zhàn)使得定制化、部署就緒并注重安全的AI解決方案，對大多數(shù)企業(yè)來說變得遙不可及。

紅帽計(jì)劃通過開放創(chuàng)新的vLLM項(xiàng)目，簡化生成式AI的訪問，幫助更多企業(yè)應(yīng)對這些挑戰(zhàn)。vLLM由加利福尼亞大學(xué)伯克利分校開發(fā)，是一個(gè)社區(qū)驅(qū)動的開源項(xiàng)目，旨在提供開放的模型服務(wù)（即生成式AI模型如何推理和解決問題）。它支持所有主流模型、先進(jìn)的推理加速研究，并兼容多種硬件后端，包括AMD GPU、AWS Neuron、Google TPUs、Intel Gaudi、NVIDIA GPU和x86 CPU等。

Neural Magic在vLLM中的領(lǐng)導(dǎo)地位與紅帽強(qiáng)大的混合云AI技術(shù)平臺相結(jié)合，將為企業(yè)提供一個(gè)開放且靈活的解決方案，助力構(gòu)建滿足其獨(dú)特需求的AI戰(zhàn)略，無論數(shù)據(jù)存儲于何處。

紅帽 + Neural Magic：引領(lǐng)混合云就緒的生成式AI未來

Neural Magic于2018年從麻省理工學(xué)院（MIT）獨(dú)立出來，致力于為深度學(xué)習(xí)構(gòu)建高效的推理軟件。憑借Neural Magic在技術(shù)和性能工程方面的深厚積淀，紅帽將加速其AI未來愿景的實(shí)現(xiàn)，依托紅帽的AI技術(shù)組合，突破大規(guī)模企業(yè)AI應(yīng)用的瓶頸。紅帽通過開源創(chuàng)新，推動AI變革力的普及，具體體現(xiàn)在以下幾個(gè)方面：

●   開源許可的模型，參數(shù)規(guī)模從1B到405B，支持在混合云環(huán)境中任何位置運(yùn)行——包括企業(yè)數(shù)據(jù)中心、多云平臺和邊緣設(shè)備。

●   微調(diào)功能，使組織能夠輕松定制大型語言模型（LLM），將其調(diào)整為滿足私有數(shù)據(jù)和特定場景的需求，提升安全性。

●   推理性能工程專業(yè)技術(shù)，提升運(yùn)營效率和基礎(chǔ)設(shè)施效能，確保更高的性能。

●   強(qiáng)大的合作伙伴和開源生態(tài)系統(tǒng)，通過提供從LLM和工具到認(rèn)證服務(wù)器硬件及底層芯片架構(gòu)的全面支持，擴(kuò)大客戶選擇空間。

增強(qiáng)紅帽AI在vLLM領(lǐng)域的領(lǐng)導(dǎo)地位

Neural Magic憑借其在vLLM領(lǐng)域的深厚技術(shù)積累，構(gòu)建了企業(yè)級推理架構(gòu)，使客戶能夠在混合云環(huán)境中優(yōu)化、部署并擴(kuò)展LLM工作負(fù)載，全面掌控基礎(chǔ)設(shè)施選擇、安全策略和模型生命周期。同時(shí)，Neural Magic還深入開展模型優(yōu)化研究，推出LLM Compressor（一個(gè)通過最先進(jìn)的稀疏化和量化算法優(yōu)化LLM的統(tǒng)一庫），并維護(hù)一個(gè)預(yù)優(yōu)化模型庫，客戶可直接通過vLLM進(jìn)行部署。

紅帽AI通過強(qiáng)大的技術(shù)幫助客戶降低AI應(yīng)用的成本和技能門檻，具體包括：

●   紅帽企業(yè)Linux AI（RHEL AI）：基礎(chǔ)模型平臺，旨在更無縫地開發(fā)、測試和運(yùn)行IBM Granite系列的開源LLM，支持Linux服務(wù)器上的企業(yè)應(yīng)用。

●   紅帽O(jiān)penShift AI：一個(gè)全面的AI平臺，提供工具來快速開發(fā)、訓(xùn)練、服務(wù)和監(jiān)控機(jī)器學(xué)習(xí)模型，支持在分布式Kubernetes環(huán)境中的部署，無論是在本地、公有云，還是邊緣設(shè)備。

●   InstructLab：由紅帽和IBM共同創(chuàng)建的開源AI社區(qū)項(xiàng)目，致力于通過InstructLab的微調(diào)技術(shù)改進(jìn)開源許可的Granite LLM，幫助任何人共同塑造生成式AI的未來。

Neural Magic在vLLM技術(shù)上的領(lǐng)導(dǎo)地位將進(jìn)一步增強(qiáng)紅帽AI在混合云環(huán)境中支持LLM部署的能力，提供一個(gè)現(xiàn)成且高度優(yōu)化的開源推理架構(gòu)。

此次交易需經(jīng)過相關(guān)監(jiān)管審查及其他常規(guī)完成條件。

支持證言

Matt Hicks，紅帽總裁兼CEO

“AI工作負(fù)載需要在客戶數(shù)據(jù)所在的任何地方運(yùn)行，這要求平臺和工具具有靈活性、標(biāo)準(zhǔn)化和開放性，幫助企業(yè)根據(jù)其獨(dú)特的運(yùn)營和數(shù)據(jù)需求選擇最合適的環(huán)境、資源和架構(gòu)。我們很高興通過Neural Magic的創(chuàng)新成果，進(jìn)一步完善我們的混合云AI產(chǎn)品組合，推動紅帽不僅成為開源領(lǐng)域的領(lǐng)導(dǎo)者，也成為AI領(lǐng)域的引領(lǐng)者?！?/p>

Brian Stevens，Neural Magic CEO

“事實(shí)一再證明，開源可以通過社區(qū)協(xié)作的力量推動創(chuàng)新。在Neural Magic，我們匯聚了業(yè)內(nèi)頂尖的AI性能工程專家，專注于構(gòu)建開放、跨平臺的高效LLM服務(wù)。加入紅帽不僅是文化上的契合，也將幫助各類企業(yè)，無論大小，滿足其AI轉(zhuǎn)型的需求?！?/p>

Dario Gil，IBM高級副總裁兼研究總監(jiān)

“隨著客戶在混合環(huán)境中擴(kuò)展AI應(yīng)用，基于開放基礎(chǔ)的虛擬化、云原生LLM將成為行業(yè)標(biāo)準(zhǔn)。紅帽在開源領(lǐng)域的領(lǐng)導(dǎo)地位，加上像IBM Granite和Neural Magic這樣的高效開源模型，為企業(yè)提供了更多選擇，并賦予他們所需的控制和靈活性，助力AI在各個(gè)平臺的擴(kuò)展。”