10月13日上午，第三屆OpenHarmony技術(shù)大會(huì)OS原生智能分論壇在上海舉行。匯聚產(chǎn)學(xué)研力量，與會(huì)專家聚焦OpenAtom OpenHarmony（以下簡稱“OpenHarmony”）在端側(cè)原生智能領(lǐng)域的技術(shù)探索與優(yōu)秀實(shí)踐，圍繞端側(cè)大模型的算法、系統(tǒng)、新體系結(jié)構(gòu)，共同探討深入挖掘操作系統(tǒng)與AI在端側(cè)融合的潛力。多位專家就如何更好地應(yīng)對(duì)多元化的行業(yè)挑戰(zhàn)，助力客戶和用戶實(shí)現(xiàn)技術(shù)突破展開分享。內(nèi)容不僅涵蓋了端側(cè)大模型部署與優(yōu)化，大模型稀疏算法、異構(gòu)系統(tǒng)、新體系結(jié)構(gòu)在端側(cè)的創(chuàng)新應(yīng)用，還包括端側(cè)AI與智能應(yīng)用實(shí)踐，以及延伸到端側(cè)原生智能生態(tài)構(gòu)建，探索端側(cè)AI生態(tài)系統(tǒng)的構(gòu)建策略與未來發(fā)展方向，為端側(cè)系統(tǒng)級(jí)大模型服務(wù)把脈機(jī)遇與挑戰(zhàn)。

華為基礎(chǔ)軟件資深技術(shù)專家丁天虹、湖南開鴻智谷數(shù)字產(chǎn)業(yè)發(fā)展有限公司AI技術(shù)資深專家楊德志、華為終端BG云服務(wù)小藝產(chǎn)品部術(shù)專家高光遠(yuǎn)、華為2012實(shí)驗(yàn)室中研諾亞實(shí)驗(yàn)室研究員唐業(yè)輝、清華大學(xué)助理教授章明星、上海交通大學(xué)副教授糜澤羽、上海交通大學(xué)副教授戴國浩、北京郵電大學(xué)副教授徐夢煒、北京大學(xué)副教授孫廣宇、華為終端BG軟件架設(shè)部技術(shù)專家李有福等出席論壇并發(fā)表演講。

當(dāng)前，AI智能家居控制技術(shù)備受關(guān)注。憑借先進(jìn)的人工智能算法，家居設(shè)備實(shí)現(xiàn)智能聯(lián)動(dòng)與精準(zhǔn)控制。為人們帶來便捷、舒適的生活體驗(yàn)，因而成為行業(yè)熱門話題。湖南開鴻智谷數(shù)字產(chǎn)業(yè)發(fā)展有限公司AI技術(shù)資深專家楊德志詳細(xì)分享了在OpenHarmony終端設(shè)備上，利用語音識(shí)別技術(shù)、小語言模型技術(shù)和模型壓縮技術(shù)，實(shí)現(xiàn)對(duì)語音信號(hào)的高效識(shí)別和對(duì)用戶意圖的精準(zhǔn)理解，實(shí)現(xiàn)對(duì)家居設(shè)備的智能控制。從端側(cè)語音識(shí)別、端側(cè)意圖識(shí)別、端側(cè)模型部署三方面為與會(huì)嘉賓詳細(xì)介紹。

（湖南開鴻智谷數(shù)字產(chǎn)業(yè)發(fā)展有限公司AI技術(shù)資深專家楊德志）

華為終端BG云服務(wù)小藝產(chǎn)品部技術(shù)專家高光遠(yuǎn)，作為華為終端云服務(wù)產(chǎn)品總監(jiān)，深入闡述了HarmonyOS NEXT原生智能的相關(guān)理念。他強(qiáng)調(diào)，通過將AI能力下沉到操作系統(tǒng)，匯聚AI相關(guān)能力至AI子系統(tǒng)，并賦能其他子系統(tǒng)，使得系統(tǒng)在不用重復(fù)構(gòu)建 AI 能力的情況下，方便地具備智能特性。同時(shí)，構(gòu)建強(qiáng)大的AI運(yùn)行時(shí)，以實(shí)現(xiàn)整機(jī)最優(yōu)的性能和功耗運(yùn)行，為用戶帶來卓越體驗(yàn)。他還與大家共同探討了原生智能的定義、實(shí)施原因以及為TOD帶來的收益和TOC體驗(yàn)等關(guān)鍵問題。

（華為終端BG云服務(wù)小藝產(chǎn)品部技術(shù)專家高光遠(yuǎn)發(fā)言）

華為 2012 實(shí)驗(yàn)室中研諾亞實(shí)驗(yàn)室研究員唐業(yè)輝則聚焦于端側(cè)設(shè)備的“小”模型研究與實(shí)踐。鑒于端側(cè)設(shè)備計(jì)算和存儲(chǔ)資源有限的現(xiàn)狀，他指出需要部署計(jì)算高效的大模型，并介紹了一種硬件親和的 Transformer架構(gòu)——盤古-π，其通過級(jí)數(shù)激活函數(shù)和增廣跨層連接提高模型表達(dá)能力。同時(shí)分享了針對(duì)“小”模型的優(yōu)化方法，如詞表裁剪和難例續(xù)訓(xùn)創(chuàng)新策略，以緩解“小”模型遺忘難題，成功打造出業(yè)界領(lǐng)先的 “小” 模型，有力支撐了端側(cè)的AI應(yīng)用。

（華為 2012 實(shí)驗(yàn)室中研諾亞實(shí)驗(yàn)室研究員唐業(yè)輝發(fā)言）

清華大學(xué)助理教授章明星帶來了關(guān)于KTransformers的精彩分享。在通向AGI的道路上，訓(xùn)練更大模型和支持更長文本是兩個(gè)重要方向，但純GPU方案進(jìn)行推理成本過高，限制了大模型的廣泛應(yīng)用。為解決這一問題，章明星團(tuán)隊(duì)設(shè)計(jì)并開源了KTransformers 框架，通過將稀疏部分有效卸載到CPU上，僅需一張24GB甚至16GB的顯卡，即可支持236B DeepSeek模型和1M超長上下文的本地推理，在同等環(huán)境下有三到十倍的性能提升。

（清華大學(xué)助理教授章明星發(fā)言）

上海交通大學(xué)副教授糜澤羽就《PowerInfer：端側(cè)大模型推理系統(tǒng)進(jìn)展與展望》主題展開分享，糜澤羽說，PowerInfer是一個(gè)在個(gè)人電腦或智能手機(jī)等端側(cè)設(shè)備進(jìn)行大型語言模型快速推理的框架，設(shè)計(jì)核心是利用大語言模型推理中固有的稀疏激活和高局部性，進(jìn)一步整合了自適應(yīng)預(yù)測器和神經(jīng)元感知的稀疏運(yùn)算符，優(yōu)化了神經(jīng)元激活的效率和計(jì)算稀疏性。

（上海交通大學(xué)副教授糜澤羽發(fā)言）

在智能技術(shù)飛速發(fā)展的當(dāng)下，端側(cè)設(shè)備的大模型應(yīng)用成為研究熱點(diǎn)。北京郵電大學(xué)副教授徐夢煒就端側(cè)系統(tǒng)級(jí)大模型服務(wù)發(fā)表了深刻見解。他指出，大語言模型（LLM）及相關(guān)多模態(tài)變體正極大地改變著電子設(shè)備的能力，推動(dòng)了個(gè)人代理等新型應(yīng)用的發(fā)展。他重點(diǎn)闡述了一種面向高效端側(cè)大模型部署的創(chuàng)新方案——LLM-as-a-Service。該方案由操作系統(tǒng)為應(yīng)用提供統(tǒng)一的LLM服務(wù)，通過Prompt/LoRa等方式與應(yīng)用進(jìn)行交互，從而確保服務(wù)的可擴(kuò)展性和硬件兼容性。

（北京郵電大學(xué)副教授徐夢煒發(fā)言）

“基于Transformer架構(gòu)的大語言模型逐漸在智能終端中大放異彩，有望讓AI真正觸手可及?！鄙虾＝煌ù髮W(xué)副教授戴國浩《稀疏計(jì)算與軟硬協(xié)同：智能終端中的大模型解決方案》展開分享，他認(rèn)為，現(xiàn)有硬件平臺(tái)仍難以有效滿足端側(cè)大模型推理的算力、帶寬與能效需求。針對(duì)當(dāng)前大模型軟件優(yōu)化效果逐漸趨平的現(xiàn)狀，他介紹了“軟硬協(xié)同+稀疏計(jì)算”的創(chuàng)新研究思路，展望未來智能終端的發(fā)展方向，以及在視頻生成模型稀疏加速的最新探索。

（上海交通大學(xué)副教授戴國浩發(fā)言）

北京大學(xué)副教授孫廣宇分享了《基于DRAM近存計(jì)算架構(gòu)的端側(cè)大模型推理優(yōu)化》。他認(rèn)為，DRAM近存計(jì)算架構(gòu)具備高訪存帶寬、大存儲(chǔ)容量的優(yōu)勢，對(duì)于大規(guī)模神經(jīng)網(wǎng)絡(luò)、圖計(jì)算、推薦系統(tǒng)等應(yīng)用有較好的加速效果，因此受到了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。孫廣宇回顧近期工業(yè)界提出的DRAM近存計(jì)算芯片，并分析其特點(diǎn)和面臨的挑戰(zhàn)；然后，進(jìn)一步介紹如何利用DRAM近存架構(gòu)來加速端側(cè)大模型推理；最后，分享了針對(duì)大模型推理的一個(gè)算法與架構(gòu)協(xié)同優(yōu)化的工作。

（北京大學(xué)副教授孫廣宇發(fā)言）

華為終端BG軟件架設(shè)部技術(shù)專家李有福向與會(huì)嘉賓介紹了ArkData智慧數(shù)據(jù)底座，包含端側(cè)輕量級(jí)向量數(shù)據(jù)存儲(chǔ)、多模態(tài)統(tǒng)一嵌入模型、高效知識(shí)檢索能力等方面?！癆rkData智慧數(shù)據(jù)底座能實(shí)現(xiàn)數(shù)據(jù)+AI智能閉環(huán)，為用戶提供全新的智能體驗(yàn)?！崩钣懈Ｕf。

（華為終端BG軟件架設(shè)部技術(shù)專家李有福發(fā)言）