專注中文理解與生成

揭秘文心一言背后的關(guān)鍵技術(shù)

體驗完文心一言，我們來了解下其背后的技術(shù)。在昨天的發(fā)布會上，百度 CTO 王海峰總結(jié)介紹了文心一言背后的關(guān)鍵技術(shù)。

從整體來看，百度文心一言基于知識增強千億大模型 ERNIE，同時借鑒了文心對話大模型 PLATO，二者的技術(shù)都在文心一言身上得到了延伸，在訓(xùn)練過程中不斷改進(jìn)。

具體來講，文心一言包含了六個核心技術(shù)模塊，分別是有監(jiān)督精調(diào)、人類反饋的強化學(xué)習(xí)、提示以及知識增強、檢索增強和對話增強。其中前三類技術(shù)是對話大模型都會用到的，后三類技術(shù)為百度已有技術(shù)優(yōu)勢的再創(chuàng)新，它們共同構(gòu)筑了文心一言的技術(shù)根基，并在對話效果上得到充分釋放和呈現(xiàn)。

持續(xù)優(yōu)化對話大模型通用技術(shù)

針對有監(jiān)督精調(diào)，除了標(biāo)準(zhǔn)的有監(jiān)督精調(diào)技術(shù)，百度也做了針對性的優(yōu)化。首先文心一言做了更多中文標(biāo)注數(shù)據(jù)，基于對中國語言文化和中文應(yīng)用場景的理解來選擇數(shù)據(jù)，因而在中文任務(wù)上更好用。其次服務(wù)應(yīng)用，百度在為其個人用戶和企業(yè)客戶服務(wù)中積累了大量對應(yīng)用需求的理解，在精調(diào)數(shù)據(jù)時發(fā)揮了作用。最后富含知識，除了將知識圖譜應(yīng)用在知識增強過程中，還基于知識圖譜產(chǎn)生了很多事實證明有效的數(shù)據(jù)來用于數(shù)據(jù)精調(diào)。

我們知道，OpenAI 在調(diào)優(yōu) ChatGPT 時使用了監(jiān)督學(xué)習(xí)和強化學(xué)習(xí)的組合，其中強化學(xué)習(xí)組件用到了人類反饋的強化學(xué)習(xí)（RLHF）訓(xùn)練機制，使得模型在訓(xùn)練中使用人類反饋以最小化無益、失真或偏見的輸出。

百度也非?？粗?RLHF 機制在訓(xùn)練中的重要性，提出了一套完整的技術(shù)，也被證明非常有效。首先接收人類反饋，然后使用反饋數(shù)據(jù)來訓(xùn)練獎勵模型，最后再做強化學(xué)習(xí)的策略優(yōu)化。但應(yīng)看到，由于文心一言剛剛上線，用戶需求和反饋數(shù)據(jù)尚不充分，因而后續(xù)一定會基于更多真實反饋獲得進(jìn)化。

提示（prompt）已經(jīng)成為與大模型尤其是對話大模型互動最自然直觀的方式。千億以上參數(shù)的大模型往往蘊含了極其豐富的數(shù)據(jù)和知識，如何快速準(zhǔn)確找到并應(yīng)用這些數(shù)據(jù)和知識變得至關(guān)重要。這時提示構(gòu)建得好不好將直接影響語言模型表現(xiàn)出的能力，因此文心一言在這方面下了大功夫。

當(dāng)用戶輸入提示時可以基于很多自動構(gòu)建的方法來提升效果，比如補充實例（解題時給出示例）、創(chuàng)作時給出提綱、規(guī)范等。此外大語言模型也會出現(xiàn)錯誤，這時加入已知的準(zhǔn)確知識點也能提升回答準(zhǔn)確性。最后在構(gòu)建提示時加入思維鏈也會使答案更合理，邏輯更清晰。

獨特優(yōu)勢構(gòu)成文心一言強大根基

除了繼續(xù)強化打磨大語言模型的通用技術(shù)，百度還針對知識增強、檢索增強和對話增強三個已有優(yōu)勢進(jìn)行再創(chuàng)新。

知識增強是文心大模型的核心特色之一，通過從海量的知識和數(shù)據(jù)中融合學(xué)習(xí)，模型能夠?qū)崿F(xiàn)更高的效率、更好的效果、更強的可解釋性。做到這些需要兩方面的技術(shù) —— 知識內(nèi)化和知識外用。知識內(nèi)化是從大規(guī)模知識和無標(biāo)注數(shù)據(jù)中，基于語義單元學(xué)習(xí)，利用知識構(gòu)造訓(xùn)練數(shù)據(jù)，將知識學(xué)習(xí)到模型參數(shù)中；知識外用是指知識在模型參數(shù)中未內(nèi)化進(jìn)去，但在推理過程中引入外部多源異構(gòu)知識，做知識推理、提示構(gòu)建等。

此外通過知識圖譜來構(gòu)建訓(xùn)練數(shù)據(jù)，達(dá)到知識內(nèi)化的效果。百度擁有世界上最大的多源異構(gòu)知識圖譜，包含了 50 億實體和 5500 億事實，并在不斷演進(jìn)和更新。除了基于知識圖譜進(jìn)行知識推理，還可以基于知識來構(gòu)建提示。

百度在搜索領(lǐng)域擁有很多領(lǐng)先技術(shù)，每天響應(yīng)幾十億次真實的用戶使用需求。發(fā)展到了今天，百度新一代搜索架構(gòu)已經(jīng)發(fā)展到了基于語義理解和匹配，其中文心大模型分別理解用戶輸入和文檔，形成雙塔模型，然后基于理解進(jìn)行匹配。

這套搜索架構(gòu)與包括文心一言在內(nèi)的文心大模型有著天然不可分的關(guān)聯(lián)，在做生成模型時可以進(jìn)行聯(lián)合優(yōu)化，將檢索中一些有價值的結(jié)果（如精準(zhǔn)的信息）帶入生成過程。通過引入搜索結(jié)果，為大模型提供時效性強、準(zhǔn)確率高的參考信息，更好地滿足用戶需求。

百度在對話領(lǐng)域同樣擁有很多對話技術(shù)和應(yīng)用積累。我們知道，對話很多時候不是一個問題和一個答案，有上下文的多輪對話才是常態(tài)，因此記憶機制和上下文理解都很重要。同時長對話還要考慮對話規(guī)劃，這些結(jié)合起來才能實現(xiàn)更好的對話連貫性、合理性和邏輯性。

可以看到，打造出一個出色的大模型哪有那么容易，在技術(shù)上需要持續(xù)創(chuàng)新。AI 研發(fā)就像燒一壺開水，比 100℃更難的是從 0℃到 99℃。王海峰表示，文心一言是百度多年技術(shù)積累和產(chǎn)業(yè)實踐的水到渠成。

這一切可以追溯到 2010 年，彼時深度學(xué)習(xí)尚未大火，百度即開始全面布局人工智能，是全球為數(shù)不多、進(jìn)行全棧布局的人工智能公司。從底層芯片到框架、模型和應(yīng)用，百度都擁有領(lǐng)先的自研技術(shù)和產(chǎn)品，通過層與層之間的相互反饋、端到端優(yōu)化提升效率，貫通整個 AI 全產(chǎn)業(yè)鏈。

尤其飛槳深度學(xué)習(xí)平臺和文心大模型的聯(lián)合優(yōu)化為文心一言提供了堅實的技術(shù)支撐。飛槳支撐了文心一言從開發(fā)訓(xùn)練到推理部署的整個流程，在開發(fā)訓(xùn)練層面，飛槳動靜統(tǒng)一的開發(fā)范式和自適應(yīng)分布式架構(gòu)，實現(xiàn)大模型的靈活開發(fā)和高效訓(xùn)練；在推理部署層面，飛槳支持大模型高效推理，提供服務(wù)化部署能力，包括計算融合、軟硬協(xié)同的稀疏量化、模型壓縮等。

同時，文心大模型自 2019 年發(fā)布 ERNIE 1.0 以來，已經(jīng)全面涵蓋了 NLP、CV、跨模態(tài)、生物計算以及行業(yè)大模型，并基于大模型推出了 AI 作畫產(chǎn)品文心一格和產(chǎn)業(yè)級搜索系統(tǒng)文心百中。

飛槳深度學(xué)習(xí)平臺和文心大模型是支撐文心一言的底氣。文心一言還延續(xù)了文心大模型知識增強的特色，通過理解和生成能力的集成獲得極大助益。

作為國內(nèi)搜索領(lǐng)域的頭號玩家，在可預(yù)見的未來，百度或?qū){借文心一言引領(lǐng)中文搜索市場的代際變革，為用戶帶來更便捷友好的搜索體驗。此外以文心一言為契機的大語言模型和生成式 AI 也將助力金融、能源、媒體、政務(wù)等千行百業(yè)的智能化變革。

正如李彥宏在會上所說，「百度希望和大家一起，推動人工智能技術(shù)進(jìn)步，讓所有人都能使用最先進(jìn)的生產(chǎn)力工具，讓所有人都能從中受益?！?/span>

最后感慨一句，ChatGPT、GPT-4 的連番發(fā)布，讓我們一直憂心中國 AI 技術(shù)能否跟上海外的步伐。昨天百度的新聞發(fā)布會，我們能看到有人調(diào)侃吐槽，但也看到更多人愿意抱著寬容的態(tài)度看待百度勇敢邁出的第一步。期待在百度的這一步之后，更多中國企業(yè)能夠走的更遠(yuǎn)。