認(rèn)知增強(qiáng)技術(shù)
肖仰華表示，預(yù)訓(xùn)練語(yǔ)言模型雖已具備初級(jí)認(rèn)知能力，但仍缺乏高級(jí)認(rèn)知能力。可從概念、類比、幽默、價(jià)值認(rèn)知等角度探索如何增強(qiáng)模型的高級(jí)認(rèn)知能力。增強(qiáng)通用大模型的高級(jí)認(rèn)知能力會(huì)是未來重要的研究方向，需要人工智能與人文學(xué)科的深度交叉融合，這既是巨大挑戰(zhàn)，也是重大機(jī)遇。我們需要倡導(dǎo)人工智能與人文社科的深度交叉與融合的研究環(huán)境。概念認(rèn)知增強(qiáng)對(duì)于人類來說，概念和實(shí)體間的知識(shí)可以互相遷移，以幫助我們理解新的陌生實(shí)體。語(yǔ)言模型雖然對(duì)語(yǔ)料庫(kù)中頻繁出現(xiàn)的概念和實(shí)體有一定了解，但它們?nèi)詫?duì)出現(xiàn)較少的冷門實(shí)體理解不足。現(xiàn)有工作將實(shí)體知識(shí)、知識(shí)圖譜中的關(guān)系知識(shí)、句法知識(shí)、語(yǔ)義知識(shí)、外部文本知識(shí)用到預(yù)訓(xùn)練語(yǔ)言模型的學(xué)習(xí)中。然而，它們忽略了概念知識(shí)，一種對(duì)人類來說最為重要的知識(shí)。于是，一種全新的概念增強(qiáng)的預(yù)訓(xùn)練任務(wù)——實(shí)體概念預(yù)測(cè)（Entity Concept Prediction, ECP）誕生。對(duì)于語(yǔ)料中的提及的實(shí)體，ECP旨在預(yù)測(cè)出實(shí)體相應(yīng)的概念。實(shí)體將以一定概率被遮蓋住，即要求PLM僅基于上下文預(yù)測(cè)概念。類比認(rèn)知增強(qiáng)類比是人類認(rèn)知中最豐富和活躍的思維方式，類比是人類認(rèn)知的核心，也是人類智能的核心。通過類比，人們可以證明日常的推理和發(fā)現(xiàn)新的見解，如老師用雞蛋來類比地球的構(gòu)造，學(xué)生很快理解了。類比推理是把兩個(gè)或者兩類事物或者情形進(jìn)行比較，找出它們?cè)谀骋怀橄髮用嫔系南嗨脐P(guān)系。并以這種關(guān)系為依據(jù)，將有關(guān)知識(shí)加以適當(dāng)整理，對(duì)應(yīng)到另一事物或情況，從而獲得求解另一事物或情形的知識(shí)，類比推理是人類高級(jí)認(rèn)知能力的重要體現(xiàn)。類比推理需要基于關(guān)系結(jié)構(gòu)來實(shí)現(xiàn)源域到目標(biāo)域的映射，從而幫助人類去學(xué)習(xí)和理解新的知識(shí)?，F(xiàn)如今缺少大規(guī)模數(shù)據(jù)集讓機(jī)器具備類比推離能力。通過更豐富的類比數(shù)據(jù)集，模型可以使用顯式類比進(jìn)行推理和解釋，甚至訓(xùn)練專門的類比模型。2022年，復(fù)旦大學(xué)、字節(jié)跳動(dòng)人工智能實(shí)驗(yàn)室等機(jī)構(gòu)的研究者提出首個(gè)可解釋的知識(shí)密集型類比推理數(shù)據(jù)集——E-KAR 數(shù)據(jù)集，由1,655個(gè)（中文）和1,251個(gè)（英文）來自中國(guó)公務(wù)員考試的問題組成，并提出了類比推理問題的兩個(gè)基準(zhǔn)任務(wù)，用于教會(huì)和驗(yàn)證模型學(xué)習(xí)類比的能力。隱喻認(rèn)知增強(qiáng)隱喻本質(zhì)是從源域概念到目標(biāo)域概念的映射，基于相似性，反映了人類的認(rèn)知過程。如在“今晚天空中有一團(tuán)火”這句話中，通過“火紅”這一特點(diǎn)將晚霞和火焰之間建立聯(lián)系。讓機(jī)器具備隱喻認(rèn)知能力，便能讓機(jī)器掌握事物間的內(nèi)在聯(lián)系。讓機(jī)器具備隱喻相關(guān)推理的能力是實(shí)現(xiàn)類人智能非常關(guān)鍵的一個(gè)環(huán)節(jié)。大模型可以生成一些文本描述，但要做到優(yōu)雅地生成很困難，為此復(fù)旦大學(xué)知識(shí)工場(chǎng)實(shí)驗(yàn)室建立了一些相關(guān)的數(shù)據(jù)集和知識(shí)庫(kù)，在明喻解釋上，取得一些研究成果：（1）明喻推理與解釋：復(fù)旦大學(xué)知識(shí)工場(chǎng)實(shí)驗(yàn)室在《Can Pre-trained Language Models Interpret Similes as Smart as Human?》中，提出明喻屬性探測(cè)任務(wù)(Simile Property Probing)，也即讓預(yù)訓(xùn)練語(yǔ)言模型推斷明喻中的共同屬性。此工作從通用語(yǔ)料文本、人工構(gòu)造題目?jī)蓚€(gè)數(shù)據(jù)源構(gòu)建明喻屬性探測(cè)數(shù)據(jù)集，規(guī)模為1,633個(gè)題目，涵蓋七個(gè)主要類別。（2）大規(guī)模明喻知識(shí)庫(kù)構(gòu)建：構(gòu)建大規(guī)模明喻知識(shí)庫(kù)的系統(tǒng) MAPS-KB，一個(gè)百萬級(jí)別的明喻概率化知識(shí)庫(kù)，規(guī)模為430萬個(gè)明喻三元組，覆蓋70GB的語(yǔ)料庫(kù)。（3）面向明喻生成任務(wù)的自動(dòng)評(píng)估指標(biāo) ：為明喻改寫任務(wù)設(shè)計(jì)全面、高效且可靠的評(píng)估系統(tǒng)。設(shè)計(jì)了五個(gè)評(píng)估準(zhǔn)則：relevance、logical consistency、sentiment consistency、creativity、informativeness，并為每個(gè)評(píng)估準(zhǔn)則設(shè)計(jì)評(píng)估指標(biāo)。幽默認(rèn)知增強(qiáng)科學(xué)家認(rèn)為，隨著機(jī)器變得越來越聰明，幽默感也許是使人類區(qū)別于機(jī)器的最后一項(xiàng)特征。肖仰華表示，未來讓大模型參與吐槽大會(huì)或說脫口秀也是有可能的。其中關(guān)鍵是增強(qiáng)大模型的能力，來檢測(cè)幽默的笑點(diǎn)，甚至改寫生成這些幽默段子。然而，幽默計(jì)算有以下挑戰(zhàn)性：尚未建立完善的幽默理論，幽默難以形式化定義，當(dāng)前研究只能處理一些簡(jiǎn)單形式的幽默。據(jù)肖仰華分析，預(yù)訓(xùn)練語(yǔ)言模型的幽默理解的第一個(gè)工作主要從預(yù)訓(xùn)練語(yǔ)言模型的幽默判定、識(shí)別、可解釋三個(gè)方面來研究。隨著人機(jī)交互系統(tǒng)和應(yīng)用的發(fā)展，能否讓機(jī)器具有幽默感可能預(yù)示著人機(jī)交互的通天塔能否建成。對(duì)此，肖仰華團(tuán)隊(duì)發(fā)布了中文幽默評(píng)估數(shù)據(jù)集。預(yù)訓(xùn)練語(yǔ)言模型的幽默理解的第二個(gè)工作主要從預(yù)訓(xùn)練語(yǔ)言模型的幽默改寫、生成兩個(gè)方面來研究。當(dāng)前的語(yǔ)言模型在給出幽默響應(yīng)方面表現(xiàn)不佳，預(yù)訓(xùn)練語(yǔ)言模型的幽默回復(fù)是自然語(yǔ)言處理中的一項(xiàng)挑戰(zhàn)任務(wù)。缺乏大規(guī)模的幽默回復(fù)數(shù)據(jù)集和定制化的知識(shí)來提高預(yù)訓(xùn)練語(yǔ)言模型的幽默回復(fù)能力。對(duì)此，肖仰華團(tuán)隊(duì)發(fā)布了一個(gè)中文幽默回復(fù)數(shù)據(jù)集，定制化知識(shí)庫(kù)和幽默回復(fù)輔助任務(wù)相關(guān)的數(shù)據(jù)集。共情認(rèn)知增強(qiáng)在許多真實(shí)對(duì)話場(chǎng)景中，共情是十分重要的。如使用大模型診斷病人，醫(yī)生在和病人交流的過程中，不單有醫(yī)學(xué)知識(shí)，還需要共情能力，安慰病人等，共情能力非常重要。如何評(píng)測(cè)大模型與人類共情的水平？如何提升大模型與人類共情的能力？最近的一些報(bào)道稱，在最新版本的GPT-3.5中，通過心智理論測(cè)試，大幅超越之前的版本，其正確率逼近人類九歲孩子的水平?？傮w而言這方面的研究仍需巨大努力。信念認(rèn)知增強(qiáng)在研究的過程中，可能會(huì)發(fā)現(xiàn)這樣一個(gè)問題：模型的信念容易受輸入影響，對(duì)同一問題的回答搖擺不定。如何讓模型擁有穩(wěn)定的，正確的信念，以及更新特定信念？需要對(duì)信念檢測(cè)、信念更新、信念強(qiáng)化等工作。
推理增強(qiáng)技術(shù)
肖仰華表示，預(yù)訓(xùn)練語(yǔ)言模型的推理能力有待加強(qiáng)，可從數(shù)值、邏輯、常識(shí)推理等角度探索如何增強(qiáng)模型的推理能力。數(shù)值推理增強(qiáng)大模型在不同領(lǐng)域應(yīng)用時(shí)，需具備理解數(shù)值的能力。數(shù)值推理本質(zhì)上是對(duì)自然語(yǔ)言文本中的數(shù)值實(shí)體進(jìn)行區(qū)別與一般文本的特殊處理，包括將數(shù)值映射到數(shù)字線上的近似大小的量級(jí)化能力，以及對(duì)數(shù)值實(shí)體之間進(jìn)行分析、思考以及符號(hào)化運(yùn)算和推理的過程，反映了人腦具備的高級(jí)認(rèn)知功能。對(duì)此，肖仰華表示，可通過構(gòu)建量綱知識(shí)庫(kù)、半自動(dòng)化數(shù)量數(shù)據(jù)集構(gòu)建、量綱認(rèn)知的預(yù)訓(xùn)練增強(qiáng)、基于CoT的大模型數(shù)值推理等手段來增強(qiáng)數(shù)值推理能力。邏輯推理增強(qiáng)邏輯有“與或非”這三個(gè)原則，然而大模型在否定事實(shí)的生成上往往會(huì)犯錯(cuò)。因?yàn)榉穸ㄊ聦?shí)是開放的，關(guān)于人不能做什么在語(yǔ)料中的描述是極度稀缺的。大模型的否定事實(shí)生成與理解能力因而大打折扣。肖仰華團(tuán)隊(duì)借助Chain-of-Thought，開展了一些研究工作，相關(guān)成果已經(jīng)提交到學(xué)術(shù)會(huì)議。除此之外，還有常識(shí)推理增強(qiáng)、反事實(shí)推理增強(qiáng)、多模態(tài)推理增強(qiáng)、多跳推理增強(qiáng)等方法。目前科技巨頭均在積極布局大模型，以國(guó)內(nèi)為例，華為云發(fā)布盤古大模型，北京智源研究院發(fā)布“悟道”，浪潮發(fā)布中文巨量模型“源1.0”，阿里達(dá)摩院發(fā)布巨模型M6，百度聯(lián)合鵬城實(shí)驗(yàn)室發(fā)布大模型“鵬城-百度?文心”，復(fù)旦大學(xué)知識(shí)工場(chǎng)團(tuán)隊(duì)也與超對(duì)稱技術(shù)公司發(fā)布金融預(yù)訓(xùn)練語(yǔ)言模型BigBang Transformer 乾元等。值得一提的是，在我們關(guān)注這些大模型的最新發(fā)展的同時(shí)，為充分發(fā)揮大模型的價(jià)值，保障大模型的質(zhì)量，歡迎各位開發(fā)者和肖仰華博士一起，積極關(guān)注大模型背后的數(shù)據(jù)治理。嘉賓簡(jiǎn)介：肖仰華博士，復(fù)旦大學(xué)教授、博導(dǎo)、上海市數(shù)據(jù)科學(xué)重點(diǎn)實(shí)驗(yàn)室主任、復(fù)旦大學(xué)知識(shí)工場(chǎng)實(shí)驗(yàn)室負(fù)責(zé)人、復(fù)旦-愛數(shù)認(rèn)知智能聯(lián)合研究中心主任。