國(guó)際頂級(jí)學(xué)術(shù)期刊發(fā)表了朱松純團(tuán)隊(duì)（UCLA袁路遙、高曉豐、北京通用人工智能研究院鄭子隆、北京大學(xué)人工智能研究院朱毅鑫等作者）的最新研究成果——實(shí)時(shí)雙向人機(jī)價(jià)值對(duì)齊 In-situ bidirectional human-robotvalue alignment。論文同時(shí)被Science官網(wǎng)和Science Robotics官網(wǎng)頭條刊登。

論文地址：https://www.science.org/doi/10.1126/scirobotics.abm4183

本論文提出了一個(gè)可解釋的人工智能（XAI）系統(tǒng)，闡述了一種機(jī)器實(shí)時(shí)理解人類(lèi)價(jià)值觀的計(jì)算框架，并展示了機(jī)器人如何與人類(lèi)用戶(hù)通過(guò)實(shí)時(shí)溝通完成一系列復(fù)雜人機(jī)協(xié)作任務(wù)。朱松純團(tuán)隊(duì)長(zhǎng)期從事可解釋人工智能相關(guān)工作。此文是團(tuán)隊(duì)第二篇發(fā)表在 Science Robotics 的關(guān)于可解釋人工智能的論文。這項(xiàng)研究涵蓋了認(rèn)知推理、自然語(yǔ)言處理、機(jī)器學(xué)習(xí)、機(jī)器人學(xué)等多學(xué)科領(lǐng)域，是朱松純教授團(tuán)隊(duì)交叉研究成果的集中體現(xiàn)。

在這個(gè)人機(jī)共存的時(shí)代，為了讓機(jī)器更好地服務(wù)于人類(lèi)，理想的人機(jī)協(xié)作應(yīng)該是什么樣的？我們不妨借鑒一下人類(lèi)社會(huì)的協(xié)作，在人類(lèi)團(tuán)隊(duì)合作過(guò)程中，共同的價(jià)值觀和目標(biāo)是保證團(tuán)隊(duì)之間齊心協(xié)力、高效合作的基礎(chǔ)。當(dāng)前機(jī)器智能大多數(shù)基于數(shù)據(jù)驅(qū)動(dòng)（且很多情況下獲取不了數(shù)據(jù)）、且是單方面接受人類(lèi)指令（一種是人類(lèi)觀測(cè)受限的情況下是沒(méi)法給到指令的）

為了解決上述問(wèn)題，以及為了讓機(jī)器能夠進(jìn)行更好地“自主”探索，我們要讓機(jī)器學(xué)會(huì)“讀懂”人類(lèi)價(jià)值觀，因此我們提出“實(shí)時(shí)雙向價(jià)值對(duì)齊”。這就要求人類(lèi)要想辦法一次次地給到AI反饋，逐漸地教會(huì)AI“讀懂”人類(lèi)的價(jià)值觀，也就是讓機(jī)器和人類(lèi)的“價(jià)值觀”保持一致。

這個(gè)問(wèn)題也被稱(chēng)為價(jià)值對(duì)齊（value alignment），即如何保證人工智能在執(zhí)行任務(wù)過(guò)程中所實(shí)現(xiàn)的價(jià)值和用戶(hù)所在意的價(jià)值是一致的？

可以說(shuō)，價(jià)值對(duì)齊是人機(jī)協(xié)作過(guò)程中達(dá)成共識(shí)（common ground）的基礎(chǔ)，具有非常重要的研究?jī)r(jià)值。價(jià)值對(duì)齊也是未來(lái)的一個(gè)重要發(fā)展方向，是讓機(jī)器實(shí)現(xiàn)“自主智能”的關(guān)鍵所在，也是實(shí)現(xiàn)通用人工智能的必經(jīng)之路。鑒于此，北京通用人工智能研究院院長(zhǎng)朱松純團(tuán)隊(duì)一直在致力于此方向的研究。

理想的人機(jī)協(xié)作應(yīng)該是什么樣的？在人工智能發(fā)展方興未艾之時(shí)，控制論之父諾伯特-維納（Norbert Wiener）就提出了人機(jī)協(xié)作的基礎(chǔ)：

“如果我們使用一個(gè)機(jī)器來(lái)實(shí)現(xiàn)我們的目標(biāo)，但又不能有效地干預(yù)其運(yùn)作方式...那么我們最好能篤定，輸入給機(jī)器的目標(biāo)是我們真正所預(yù)期的?！?/span>

近幾年來(lái)，一系列研究進(jìn)展都表明：高效的人機(jī)協(xié)作依賴(lài)于團(tuán)隊(duì)之間擁有一致的價(jià)值觀、目標(biāo)，以及對(duì)任務(wù)現(xiàn)狀的理解。這就要求人類(lèi)通過(guò)與機(jī)器的溝通來(lái)高效地建立整個(gè)團(tuán)隊(duì)對(duì)任務(wù)的共識(shí)，每個(gè)團(tuán)隊(duì)成員都采取其他伙伴更容易理解的行為決策來(lái)完成協(xié)作。在大多數(shù)情況下，隊(duì)友之間的溝通過(guò)程都是雙向的，即每個(gè)成員都要扮演著傾聽(tīng)者和表達(dá)者兩種角色。這樣的雙向價(jià)值對(duì)齊決定了人機(jī)協(xié)作中的溝通是否能夠成功，即機(jī)器人是否能準(zhǔn)確地推斷出用戶(hù)的價(jià)值目標(biāo)，并有效地解釋自己的行為。如果這兩個(gè)條件沒(méi)有得到滿(mǎn)足，隊(duì)友間彼此的不理解和誤判很可能會(huì)導(dǎo)致協(xié)作失敗。因此，想要使人工智能更好地服務(wù)于人類(lèi)社會(huì)，必須讓它們?cè)谂c人類(lèi)互動(dòng)時(shí)扮演好這兩種角色。

從傾聽(tīng)者的角度來(lái)看，傳統(tǒng)人工智能算法（如逆強(qiáng)化學(xué)習(xí)（IRL）等）能夠?qū)⒔换?shù)據(jù)與機(jī)器學(xué)習(xí)算法相結(jié)合，以學(xué)習(xí)特定任務(wù)中用戶(hù)的價(jià)值目標(biāo)，即通過(guò)輸入用戶(hù)在特定任務(wù)中的行為方式，來(lái)恢復(fù)行為背后的獎(jiǎng)勵(lì)函數(shù)。然而，在眾多實(shí)際且重要（如軍事和醫(yī)療領(lǐng)域）的應(yīng)用中，數(shù)據(jù)的獲取經(jīng)常十分昂貴。這些機(jī)器學(xué)習(xí)方法對(duì)大型數(shù)據(jù)集的依賴(lài)是無(wú)法應(yīng)對(duì)即時(shí)互動(dòng)的人機(jī)協(xié)作場(chǎng)景的。

從表達(dá)者的角度來(lái)看，可解釋人工智能（XAI）的引入是為了促進(jìn)人機(jī)之間達(dá)成共識(shí)。當(dāng)前的XAI系統(tǒng)通常強(qiáng)調(diào)的是對(duì)“模型如何產(chǎn)生決策過(guò)程”的解釋。然而，不管用戶(hù)有多少主動(dòng)的輸入或互動(dòng)，都只能影響機(jī)器“生成解釋”的過(guò)程，而不影響機(jī)器“做出決策”的過(guò)程。這是一種單向的價(jià)值目標(biāo)對(duì)齊，我們稱(chēng)之為靜態(tài)機(jī)器-動(dòng)態(tài)用戶(hù)的交流，即在這種協(xié)作過(guò)程中只有用戶(hù)對(duì)機(jī)器或任務(wù)的理解發(fā)生了變化。

為了完成人與機(jī)器之間價(jià)值目標(biāo)的雙向?qū)R，需要一種人類(lèi)價(jià)值主導(dǎo)的、動(dòng)態(tài)機(jī)器-動(dòng)態(tài)用戶(hù)的交流模式。在這樣一種新的模式中，機(jī)器人除了揭示其決策過(guò)程外，還將根據(jù)用戶(hù)的價(jià)值目標(biāo)即時(shí)調(diào)整行為，從而使機(jī)器和人類(lèi)用戶(hù)能夠合作實(shí)現(xiàn)一系列的共同目標(biāo)。為了即時(shí)掌握用戶(hù)信息，我們采用通訊學(xué)習(xí)取代了傳統(tǒng)數(shù)據(jù)驅(qū)動(dòng)的機(jī)器學(xué)習(xí)方法，機(jī)器將根據(jù)所推斷出的用戶(hù)的價(jià)值目標(biāo)進(jìn)行合理解釋。這種合作導(dǎo)向的人機(jī)協(xié)作要求機(jī)器具有心智理論（ToM），即理解他人的心理狀態(tài)（包括情緒、信仰、意圖、欲望、假裝與知識(shí)等）的能力。心智理論最早在心理學(xué)和認(rèn)知科學(xué)中被研究，現(xiàn)已泛化到人工智能領(lǐng)域。心智理論在多智能體和人機(jī)交互環(huán)境中尤為重要，因?yàn)槊總€(gè)智能體都要理解其他智能體（包括人）的狀態(tài)和意圖才能更好地執(zhí)行任務(wù)，其決策行為又會(huì)影響其他智能體做出判斷。設(shè)計(jì)擁有心智理論的系統(tǒng)不僅在于解釋其決策過(guò)程，還旨在理解人類(lèi)的合作需求，以此形成一個(gè)以人類(lèi)為中心、人機(jī)兼容的協(xié)作過(guò)程。

為了建立一個(gè)具有上述能力的AI系統(tǒng)，本文設(shè)計(jì)了一個(gè)"人機(jī)協(xié)作探索"游戲。在這個(gè)游戲中，用戶(hù)需要與三個(gè)偵察機(jī)器人合作完成探索任務(wù)并最大化團(tuán)隊(duì)收益。本游戲設(shè)定：1、只有偵察機(jī)器人能直接與游戲世界互動(dòng)，用戶(hù)不能直接控制機(jī)器人的行為；2、用戶(hù)將在游戲初始階段選擇自己的價(jià)值目標(biāo)（例如：最小化探索時(shí)間，收集更多的資源，探索更大的區(qū)域等），機(jī)器人團(tuán)隊(duì)必須通過(guò)人機(jī)互動(dòng)來(lái)推斷這個(gè)價(jià)值目標(biāo)。這樣的設(shè)置真實(shí)地模仿了現(xiàn)實(shí)世界中的人機(jī)合作任務(wù)，因?yàn)樵S多AI系統(tǒng)都需要在人類(lèi)用戶(hù)的監(jiān)督下，自主地在危險(xiǎn)的環(huán)境中運(yùn)行（如在核電站有核泄漏的情況下）。

要成功地完成游戲，機(jī)器人需要同時(shí)掌握“聽(tīng)”和“說(shuō)”的能力來(lái)實(shí)現(xiàn)價(jià)值雙向?qū)R。首先，機(jī)器人需要從人類(lèi)的反饋中提取有用的信息，推斷出用戶(hù)的價(jià)值函數(shù)（描述目標(biāo)的函數(shù)）并相應(yīng)地調(diào)整它們的策略。其次，機(jī)器人需要根據(jù)它們當(dāng)前的價(jià)值推斷，有效地解釋它們"已經(jīng)做了什么"和"計(jì)劃做什么"，讓用戶(hù)知道機(jī)器人是否和人類(lèi)有相同的的價(jià)值函數(shù)。同時(shí)，用戶(hù)的任務(wù)是指揮偵查機(jī)器人到達(dá)目的地，并且使團(tuán)隊(duì)的收益最大化。因此，用戶(hù)對(duì)機(jī)器人的評(píng)價(jià)也是一個(gè)雙向的過(guò)程，即用戶(hù)必須即時(shí)推斷偵察機(jī)器人的價(jià)值函數(shù)，檢查其是否與人類(lèi)的價(jià)值函數(shù)相一致。如果不一致，則選擇適當(dāng)?shù)闹噶顏?lái)調(diào)整他們的目標(biāo)。最終，如果系統(tǒng)運(yùn)行良好，偵察機(jī)器人的價(jià)值函數(shù)應(yīng)該與人類(lèi)用戶(hù)的價(jià)值函數(shù)保持一致，并且用戶(hù)應(yīng)該高度信任機(jī)器人系統(tǒng)自主運(yùn)行。

圖1. 人機(jī)價(jià)值對(duì)齊過(guò)程總覽。

圖1介紹了游戲中的雙向價(jià)值調(diào)整過(guò)程。在游戲互動(dòng)過(guò)程中，存在著三個(gè)價(jià)值目標(biāo)，分別是 ：用戶(hù)的真實(shí)價(jià)值；：機(jī)器人對(duì)用戶(hù)價(jià)值的估計(jì)（在游戲中，偵察機(jī)器人沒(méi)有自己的價(jià)值，所以他們以人類(lèi)用戶(hù)價(jià)值的估計(jì)為依據(jù)采取行動(dòng)）；：用戶(hù)對(duì)機(jī)器人價(jià)值的估計(jì)。基于這三個(gè)價(jià)值目標(biāo)產(chǎn)生了兩種價(jià)值對(duì)齊—— ：機(jī)器人從用戶(hù)給出的反饋中學(xué)習(xí)用戶(hù)的價(jià)值；: 用戶(hù)從機(jī)器人給出的解釋和互動(dòng)中了解機(jī)器人的價(jià)值。最終，三種價(jià)值目標(biāo)將匯聚于，人-機(jī)團(tuán)隊(duì)將形成相互信任和高效的協(xié)作。

本文提出的XAI系統(tǒng)旨在共同解決以下兩個(gè)問(wèn)題：

1. 在即時(shí)互動(dòng)和反饋過(guò)程中，機(jī)器如何準(zhǔn)確估計(jì)人類(lèi)用戶(hù)的意圖？

2. 機(jī)器如何解釋自己，以便人類(lèi)用戶(hù)能夠理解機(jī)器的行為，并提供有用的反饋來(lái)幫助機(jī)器做出價(jià)值調(diào)整？

在本文提出的系統(tǒng)中，機(jī)器人提出任務(wù)計(jì)劃的建議，并要求人類(lèi)用戶(hù)給出反饋（接受或拒絕建議），從人類(lèi)反饋中推斷出任務(wù)目標(biāo)背后人類(lèi)真實(shí)的價(jià)值意圖。在協(xié)作游戲中，如果用戶(hù)知道機(jī)器人正在積極學(xué)習(xí)他的價(jià)值目標(biāo)，那么用戶(hù)就會(huì)傾向于提供更加有用的反饋，以促進(jìn)價(jià)值保持對(duì)齊。特別地，每條信息都傳達(dá)了兩方面的意義，包括（1）基于價(jià)值目標(biāo)的語(yǔ)義信息和（2）基于不同解釋方式之間區(qū)別的語(yǔ)用信息。利用這兩方面的含義，XAI系統(tǒng)以一種多輪的、即時(shí)的方式展示了價(jià)值的一致性，在一個(gè)問(wèn)題搜索空間大的團(tuán)隊(duì)合作任務(wù)中實(shí)現(xiàn)了高效的人機(jī)互動(dòng)交流。為了使機(jī)器人的價(jià)值目標(biāo)與用戶(hù)保持一致，XAI系統(tǒng)生成解釋、揭示機(jī)器人對(duì)人類(lèi)價(jià)值的當(dāng)前估計(jì)、并證明提出規(guī)劃的合理性。在每一步的互動(dòng)中，為了避免解釋內(nèi)容過(guò)于冗長(zhǎng)，機(jī)器人會(huì)提供定制化的解釋?zhuān)热缡÷灾貜?fù)的已知信息并強(qiáng)調(diào)重要的更新。在收到機(jī)器人的解釋并向它們發(fā)送反饋后，用戶(hù)向機(jī)器人提供提示，說(shuō)明他們對(duì)最新建議和解釋的滿(mǎn)意程度。利用這些反饋，機(jī)器人會(huì)不斷地更新解釋的形式和內(nèi)容。

為了評(píng)估本文XAI系統(tǒng)的性能，我們邀請(qǐng)了人類(lèi)用戶(hù)進(jìn)行了一系列實(shí)驗(yàn)，以此考察人類(lèi)-機(jī)器雙向價(jià)值協(xié)調(diào)是否成功。我們采用了三種類(lèi)型的解釋?zhuān)⒂脩?hù)隨機(jī)分配到三組中的一組。實(shí)驗(yàn)結(jié)果表明，我們所提出的XAI系統(tǒng)能夠以有效地實(shí)現(xiàn)即時(shí)雙向的價(jià)值對(duì)齊，并用于協(xié)作任務(wù)；機(jī)器人能夠推斷出人類(lèi)用戶(hù)的價(jià)值，并調(diào)整其價(jià)值估計(jì)被用戶(hù)所理解。此外，有必要進(jìn)行多樣化的解釋?zhuān)蕴岣邫C(jī)器的決策性能和它們的社會(huì)智能。合作式的人工智能的目標(biāo)是減少人類(lèi)的認(rèn)知負(fù)擔(dān)，并協(xié)助完成任務(wù)，我們相信，主動(dòng)即時(shí)推斷人類(lèi)的價(jià)值目標(biāo)，并促進(jìn)人類(lèi)對(duì)系統(tǒng)的理解，將會(huì)為通用智能體的人機(jī)合作鋪平道路。

如圖2所示，在我們?cè)O(shè)計(jì)的合作游戲中，包含一個(gè)人類(lèi)指揮官和三個(gè)偵察機(jī)器人。游戲的目標(biāo)是需要在一張未知的地圖上找到一條從基地（位于地圖的右下角）到目的地（位于地圖的左上角）的安全路徑。該地圖被表示為一個(gè)部分可見(jiàn)的20×20網(wǎng)格圖，每個(gè)格子都可能有一個(gè)不同的裝置，只有在偵察機(jī)器人靠近它之后才可見(jiàn)。

在游戲中，人類(lèi)指揮官和偵察機(jī)器人具有結(jié)構(gòu)性的相互依賴(lài)關(guān)系，一方面人類(lèi)指揮官需要依靠偵察機(jī)器人探索危險(xiǎn)區(qū)域并排除爆炸物，另一方面，偵察機(jī)器人需要依賴(lài)人類(lèi)指揮官提供的反饋更好地理解當(dāng)前任務(wù)的目標(biāo)。

圖 2：偵察探索游戲的用戶(hù)界面。從左到右，圖例面板顯示游戲地圖中的圖例。價(jià)值函數(shù)面板顯示這局游戲的價(jià)值函數(shù)，偵察機(jī)器人不知道這個(gè)函數(shù)，用戶(hù)也不能修改。中心地圖顯示當(dāng)前地圖上的信息。分?jǐn)?shù)面板顯示了用戶(hù)的當(dāng)前分?jǐn)?shù)?？偡值挠?jì)算方法是將各個(gè)目標(biāo)的分?jǐn)?shù)用價(jià)值函數(shù)加權(quán)后的總和。狀態(tài)面板顯示系統(tǒng)的當(dāng)前狀態(tài)。提議面板顯示偵察機(jī)器人當(dāng)前的任務(wù)計(jì)劃提議，用戶(hù)可以接受/拒絕每個(gè)建議。解釋面板顯示偵察機(jī)器人提供的解釋。

我們?yōu)閭刹鞕C(jī)器人制定了在尋找到路徑時(shí)額外的一系列目標(biāo)，包括1）盡快到達(dá)目的地，2）調(diào)查地圖上的可疑裝置，3）探索更大的區(qū)域，以及4）收集資源。游戲的表現(xiàn)是由偵察機(jī)器人完成這些目標(biāo)的情況和它們的相對(duì)重要性（權(quán)重）來(lái)衡量的，其中的權(quán)重就是人類(lèi)用戶(hù)的價(jià)值函數(shù)。例如，如果人類(lèi)指揮官更注重時(shí)效而不是獲取更多的資源，那么偵察機(jī)器人則應(yīng)該忽略沿途上的部分資源以保證盡快到達(dá)目的地。（注，這個(gè)價(jià)值函數(shù)只在游戲開(kāi)始時(shí)向人類(lèi)用戶(hù)透露，而不對(duì)偵察機(jī)器人透露。圖 3總結(jié)了人機(jī)互動(dòng)的流程。）

在不清楚人類(lèi)指揮官價(jià)值取向的情況下，機(jī)器人偵察兵小隊(duì)必須快速推斷出人類(lèi)的價(jià)值判斷，在每一步行動(dòng)中，機(jī)器人偵察小隊(duì)每一個(gè)成員都要給出下一步行動(dòng)方案，由人類(lèi)指揮官選擇。為了幫助指揮官進(jìn)行決策，偵察機(jī)器人小隊(duì)將解釋行動(dòng)方案的依據(jù)。結(jié)合指揮官的反饋，以往的互動(dòng)歷史和當(dāng)前的地圖情況，偵察機(jī)器人小隊(duì)將調(diào)整其對(duì)指揮官當(dāng)前價(jià)值觀的判斷，并采取相應(yīng)的行動(dòng)。

圖3：偵查探索游戲的設(shè)計(jì)。時(shí)間線(xiàn)（A）表示在一輪游戲中發(fā)生的事件，從機(jī)器人收到環(huán)境信號(hào)開(kāi)始，到它們的下一步動(dòng)作結(jié)束。時(shí)間線(xiàn)（B）和（C）分別描述了機(jī)器人和用戶(hù)的心智變化過(guò)程。

為了估計(jì)人類(lèi)指揮官在通信過(guò)程中的價(jià)值函數(shù)，我們將兩個(gè)層次的心智理論整合到我們的計(jì)算模型中。第1層心智理論考慮合作性假設(shè)。也就是說(shuō)，給定一個(gè)合作的人類(lèi)指揮官，被他接受的來(lái)自機(jī)器人的提議，更有可能與正確的價(jià)值函數(shù)相一致。第2層心智理論進(jìn)一步將用戶(hù)的教育方法納入模型，使機(jī)器人更接近人類(lèi)指揮官真實(shí)價(jià)值的反饋比其他反饋更容易被人類(lèi)指揮官選擇。建模人類(lèi)指揮官的教育傾向（pedagogical inclination）需要更高一層的心智理論。結(jié)合這兩個(gè)層次的心智理論，我們將人類(lèi)指揮官的決策函數(shù)寫(xiě)成一個(gè)由價(jià)值函數(shù)參數(shù)化的分布，并開(kāi)發(fā)出一種新的學(xué)習(xí)算法。

值得注意的是，與我們的人機(jī)合作框架有可比性但不同的方法是逆強(qiáng)化學(xué)習(xí)。逆強(qiáng)化學(xué)習(xí)的目的是在一個(gè)被動(dòng)的學(xué)習(xí)環(huán)境中，根據(jù)預(yù)先錄制的、來(lái)自專(zhuān)家的演示（demonstration）來(lái)恢復(fù)底層的獎(jiǎng)勵(lì)函數(shù)（reward function）。與之不同的是，在我們的環(huán)境中，偵察機(jī)器人被設(shè)計(jì)為從人類(lèi)指揮官給出的稀缺監(jiān)督中進(jìn)行交互學(xué)習(xí)。更重要的是，我們的設(shè)計(jì)要求機(jī)器人在任務(wù)進(jìn)行的過(guò)程中即時(shí)地、主動(dòng)地推斷人類(lèi)指揮官的價(jià)值。此外，為了完成合作，偵察機(jī)器人不僅必須迅速理解人類(lèi)指揮官的意圖，還要闡明自己的決策依據(jù)，以確保在整個(gè)游戲過(guò)程中與人類(lèi)指揮官順利溝通?？傮w來(lái)看，機(jī)器人的任務(wù)是通過(guò)推斷人類(lèi)用戶(hù)的心智模型，積極提出建議，并評(píng)估人類(lèi)用戶(hù)的反饋來(lái)進(jìn)行價(jià)值調(diào)整。這些都需要機(jī)器對(duì)人類(lèi)用戶(hù)進(jìn)行復(fù)雜的心智建模，并具有即時(shí)更新模型的能力。

本文提出的XAI系統(tǒng)成功地證明了雙向人機(jī)價(jià)值對(duì)齊框架的可行性。從傾聽(tīng)者的角度來(lái)看，所有三個(gè)解釋組中的機(jī)器人都可以在游戲進(jìn)度達(dá)到25%時(shí)，通過(guò)對(duì)至少60%的目標(biāo)重要性進(jìn)行正確排序，快速與用戶(hù)的價(jià)值進(jìn)行對(duì)齊。從表達(dá)者的角度來(lái)看，通過(guò)提供適當(dāng)?shù)慕忉專(zhuān)瑱C(jī)器人可以向用戶(hù)說(shuō)明其意圖，并幫助人類(lèi)更好的感知機(jī)器人的價(jià)值，當(dāng)給機(jī)器提供”完整解釋“時(shí)，只需在游戲進(jìn)度達(dá)到50%時(shí)即可實(shí)現(xiàn)人類(lèi)用戶(hù)價(jià)值與機(jī)器人價(jià)值的統(tǒng)一，而當(dāng)只提供”簡(jiǎn)要解釋“時(shí)，游戲進(jìn)度需要達(dá)到75%時(shí)才能完成價(jià)值的統(tǒng)一。

我們從上述兩個(gè)角度得到了令人信服的證據(jù)，實(shí)現(xiàn)了雙向價(jià)值對(duì)齊的過(guò)程，具體來(lái)說(shuō)：

1. 通過(guò)接收人類(lèi)的反饋，機(jī)器人逐漸更新其價(jià)值函數(shù)來(lái)與人類(lèi)的價(jià)值保持一致；

2. 通過(guò)不斷地與機(jī)器人交互，人類(lèi)用戶(hù)逐漸形成對(duì)系統(tǒng)能力和意圖的感知。

雖然機(jī)器人系統(tǒng)的價(jià)值在游戲的上半場(chǎng)沒(méi)有與人類(lèi)用戶(hù)實(shí)現(xiàn)統(tǒng)一，但用戶(hù)對(duì)機(jī)器人價(jià)值評(píng)估能力的感知仍然可以提高。

最終，當(dāng)機(jī)器人的價(jià)值變得穩(wěn)定時(shí)，用戶(hù)對(duì)機(jī)器人的評(píng)估也變得穩(wěn)定。從機(jī)器人對(duì)用戶(hù)價(jià)值的評(píng)估到用戶(hù)價(jià)值的真實(shí)值，以及從用戶(hù)對(duì)機(jī)器人價(jià)值的評(píng)估到機(jī)器人當(dāng)前價(jià)值的收斂配對(duì)，形成了由用戶(hù)真實(shí)價(jià)值錨定的雙向價(jià)值對(duì)齊。

總的來(lái)說(shuō)，我們提出了一個(gè)雙向人機(jī)價(jià)值對(duì)齊框架，并使用XAI系統(tǒng)驗(yàn)證其可行性。我們提出的XAI系統(tǒng)表明，當(dāng)把心智理論集成到機(jī)器的學(xué)習(xí)模塊中，并向用戶(hù)提供適當(dāng)?shù)慕忉寱r(shí)，人類(lèi)和機(jī)器人能夠通過(guò)即時(shí)交互的方式實(shí)現(xiàn)心智模型的對(duì)齊。我們提出的計(jì)算框架通過(guò)促進(jìn)人和機(jī)器之間共享心智模型的形成，為解決本文的核心問(wèn)題"理想的人機(jī)協(xié)作應(yīng)該是什么樣的？"提供了全新的解答。

在這個(gè)游戲任務(wù)中，我們的工作側(cè)重于以?xún)r(jià)值和意圖為核心對(duì)心智進(jìn)行建模，對(duì)齊這些價(jià)值可以極大地幫助人類(lèi)和機(jī)器為面向任務(wù)的協(xié)作建立共同基礎(chǔ)，使其可以勝任更加復(fù)雜的場(chǎng)景何任務(wù)。因此，我們的工作是在人機(jī)協(xié)作中朝著更通用的心智模型對(duì)齊邁出的第一步。在未來(lái)的工作中，我們計(jì)劃探索哪些因素能夠進(jìn)一步增強(qiáng)人類(lèi)用戶(hù)信任（例如，允許對(duì)機(jī)器人進(jìn)行反事實(shí)查詢(xún)），驗(yàn)證"對(duì)齊"對(duì)任務(wù)性能的影響，并將我們的系統(tǒng)應(yīng)用于涉及更復(fù)雜環(huán)境和價(jià)值函數(shù)的任務(wù)。

在科幻電影《超能陸戰(zhàn)隊(duì)》中，有一個(gè)“大白”智能陪伴機(jī)器人，“大白”可以陪電影男主角一起學(xué)習(xí)、玩耍、做游戲，具有很高的實(shí)時(shí)互動(dòng)性。而當(dāng)電影男主角情緒失落時(shí)，“大白”還能“讀懂”他的情感價(jià)值需求，主動(dòng)安慰，給一個(gè)大大的擁抱。

“大白”其實(shí)是一個(gè)很智能的通用智能體。朱松純團(tuán)隊(duì)所在的北京通用人工智能研究院，聯(lián)合北京大學(xué)人工智能研究院等單位，致力追尋人工智能的統(tǒng)一理論與認(rèn)知架構(gòu)，實(shí)現(xiàn)具有自主的感知、認(rèn)知、決策、學(xué)習(xí)、執(zhí)行和社會(huì)協(xié)作能力，符合人類(lèi)情感、倫理與道德觀念的通用智能體。本研究從傳統(tǒng)AI的“數(shù)據(jù)驅(qū)動(dòng)”轉(zhuǎn)變?yōu)椤皟r(jià)值驅(qū)動(dòng)”，讓XAI系統(tǒng)理解了人類(lèi)價(jià)值觀，朝著通用人工智能邁出了一大步。

來(lái)源：圖靈人工智能   作者：東周

參考：AI智勝未來(lái)