以下文章來(lái)源于AI科技評(píng)論 ，作者青暮、眉釘

諸如《星際爭(zhēng)霸》等復(fù)雜游戲，是AI模擬現(xiàn)實(shí)的絕佳場(chǎng)景。

如果AI在復(fù)雜的環(huán)境中，學(xué)會(huì)和人一樣實(shí)時(shí)感知、分析、理解、推理、決策并行動(dòng)，那么就可能在多變、復(fù)雜的現(xiàn)實(shí)環(huán)境中發(fā)揮更大的作用。

近年來(lái)，從國(guó)際象棋、德州****到《星際爭(zhēng)霸》，基于強(qiáng)化學(xué)習(xí)（reinforcement learning ）算法的AI智能體早已達(dá)到人類(lèi)頂級(jí)玩家水平。如DeepMind出品的AlphaStar早已在國(guó)際排位賽中達(dá)到宗師水平，完敗99.8％的人類(lèi)。

但在這些游戲中，AI與人類(lèi)都表現(xiàn)為”對(duì)抗關(guān)系”

如果讓AI與人類(lèi)“配合”打游戲，強(qiáng)化學(xué)習(xí)智能體能成為一個(gè)“好隊(duì)友”嗎？

最近，麻省理工林肯實(shí)驗(yàn)室研究團(tuán)隊(duì)在arXiv提交了一篇新論文《Evaluation of Human-AI Teams for Learned and Rule-Based Agents in Hanabi》，論文表明，盡管強(qiáng)化學(xué)習(xí)智能體在Go、星際爭(zhēng)霸等競(jìng)爭(zhēng)性游戲表現(xiàn)相當(dāng)優(yōu)異，但它們與人類(lèi)合作玩游戲時(shí)，在簡(jiǎn)單的紙牌游戲中表現(xiàn)都很“糟糕”。

論文地址：https://arxiv.org/pdf/2107.07630.pdf

在這項(xiàng)研究中，研究團(tuán)隊(duì)評(píng)估了基于規(guī)則和基于學(xué)習(xí)的兩類(lèi)AI智能體，在紙牌游戲（Hanabi）中與人類(lèi)合作的表現(xiàn)，通過(guò)游戲分?jǐn)?shù)、團(tuán)隊(duì)績(jī)效、可解釋性、信任度和總體偏好等指標(biāo)測(cè)量，他們發(fā)現(xiàn)，在幾乎所有主觀指標(biāo)中，人類(lèi)對(duì)基于規(guī)則的智能體隊(duì)友的“好感”明顯高于基于學(xué)習(xí)的智能體，而且對(duì)后者大多持負(fù)面評(píng)價(jià)。

作者表示，雖然強(qiáng)化學(xué)習(xí)智能體在對(duì)抗性游戲中創(chuàng)造了超人AI，但人類(lèi)不該理所當(dāng)然地認(rèn)為RL系統(tǒng)在所有應(yīng)用中都能表現(xiàn)優(yōu)越，在目前的技術(shù)水平下，基于學(xué)習(xí)的智能體要想成為人機(jī)互動(dòng)的最佳“隊(duì)友”并不那么容易。

同時(shí)，論文中也強(qiáng)調(diào)雖然最終游戲得分幾乎沒(méi)有差別，但我們應(yīng)該將主觀評(píng)價(jià)納入智能體的的考核標(biāo)準(zhǔn)，而不是單一地關(guān)注客觀任務(wù)績(jī)效。

1、RL智能在“人機(jī)合作”中有多菜？

強(qiáng)化學(xué)習(xí)（reinforcement learning）是訓(xùn)練AI智能體最常用的算法，它為智能體在游戲場(chǎng)景中提供了更靈活的動(dòng)作，接收環(huán)境信息的反饋機(jī)制以及作戰(zhàn)目標(biāo)，如今基于強(qiáng)化學(xué)習(xí)的智能體已經(jīng)不再需要人類(lèi)玩家的游戲數(shù)據(jù)，而是可以在自我游戲模式下從頭開(kāi)始訓(xùn)練。

在棋盤(pán)游戲、街機(jī)游戲、實(shí)時(shí)戰(zhàn)略游戲、多人作戰(zhàn)以及模擬空中格斗等游戲中，RL智能體的表現(xiàn)已經(jīng)達(dá)到了人類(lèi)玩家的水平，甚至碾壓頂級(jí)職業(yè)玩家。一個(gè)典型的例子是在AlphaGo與頂級(jí)圍棋選手李世石的對(duì)戰(zhàn)賽中，智能體憑借一步精絕之棋，扭轉(zhuǎn)局面首戰(zhàn)人類(lèi)！

然而，RL智能體在以上游戲中的優(yōu)勢(shì)都是在純粹的對(duì)抗性、單人或雙人游戲中進(jìn)行的。要想將智能體的AI能力擴(kuò)展到現(xiàn)實(shí)世界，還必須能夠展示團(tuán)隊(duì)智能，特別是與人類(lèi)隊(duì)友合作的團(tuán)隊(duì)智能。

論文作者Ross Allen表示，現(xiàn)實(shí)世界中的復(fù)雜性、不確定性、數(shù)據(jù)稀缺性以及決策周期和目標(biāo)定位都是智能體面臨的難題。盡管如此，智能體依然需要與人類(lèi)協(xié)作，解決現(xiàn)實(shí)世界中深度學(xué)習(xí)應(yīng)用的技術(shù)壁壘。

需要強(qiáng)調(diào)的是，不同于智能體之間的協(xié)作，要想與人類(lèi)達(dá)成有效合作，AI隊(duì)友需要表現(xiàn)出適當(dāng)水平的人類(lèi)反應(yīng)，比如信任、精神負(fù)荷和風(fēng)險(xiǎn)感知等?？紤]本次研究目的是評(píng)估在不完全信息博弈中的人工智能團(tuán)隊(duì)的合作，不僅要考慮到人類(lèi)AI團(tuán)隊(duì)的客觀表現(xiàn)，而且考慮到不同類(lèi)型的人工智能隊(duì)友工作時(shí)的主觀人類(lèi)反應(yīng)和偏好。

在諸多游戲中，研究人員最終挑選了紙牌游戲Hanabi（花火）用于實(shí)驗(yàn)。紙牌游戲規(guī)則簡(jiǎn)單，又需要在限信息內(nèi)充分發(fā)揮合作優(yōu)勢(shì)。Allen表示，“在解決現(xiàn)實(shí)世界中的問(wèn)題時(shí)，最好從簡(jiǎn)單的做法開(kāi)始做起” 。近年來(lái)，很多研究團(tuán)隊(duì)基于Hanabi游戲開(kāi)發(fā)智能體，其中部分智能體是基于符號(hào)AI，部分使用強(qiáng)化學(xué)習(xí)。

Hanabi需要兩到五名玩家按照特定的順序合作玩牌，玩家們向后舉牌，相互不能面對(duì)面，但每個(gè)隊(duì)員都可以看到彼此卡片。玩家可以使用有限數(shù)量的令牌來(lái)提供卡片線索，但只能利用從隊(duì)友手中看到的信息和自己手上的有限線索來(lái)制定取勝策略。

作者采取了三種游戲模式：一是自我游戲，即智能體用自己的副本參與游戲 ；二是交叉游戲，智能體需要與其他類(lèi)型的智能體合作 ；三是與人類(lèi)合作玩游戲，也就是交叉游戲。Allen表示，與人類(lèi)的交叉游戲(也稱為人類(lèi)游戲)尤其重要，它衡量了人機(jī)合作，也是論文中實(shí)驗(yàn)的基礎(chǔ)。

為了測(cè)試人類(lèi)與人工智能合作的效率，作者選擇了目前性能最佳的兩款智能體SmartBot（SB）和Other-Play（OP），前者是在自我游戲中表現(xiàn)最佳且基于規(guī)則的人工智能系統(tǒng)，后者是在交叉游戲中排名最高的基于學(xué)習(xí)的人工智能系統(tǒng)。

在人類(lèi)與AI隊(duì)友的Hanabi游戲中，玩家可以同時(shí)接觸到SmartBot和Other-Play，但不會(huì)知道是具體是哪種算法在運(yùn)作。Allen表示結(jié)果令我們大吃一驚，“人類(lèi)對(duì)基于學(xué)習(xí)的智能體合作評(píng)價(jià)非常負(fù)面，可以說(shuō)他們討厭與它合作”。

根據(jù)對(duì)人類(lèi)參與者的調(diào)研，與基于規(guī)則的SmartBot智能體相比，基于學(xué)習(xí)的Other-Play在體驗(yàn)感上更差一些。在紙牌游戲中，向其他玩家提供"微妙暗示"的技巧是團(tuán)隊(duì)取勝的關(guān)鍵之一。比如，桌子上有一張“方塊之一”牌，你的隊(duì)友手里拿著兩個(gè)方塊。通過(guò)指著牌說(shuō)“ 這是一個(gè)2 ”或“這是一個(gè)正方形”，你隱隱地暗示隊(duì)友打出這張牌，但沒(méi)有向他提供這張牌的完整信息，如果是有經(jīng)驗(yàn)的玩家就會(huì)立即頓悟，但如果是向AI隊(duì)友提供這樣的信息，不會(huì)得到任何反饋。

2、基于“規(guī)則”的智能體表現(xiàn)更好

研究人員從客觀和主觀兩方面評(píng)價(jià)了人工智能的合作水平?？陀^指標(biāo)包括分?jǐn)?shù)、錯(cuò)誤率等；主觀指標(biāo)包括人類(lèi)玩家的體驗(yàn)：對(duì)AI隊(duì)友的信任度和適應(yīng)度，以及AI理解動(dòng)機(jī)和預(yù)測(cè)行為的能力。

實(shí)驗(yàn)的結(jié)果表明，盡管兩個(gè)智能體的合作在客觀績(jī)效方面沒(méi)有顯著差異，但主觀指標(biāo)顯示，與基于學(xué)習(xí)的代理相比，人類(lèi)明顯更喜歡基于規(guī)則的智能體。在論文中，作者對(duì)大多數(shù)圖進(jìn)行了著色，以顯示與數(shù)據(jù)相關(guān)的參與者的自我評(píng)價(jià)和體驗(yàn)水平。

如下圖顯示了智能體類(lèi)型（左）和自評(píng)玩家體驗(yàn)（右）的游戲分?jǐn)?shù)，可以看出，當(dāng)與任一智能體合作時(shí)，未發(fā)現(xiàn)顯著差異，與自評(píng)體驗(yàn)的相關(guān)性僅在SmartBot游戲中顯著。

由于分?jǐn)?shù)是紙牌游戲的主要性能指標(biāo)，也是RL智能體的獎(jiǎng)勵(lì)函數(shù)，因此作者研究了分?jǐn)?shù)與其他一些相關(guān)性。結(jié)果顯示自評(píng)經(jīng)驗(yàn)和得分在匯集兩位智能體的游戲時(shí)，呈現(xiàn)顯著的正相關(guān)（p=0.0053，r=0.214）。SB智能體在游戲子集的相關(guān)性仍然顯著（p=0.0023，r=0.247），但OP智能體的游戲相關(guān)性不顯著（p=0.0867，r=0.1881），這表明對(duì)于該雙變量分析來(lái)說(shuō)，經(jīng)驗(yàn)僅與SB的得分相關(guān)，而與OP無(wú)關(guān)。

此外，團(tuán)隊(duì)績(jī)效（G3、G4）和得分（p=0.0003，r=0.275和p=0.0002，r=0.280）之間也發(fā)現(xiàn)了顯著的正相關(guān)。但智能體的自我績(jī)效（G1、G2）與得分沒(méi)有顯著相關(guān)性。

下圖為人類(lèi)玩家賽后對(duì)智能體表現(xiàn)的情緒測(cè)量，在所有智能體類(lèi)型與紙牌游戲交互充分的情況下，經(jīng)驗(yàn)更豐富的人類(lèi)玩家對(duì)Other-Play智能體的評(píng)價(jià)要比SmartBot負(fù)面得多，而新手玩家對(duì)這兩個(gè)智能體的評(píng)價(jià)相似，SmartBot代理的新手和專(zhuān)家評(píng)分之間沒(méi)有顯著差異。

在實(shí)驗(yàn)分析中，作者將參與者分為“新手”（n=10，自評(píng)經(jīng)驗(yàn)≤ 5） 和“專(zhuān)家”（n=19，自評(píng)經(jīng)驗(yàn)>5）兩組，并在交互作用顯著的情況下（G3、G5、G7、G8、G9），對(duì)每種參與者的感受指標(biāo)進(jìn)行比較。

實(shí)驗(yàn)顯示，兩組對(duì)某人的評(píng)價(jià)沒(méi)有顯著差異，但專(zhuān)家們對(duì)OP的評(píng)價(jià)總是比新手差。G3“團(tuán)隊(duì)表現(xiàn)良好”（t（85）=3.551，p<0.001，效應(yīng)大小d=0.752）的評(píng)價(jià)差異沒(méi)有其他組（t（85）=5.068到5.855，p<0.0001，| d |>1.0）的大，但所有組都很顯著。

可以注意到，有三名參與者在OP中獲得24分，其中一名參與者兩次獲得24分（沒(méi)有參與者在OP中獲得25分）。對(duì)于問(wèn)題E1，三人的評(píng)價(jià)都在Likert量表的最末端回答，并傾向于選擇SB。

有趣的是，他們對(duì)OP和SB的累積分?jǐn)?shù)分別為：參與者6（先玩OP，自評(píng)經(jīng)驗(yàn)為7）：57和28；參與者19（SB優(yōu)先，經(jīng)驗(yàn)7）：68和48；參與者20（OP優(yōu)先，體驗(yàn)6）：70和35。其中，累積分?jǐn)?shù)最高的參與者的分?jǐn)?shù)分別為68（OP）和54（SB），并且首選Likert評(píng)分為6的SB。

參與者評(píng)論指出，與OP合作時(shí)的低腦力負(fù)荷通常是由于對(duì)智能體感到沮喪并放棄與它合作而造成的。例如，在OP智能體未能根據(jù)人類(lèi)發(fā)出的幾條提示采取行動(dòng)（“我給了它信息，它卻把它扔掉了，不知道該如何與智能體合作”）。

此外，在下圖的實(shí)驗(yàn)后的問(wèn)題測(cè)量圖中，除E8外，所有人對(duì)基于規(guī)則的智能機(jī)器人都表現(xiàn)出統(tǒng)計(jì)上的顯著偏好（p<0.05）。

3、強(qiáng)化學(xué)習(xí)與現(xiàn)實(shí)世界的距離

這項(xiàng)研究測(cè)量了人類(lèi)與智能體混合團(tuán)隊(duì)在紙牌游戲Hanabi中的游戲性能和反應(yīng)，比較了人類(lèi)與基于規(guī)則的智能體協(xié)作和與基于強(qiáng)化學(xué)習(xí)的智能體協(xié)作的結(jié)果。盡管在這些團(tuán)隊(duì)之間取得了相似的分?jǐn)?shù)，但人類(lèi)玩家強(qiáng)烈傾向于與基于規(guī)則的智能體合作，并且對(duì)另一個(gè)游戲代理持否定態(tài)度，理由是人類(lèi)玩家對(duì)后者的理解、信任、適應(yīng)度和感知能力體驗(yàn)較差。

智能體與人類(lèi)合作的能力是決定它們是否能夠在部署到現(xiàn)實(shí)世界的一個(gè)重要因素。這些結(jié)果表明，即使是最先進(jìn)的RL智能體在很大程度上也無(wú)法讓人類(lèi)相信它們是”好隊(duì)友”。

研究表明，智能體在’自我游戲’和‘交叉游戲’中的任務(wù)表現(xiàn)，可能與人類(lèi)的信任和偏好無(wú)關(guān)?？紤]到訓(xùn)練基于RL的智能體需要大量數(shù)據(jù)，作者認(rèn)為，想要訓(xùn)練能夠與人類(lèi)搭檔的RL智能體，需要找到可訓(xùn)練的目標(biāo)函數(shù)，即符合“人類(lèi)偏好”，或與人類(lèi)偏好密切相關(guān)的目標(biāo)。

論文中也強(qiáng)調(diào)，這項(xiàng)研究結(jié)果無(wú)法推演到其他環(huán)境、游戲或領(lǐng)域中，實(shí)驗(yàn)不可避免地存在一些局限性，比如受試者數(shù)量較少(29名參與者)，且傾向于精通紙牌游戲的人——他們對(duì)AI隊(duì)友有預(yù)先設(shè)定的行為期望，更有可能因?yàn)镽L智能體的古怪行為而產(chǎn)生負(fù)面體驗(yàn)。

但作者在論文中也表示， “如果最先進(jìn)的 RL 智能體都不能在規(guī)則簡(jiǎn)單的紙牌游戲中成為優(yōu)秀的協(xié)作者，當(dāng)相同的強(qiáng)化學(xué)習(xí)技術(shù)應(yīng)用在更復(fù)雜、更微妙、后果導(dǎo)向性更強(qiáng)的現(xiàn)實(shí)世界又會(huì)如何？毫無(wú)疑問(wèn)，如果要在真實(shí)世界中采用強(qiáng)化學(xué)習(xí)智能體，人類(lèi)對(duì)AI的感知在未來(lái)AI設(shè)計(jì)和開(kāi)發(fā)中需要得到更多的考慮。

原文鏈接：

https://bdtechtalks.com/2021/11/01/reinforcement-learning-hanabi/