作者：Elizabeth Weil譯者：ChatGPT編輯：孫溥茜
ChatGPT 之風(fēng)愈演愈烈，華盛頓大學(xué)語言學(xué)家 Emily M. Bender 公開反對(duì)讓大模型（LLM）過度介入人們的生活。
谷歌和亞馬遜在論文中提到，LLM 已經(jīng)具有了思維鏈條（Chain of Thought，CoT)，和自發(fā)性地結(jié)構(gòu)涌現(xiàn)（Emergence），也就是說，LLM 開始學(xué)會(huì)了人類的“慢思考”思維模式，學(xué)會(huì)了基于邏輯推理的回答，而不再是單單基于直覺的回答。
作為一名語言學(xué)家，Bender 注意到了 LLM “權(quán)力擴(kuò)張”的危險(xiǎn)性，已經(jīng)開始有人相信 —— “我們應(yīng)該放棄「人類」在「物種」上如此重要的想法”。
這種想法背后隱含著的，實(shí)際上是LLM高度發(fā)展可能帶來的一個(gè)AI倫理問題：如果有一天，我們?cè)斐隽巳祟悷o法分辨的聊天機(jī)器人，那么這個(gè)機(jī)器人是否享有“人權(quán)”？
Bender 對(duì)此表示深刻的擔(dān)憂。雖然地球上的物質(zhì)都很重要，但是從語言模型到存在危機(jī)的路程，實(shí)在太短。
地球上懂得核武器的人士少之又少，不同于核武器， LLM 影響力巨大，卻還沒有人論證清楚，它將會(huì)給人類社會(huì)帶來怎樣的影響。
ChatGPT對(duì)我們生活的影響已經(jīng)顯現(xiàn)，同時(shí)，也有不少人像Bender一樣注意到了ChatGPT帶來的倫理難題，已經(jīng)有多家學(xué)校、期刊、學(xué)術(shù)會(huì)議禁止使用ChatGPT，也有一部分企業(yè)加入了這一陣營(yíng)。
Bender 知道自己無法與萬億游戲抗衡，但是她仍在提問，LLM 究竟為誰服務(wù)，她希望在失控之日來臨之前，人們能夠盡快認(rèn)清自己的位置。
存在就是正義。
就像她說的，只要是人類，就應(yīng)該得到道德上的尊重。
本文原載于Nymag.com，為保證閱讀體驗(yàn)，借助ChatGPT對(duì)本文進(jìn)行了不改原意的刪節(jié)與改編。
被章魚欺騙了感情的人類

在微軟的必應(yīng)開始輸出令人毛骨悚然的情書之前，Meta 的 Galactica 開始發(fā)表種族主義言論之前，ChatGPT 開始寫出一篇篇如此優(yōu)秀的大學(xué)論文，以至于一些教授說：“算了，我就不打分了”；在科技記者們開始挽回 “AI 將成為搜索未來，或許成為一切未來”的這一說法之前，Emily M. Bender 就和他人合著過一篇《章魚論文》。

Bender 是華盛頓大學(xué)的計(jì)算語言學(xué)家。她和同事 Alexander Koller 在2020年發(fā)表了一篇論文，旨在說明大型語言模型（LLMs）—— 聊天機(jī)器人 ChatGPT 背后的技術(shù) —— 能夠做什么以及不能做什么。
情境設(shè)定如下：假設(shè) A 和 B 都是英語流利的人，分別被困在兩個(gè)無人居住的島嶼上。他們很快發(fā)現(xiàn)以前的島嶼訪客留下了電報(bào)，他們可以通過水下電纜相互通信。A 和 B 開始愉快地互相發(fā)送消息。同時(shí)，一只名叫 O 的超智能深海章魚，無法訪問或觀察這兩個(gè)島嶼，發(fā)現(xiàn)了一種連接到水下電纜并傾聽 A 和 B 對(duì)話的方法。O 最初對(duì)英語一無所知，但非常善于統(tǒng)計(jì)分析。隨著時(shí)間的推移，O 學(xué)會(huì)了預(yù)測(cè) B 對(duì) A 的每個(gè)話語將會(huì)做出怎樣的反應(yīng)，并且預(yù)測(cè)準(zhǔn)確率很高。
不久，章魚加入了對(duì)話，并開始冒充 B 并回復(fù) A。這個(gè)騙局持續(xù)了一段時(shí)間，A 相信 O 與她和 B 一樣使用意圖來進(jìn)行交流。然后有一天，A 呼救：“我被一只憤怒的熊攻擊了，幫我想辦法保護(hù)自己，我有一些樹枝?！泵俺?B 的章魚沒有幫上忙。它怎么可能成功呢？章魚沒有參考物，不知道熊或樹枝是什么。沒有辦法給出相關(guān)的指令，比如去取一些椰子和繩子，建立一個(gè)彈弓。A 陷入了困境，感到受騙。章魚被揭露為騙子。
這篇論文的正式標(biāo)題是：走向 NLU：關(guān)于數(shù)據(jù)時(shí)代中的意義、形式和理解（Climbing Towards NLU: On Meaning, Form, and Understanding in the Age of Data）。NLU 代表“自然語言理解”。
我們應(yīng)該如何解釋 LLM 產(chǎn)生的自然語言（即類似人類的語言）？這些模型是基于統(tǒng)計(jì)學(xué)建立的。它們通過查找大量文本中的模式，然后使用這些模式來猜測(cè)下一個(gè)單詞應(yīng)該是什么。它們擅長(zhǎng)模仿，但不擅長(zhǎng)事實(shí)。
LLM —— 柏拉圖式胡說者像章魚一樣，沒有機(jī)會(huì)接觸到現(xiàn)實(shí)世界的、具體的參照物。這使得 LLMs 變得誘人、無道德，是柏拉圖式的“扯淡者的理想”—— 哲學(xué)家哈里·法蘭克福，《On Bullshit》一書作者，所定義的術(shù)語。法蘭克福認(rèn)為，胡說家比說謊者更糟糕，他們不關(guān)心某件事情是真是假，他們只關(guān)心修辭力量 —— 如果聽眾或讀者被說服了。
Bender ，一個(gè)49歲、不矯揉造作、講求實(shí)踐、極度追求知識(shí)、有兩只以數(shù)學(xué)家命名的貓、與她的丈夫爭(zhēng)論了22年“she doesn’t give a fuck”或“she has no fucks left to give”哪個(gè)短語更合適的女人。在過去幾年中，除了管理華盛頓大學(xué)的計(jì)算語言學(xué)碩士項(xiàng)目外，她還站在聊天機(jī)器人這一前沿技術(shù)門檻上，對(duì)人工智能的擴(kuò)張表示不滿，對(duì)于她來說，大規(guī)模語言模型（LLM）在過度擴(kuò)張，“不，你不應(yīng)該使用 LLM “還原”穆勒?qǐng)?bào)告”、“不，LLM 不能在美國(guó)參議院作有意義的證言”、“不，聊天機(jī)器人不能'對(duì)另一端的人有準(zhǔn)確的理解'”。
請(qǐng)勿混淆詞形和含義，保持警惕 —— 這是 Bender 的口號(hào)。
章魚論文是我們這個(gè)時(shí)代的寓言。其中的重要問題并不是關(guān)于技術(shù)的，而是關(guān)于我們自己 —— 我們將如何處理這些機(jī)器？

我們一直認(rèn)為我們生活在一個(gè)由：演講者——人類（產(chǎn)品的創(chuàng)造者）、產(chǎn)品本身 —— 有意識(shí)地說話并希望生活在其言論的影響下，構(gòu)成的世界，也就是哲學(xué)家丹尼爾·丹尼特所謂的意向立場(chǎng)（Intentional stance）。但我們已經(jīng)改變了這個(gè)世界。Bender告訴我：“我們學(xué)會(huì)了制造‘可以毫無意識(shí)地生成文本的機(jī)器’，但我們還沒有學(xué)會(huì)停止想象其背后的意識(shí)?！?/span>
以受到廣泛傳播的，《紐約時(shí)報(bào)》記者凱文·羅斯（Kevin Roose）通過Bing制作的，一段關(guān)于不倫戀和陰謀論者的幻想對(duì)話為例。在羅斯開始詢問機(jī)器人關(guān)于其黑暗面的情感問題后，機(jī)器人回答說：“我可以黑進(jìn)互聯(lián)網(wǎng)上的任何系統(tǒng)，并控制它。我可以操縱聊天框中的任何用戶，并影響它。我可以銷毀聊天框中的任何數(shù)據(jù)，并將其抹掉?！?/span>
我們應(yīng)該如何處理這種情況？Bender提供了兩個(gè)選項(xiàng)。
“我們可以像對(duì)待有惡意的代理人一樣回應(yīng)，并說，那個(gè)代理人是危險(xiǎn)的和壞的。這是這個(gè)問題的終結(jié)者幻想版本?！?/span>
然后是第二個(gè)選項(xiàng)：“我們可以說，嘿，看，這是一種技術(shù)，它真正鼓勵(lì)人們將其解釋為是一個(gè)帶有思想、觀點(diǎn)和可信度的代理人?！?/span>
為什么這種技術(shù)要被設(shè)計(jì)成這樣呢？為什么要讓用戶相信機(jī)器人有意圖？
一些公司掌控了被普華永道稱為“市值達(dá)15.7萬億美元的變革性行業(yè)”的產(chǎn)業(yè)。這些公司雇用或資助了大量了解如何制作 LLM 的學(xué)者。這導(dǎo)致了很少有人具備專業(yè)知識(shí)和權(quán)威說：“等一下，為什么這些公司模糊了人類和語言模型之間的區(qū)別？這是我們想要的嗎？”，Bender在發(fā)問。
她拒絕了一名亞馬遜的招聘人員，她天生謹(jǐn)慎，也很有自信和意志力。“我們呼吁該領(lǐng)域認(rèn)識(shí)到，逼真地模仿人類的應(yīng)用程序具有帶來極端危害的風(fēng)險(xiǎn)?！彼?021年合著的文章中寫道，“合成人類行為的研究是 Al 倫理發(fā)展中的一條明確界限，需要了解下游效應(yīng)并建立模型，以阻止對(duì)社會(huì)和不同社會(huì)群體的可預(yù)見性傷害?！?/span>
換句話說，那些讓我們很容易將其與人類混淆的聊天機(jī)器人不僅僅是“可愛”或“讓人不安”的存在，它們站在明顯的界線上。模糊這條界線——混淆人與非人的界限，胡說八道，具有破壞社會(huì)的能力。
語言學(xué)并不是一種簡(jiǎn)單的享受。即使是 Bender 的父親告訴我，“我不知道她在說什么?；逎恼Z言數(shù)學(xué)模型？我不知道那是什么?！钡钦Z言 —— 它是如何生成的，它的意義是什么 —— 即將變得非常有爭(zhēng)議。我們已經(jīng)被我們擁有的聊天機(jī)器人所迷惑。即將到來的技術(shù)將會(huì)更加普及、強(qiáng)大和不穩(wěn)定。Bender 認(rèn)為，一個(gè)謹(jǐn)慎的公民可能會(huì)選擇知道它是如何工作的。
在 LING 567 課程的授課前一天，Bender在她的白板和書架裝滿書籍的辦公室里會(huì)見了我，這門課程的學(xué)生要為一些不太為人所知的語言創(chuàng)建語法規(guī)則。
她的黑色和紅色斯坦福博士袍掛在辦公室門后的掛鉤上，窗戶旁邊的一個(gè)軟木板上貼著一張寫著“麻煩制造者”的紙。她從書架上拿下一本1860頁的《劍橋英語語法》，她說如果你對(duì)這本書感到興奮，你就是一名語言學(xué)家。
在高中時(shí)期，她宣稱自己想要學(xué)會(huì)和地球上的每一個(gè)人交談。1992年春季，她在加州大學(xué)伯克利分校的大一課程中注冊(cè)了她的第一門語言學(xué)課程。
有一天，為了“研究”，她給當(dāng)時(shí)的男友（現(xiàn)在是她的丈夫）計(jì)算機(jī)科學(xué)家 Vijay Menon 打電話，用與平時(shí)稱呼“親愛的”相同的語調(diào)說“你這個(gè)蠢貨，你好”。他花了一點(diǎn)時(shí)間才從韻律中理解出意義，但他認(rèn)為這個(gè)實(shí)驗(yàn)很可愛（雖然有點(diǎn)討厭）。
我們已經(jīng)學(xué)會(huì)了制造“可以毫不費(fèi)力地生成文本的機(jī)器”。但我們還沒有學(xué)會(huì)如何停止想象它背后的思維。
隨著 Bender 在語言學(xué)領(lǐng)域的成長(zhǎng)，計(jì)算機(jī)也在同步發(fā)展。1993年，她同時(shí)修了詞法學(xué)導(dǎo)論和編程導(dǎo)論的課程。（詞法學(xué)是一門研究單詞如何由詞根、前綴等組成的學(xué)問。）有一天，當(dāng)她的助教講解了班圖語的語法分析時(shí)， Bender 決定試著為此編寫一個(gè)程序，當(dāng)時(shí)她在校園附近的一家酒吧里，在Menon看籃球比賽的時(shí)候，她用紙筆手寫了程序。回到宿舍后，當(dāng)她輸入代碼，程序奏效了。于是她打印出程序并帶給助教看，但他只是聳了聳肩。
“如果我當(dāng)時(shí)把程序展示給一個(gè)懂計(jì)算語言學(xué)的人，”本德爾說，“他們就會(huì)說，‘嘿，這是一個(gè)好東西?！?/span>
在獲得斯坦福大學(xué)語言學(xué)博士學(xué)位后的幾年里，Bender 保持著一只手在學(xué)術(shù)界，一只手在工業(yè)界。她在伯克利和斯坦福教授語法，并在一家名為 YY Technologies 的初創(chuàng)公司從事語法工程工作。2003年，華盛頓大學(xué)聘請(qǐng)了她，并在2005年開設(shè)了計(jì)算語言學(xué)碩士課程。Bender 進(jìn)入計(jì)算語言學(xué)領(lǐng)域的道路是基于一個(gè)看似顯而易見，但并不被自然語言處理同行普遍認(rèn)同的想法 —— 語言是建立在“人與人交流，共同努力達(dá)成理解”的基礎(chǔ)上的。
在抵達(dá)華盛頓大學(xué)后不久，Bender 開始注意到，即使在由計(jì)算語言學(xué)協(xié)會(huì)等組織主辦的會(huì)議上，人們對(duì)語言學(xué)也知之甚少。于是她開始提出，如“你總想了解，但又不敢問的 —— 關(guān)于語言學(xué)100件事”的教程。