「但我已經(jīng)老了，我所希望的是像你們這樣的年輕有為的研究人員，去想出我們?nèi)绾文軌驌碛羞@些超級(jí)智能，使我們的生活變得更好，而不是被它們控制。」

6 月 10 日，在 2023 北京智源大會(huì)的閉幕式演講中，在談到如何防止超級(jí)智能欺騙、控制人類(lèi)的話題時(shí)，今年 75 歲的圖靈獎(jiǎng)得主 Geoffrey Hinton 不無(wú)感慨地說(shuō)道。

Hinton 本次的演講題目為「通往智能的兩種道路」（Two Paths to Intelligence），即以數(shù)字形式執(zhí)行的不朽計(jì)算和依賴于硬件的可朽計(jì)算，它們的代表分別是數(shù)字計(jì)算機(jī)和人類(lèi)大腦。演講最后，他重點(diǎn)談到了大型語(yǔ)言模型（LLM）為他帶來(lái)的對(duì)超級(jí)智能威脅的擔(dān)憂，對(duì)于這個(gè)涉及人類(lèi)文明未來(lái)的主題，他非常直白地展現(xiàn)了自己的悲觀態(tài)度。

演講一開(kāi)始，Hinton 便宣稱，超級(jí)智能（superintelligence）誕生的時(shí)間可能會(huì)比他曾經(jīng)想象的早得多。這一觀察引出了兩大問(wèn)題：（1）人工神經(jīng)網(wǎng)絡(luò)的智能水平將會(huì)很快超越真實(shí)神經(jīng)網(wǎng)絡(luò)嗎？（2）人類(lèi)是否能保證對(duì)超級(jí) AI 的控制？在大會(huì)演講中，他詳細(xì)討論了第一個(gè)問(wèn)題；針對(duì)第二個(gè)問(wèn)題，Hinton 在演講的最后表示：超級(jí)智能可能將很快到來(lái)。

首先，讓我們來(lái)看看傳統(tǒng)的計(jì)算方式。計(jì)算機(jī)的設(shè)計(jì)原則是要能精準(zhǔn)地執(zhí)行指令，也就是說(shuō)如果我們?cè)诓煌挠布线\(yùn)行相同的程序（不管是不是神經(jīng)網(wǎng)絡(luò)），那么效果應(yīng)該是一樣的。這就意味著程序中包含的知識(shí)（如神經(jīng)網(wǎng)絡(luò)的權(quán)重）是不朽的，與具體的硬件沒(méi)有關(guān)系。

為了實(shí)現(xiàn)知識(shí)的不朽，我們的做法是以高功率運(yùn)行晶體管，使其能以數(shù)字化（digital）的方式可靠運(yùn)行。但這樣做的同時(shí)，我們就相當(dāng)于拋棄了硬件其它一些性質(zhì)，比如豐富的模擬性（analog）和高度的可變性。

傳統(tǒng)計(jì)算機(jī)之所以采用那樣的設(shè)計(jì)模式，是因?yàn)閭鹘y(tǒng)計(jì)算運(yùn)行的程序都是人類(lèi)編寫(xiě)的?，F(xiàn)在隨著機(jī)器學(xué)習(xí)技術(shù)的發(fā)展，計(jì)算機(jī)有了另一種獲取程序和任務(wù)目標(biāo)的方法：基于樣本的學(xué)習(xí)。

這種新范式讓我們可以放棄之前計(jì)算機(jī)系統(tǒng)設(shè)計(jì)的一項(xiàng)最基本原則，即軟件設(shè)計(jì)與硬件分離；轉(zhuǎn)而進(jìn)行軟件與硬件的協(xié)同設(shè)計(jì)。

軟硬件分離設(shè)計(jì)的優(yōu)點(diǎn)是能將同一程序運(yùn)行在許多不同的硬件上，同時(shí)我們?cè)谠O(shè)計(jì)程序時(shí)也能只看軟件，不管硬件 —— 這也是計(jì)算機(jī)科學(xué)系與電子工程系能夠分開(kāi)設(shè)立的原因。

而對(duì)于軟硬件協(xié)同設(shè)計(jì)，Hinton 提出了一個(gè)新概念：Mortal Computation。對(duì)應(yīng)于前面提到不朽形式的軟件，我們這里將其譯為「可朽計(jì)算」。

可朽計(jì)算是什么？

可朽計(jì)算放棄了可在不同硬件上運(yùn)行同一軟件的不朽性，轉(zhuǎn)而采納了新的設(shè)計(jì)思路：知識(shí)與硬件的具體物理細(xì)節(jié)密不可分。這種新思路自然也有優(yōu)有劣。其中主要的優(yōu)勢(shì)包括節(jié)省能源和低硬件成本。

在節(jié)能方面可以參考人腦，人腦就是一種典型的可朽計(jì)算裝置。雖然人腦中也依然有一個(gè)比特的數(shù)字計(jì)算，即神經(jīng)元要么****要么不****，但整體來(lái)說(shuō)，人腦的絕大多數(shù)計(jì)算都是模擬計(jì)算，功耗非常低。

可朽計(jì)算也可以使用更低成本的硬件。相較于現(xiàn)如今以二維模式高精度生產(chǎn)的處理器，可朽計(jì)算的硬件能以三維模式「生長(zhǎng)」出來(lái)，因?yàn)槲覀儾恍枰鞔_知道硬件的連接方式以及每個(gè)部件的確切功能。很顯然，為了實(shí)現(xiàn)計(jì)算硬件的「生長(zhǎng)」，我們需要很多新型納米技術(shù)或?qū)ι锷窠?jīng)元進(jìn)行基因改造的能力。改造生物神經(jīng)元的方法可能更容易實(shí)現(xiàn)，因?yàn)槲覀円呀?jīng)知道生物神經(jīng)元大致能夠完成我們想要的任務(wù)。

為了展示模擬計(jì)算的高效能力，Hinton 給出了一個(gè)示例：計(jì)算一個(gè)神經(jīng)活動(dòng)向量與一個(gè)權(quán)重矩陣的積（神經(jīng)網(wǎng)絡(luò)的大部分工作都是此類(lèi)計(jì)算）。

對(duì)于該任務(wù)，當(dāng)前計(jì)算機(jī)的做法是使用高功耗的晶體管將數(shù)值表示成數(shù)字化的比特形式，然后執(zhí)行 O (n2) 數(shù)字運(yùn)算將兩個(gè) n 比特的數(shù)值相乘。雖然這只是計(jì)算機(jī)上的單個(gè)運(yùn)算，但卻是 n2 個(gè)比特的運(yùn)算。

而如果使用模擬計(jì)算呢？我們可以將神經(jīng)活動(dòng)視為電壓，將權(quán)重視為電導(dǎo)；那么每一單位時(shí)間里，電壓乘以電導(dǎo)可得到電荷，電荷可以疊加。這種工作方式的能效會(huì)高很多，而且其實(shí)現(xiàn)在已經(jīng)存在這樣工作的芯片了。但很不幸，Hinton 表示，現(xiàn)在人們還是要使用非常昂貴的轉(zhuǎn)換器將模擬形式的結(jié)果轉(zhuǎn)換成數(shù)字形式。他希望以后我們能在模擬領(lǐng)域完成整個(gè)計(jì)算過(guò)程。

可朽計(jì)算也面臨著一些問(wèn)題，其中最主要的是難以保證結(jié)果的一致性，即在不同硬件上的計(jì)算結(jié)果可能會(huì)有所差別。另外，在反向傳播不可用的情況下，我們還需要找到新方法。