AI 大牛吳恩達(dá)的學(xué)生、機(jī)器人學(xué)習(xí)專家、UC 伯克利教授 Pieter Abbeel 摘得了最新一屆 ACM 計算獎的榮譽(yù)。

剛剛，ACM 官方宣布將 2021 ACM 計算獎（ACM Prize in Computing）授予加州大學(xué)伯克利分校教授 Pieter Abbeel，以表彰他在機(jī)器人學(xué)習(xí)方面的貢獻(xiàn)，包括從演示中學(xué)習(xí)和用于機(jī)器人控制的深度強(qiáng)化學(xué)習(xí)。

在獲獎公告中，ACM 提到：「Abbeel 率先教會機(jī)器人從人類演示中學(xué)習(xí)（學(xué)徒學(xué)習(xí)）和通過自己的反復(fù)試錯學(xué)習(xí)（強(qiáng)化學(xué)習(xí)），這為下一代機(jī)器人技術(shù)奠定了基礎(chǔ)。」

ACM 計算獎設(shè)立于 2007 年，由 IT 巨頭 Infosys 贊助，獎金為 25 萬美元，旨在表彰在職業(yè)生涯早期到中期在計算領(lǐng)域做出基本創(chuàng)新貢獻(xiàn)的研究者，這些貢獻(xiàn)通過其深度和廣泛的影響體現(xiàn)了該學(xué)科的最高成就。

過往獲獎?wù)甙ü雀?AI 負(fù)責(zé)人 Jeff Dean、AlphaGo 之父 David Silver、量子計算先驅(qū) Scott Aaronson 等著名計算機(jī)科學(xué)家。

Abbeel 將于今年 6 月 11 日在舊金山舉行的 ACM 年度頒獎晚宴上正式獲頒 ACM 計算獎。

伯克利大牛 Pieter Abbeel 的研究貢獻(xiàn)

Pieter Abbeel 現(xiàn)為加州大學(xué)伯克利分校計算機(jī)科學(xué)與電氣工程教授，也是人工智能機(jī)器人公司 Covariant 的聯(lián)合創(chuàng)始人、總裁兼首席科學(xué)家。Abbeel 在比利時魯汶大學(xué)獲得電氣工程學(xué)士學(xué)位，并在斯坦福大學(xué)獲得計算機(jī)科學(xué)碩士和博士學(xué)位（師從吳恩達(dá)）。

Abbeel 曾獲得多項榮譽(yù)，包括美國科學(xué)家及工程師總統(tǒng)早期職業(yè)獎、美國國家科學(xué)基金會早期職業(yè)發(fā)展計劃獎和 Diane McEntyre 卓越教學(xué)獎。此外，Abbeel 還被 MIT Technology Review 評為 35 歲以下杰出青年創(chuàng)新者，并獲得了機(jī)器人與自動化領(lǐng)域的 Dick Volz 最佳美國博士論文獎。同時，Abbeel 也是 IEEE Fellow。

在職業(yè)生涯的早期，Abbeel 開發(fā)了新的學(xué)習(xí)技術(shù)，以顯著改善機(jī)器人操作。隨著該領(lǐng)域的成熟，研究人員能夠?qū)C(jī)器人進(jìn)行編程，以使其感知、操縱木塊或勺子等剛性物體。然而，通過編程讓機(jī)器人操縱可變形物體（例如布）相對來說較為困難，因為軟性材料在被觸摸時的移動方式是不可預(yù)測的。Abbeel 引入了增強(qiáng)機(jī)器人視覺感知、基于物理的跟蹤、控制和從演示中學(xué)習(xí)的新方法。通過結(jié)合這些新方法，Abbeel 開發(fā)了一種能夠折疊毛巾和襯衫等衣服的機(jī)器人，這在當(dāng)時被認(rèn)為是一個重要的里程碑。

Abbeel 的貢獻(xiàn)還包括開發(fā)能進(jìn)行手術(shù)縫合、物體檢測以及在不確定環(huán)境下規(guī)劃軌跡的機(jī)器人。最近，他開創(chuàng)了「少樣本模仿學(xué)習(xí)」，即先讓機(jī)器人接受大量相關(guān)任務(wù)演示的預(yù)訓(xùn)練，然后使其僅通過一次演示就學(xué)會執(zhí)行一項任務(wù)。

Abbeel 做出重要貢獻(xiàn)的另一個方向是機(jī)器人深度強(qiáng)化學(xué)習(xí)。強(qiáng)化學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個領(lǐng)域，在該領(lǐng)域中，智能體在獎勵的驅(qū)動下不斷前進(jìn)（比如贏得一場比賽）。雖然早期的強(qiáng)化學(xué)習(xí)程序非常有效，但它們只能執(zhí)行簡單的任務(wù)。將強(qiáng)化學(xué)習(xí)與深度神經(jīng)網(wǎng)絡(luò)相結(jié)合的創(chuàng)新之舉催生了深度強(qiáng)化學(xué)習(xí)這一新領(lǐng)域。與僅使用強(qiáng)化學(xué)習(xí)開發(fā)的程序相比，它可以解決復(fù)雜得多的問題。

Abbeel 在該領(lǐng)域的突破性貢獻(xiàn)是開發(fā)了一種名為「信賴域策略優(yōu)化（Trust Region Policy Optimization）」的深度強(qiáng)化學(xué)習(xí)方法。這種方法穩(wěn)定了強(qiáng)化學(xué)習(xí)過程，使機(jī)器人能夠?qū)W習(xí)一系列模擬的控制技能。通過分享研究結(jié)果、發(fā)布視頻教程以及發(fā)布開源代碼，Abbeel 幫助建立了一個研究社區(qū)，進(jìn)一步推動了用于機(jī)器人的深度學(xué)習(xí)研究，可以讓機(jī)器人執(zhí)行更復(fù)雜的任務(wù)。

Abbeel 還做出了其他幾項開創(chuàng)性的貢獻(xiàn)，包括：

• generalized advantage estimation，這使得第一個 3D 機(jī)器人運(yùn)動學(xué)習(xí)成為可能；

• soft-actor critic，這是迄今為止最流行的深度強(qiáng)化學(xué)習(xí)算法之一；

• domain randomization，它展示了在適當(dāng)隨機(jī)化的模擬器中進(jìn)行的學(xué)習(xí)如何能夠很好地泛化到現(xiàn)實世界；

• hindsight experience replay，這對獎勵稀疏 / 目標(biāo)導(dǎo)向的環(huán)境中的深度強(qiáng)化學(xué)習(xí)很有幫助。

ACM 主席 Gabriele Kotsis 表示：「教機(jī)器人學(xué)習(xí)可以推動許多行業(yè)的重大進(jìn)步，包括手術(shù)、制造、航運(yùn)、自動駕駛等。Pieter Abbeel 是新一代研究人員中公認(rèn)的引領(lǐng)者，他們正在利用最新的機(jī)器學(xué)習(xí)技術(shù)徹底改變這一領(lǐng)域。Abbeel 做出了跨越式的研究貢獻(xiàn)，同時還慷慨地分享了他的知識，建立了一個同行社區(qū)，致力于將機(jī)器人提升到令人興奮的新能力水平。他的工作體現(xiàn)了 ACM 計算獎旨在表彰具有『深度、影響力和廣泛影響』的杰出工作的初衷?！?/span>

Infosys 首席執(zhí)行官 Salil Parekh 表示：「很榮幸能表彰 Pieter Abbeel 獲得 2021 年 ACM 計算獎，隨著機(jī)器人與人工智能相結(jié)合的創(chuàng)新方式不斷涌現(xiàn)，機(jī)器人領(lǐng)域有望取得更大的進(jìn)步，我們相信像 Abbeel 這樣的研究人員將有助于該領(lǐng)域取得下一個重大進(jìn)展。」

獲獎后，Pieter Abbeel 在社交媒體上表示：「我感到無比榮幸。非常感謝所有讓這一切成為可能的合作者，感謝我的學(xué)生、同事、碩士及博士階段的導(dǎo)師?！?/span>

參考鏈接：https://awards.acm.org/about/2021-acm-prize