斯坦福大學(xué)教授李飛飛已經(jīng)在 AI 歷史上贏得了自己的地位。她在深度學(xué)習(xí)革命中發(fā)揮了重要作用，多年來努力創(chuàng)建 ImageNet 數(shù)據(jù)集和競(jìng)賽，挑戰(zhàn) AI 系統(tǒng)識(shí)別 1000 個(gè)類別的物體和動(dòng)物。2012 年，一個(gè)名為 AlexNet 的神經(jīng)網(wǎng)絡(luò)在 AI 研究界引起了震動(dòng)，它的性能遠(yuǎn)遠(yuǎn)超過了所有其他類型的模型，并贏得了 ImageNet 比賽。從那時(shí)起，神經(jīng)網(wǎng)絡(luò)開始騰飛，由互聯(lián)網(wǎng)上現(xiàn)在提供的大量免費(fèi)訓(xùn)練數(shù)據(jù)和提供前所未有的計(jì)算能力的 GPU 提供支持。

在 ImageNet 問世后的 13 年里，計(jì)算機(jī)視覺研究人員掌握了對(duì)象識(shí)別技術(shù)，并轉(zhuǎn)向圖像和視頻生成。Li 是斯坦福大學(xué)以人為本的 AI 研究所 （HAI） 的聯(lián)合創(chuàng)始人，并繼續(xù)突破計(jì)算機(jī)視覺的界限。就在今年，她創(chuàng)辦了一家初創(chuàng)公司 World Labs，生成用戶可以探索的 3D 場(chǎng)景。World Labs 致力于為 AI 提供“空間智能”，即生成 3D 世界、在 3D 世界中進(jìn)行推理和交互的能力。Li 昨天在大型 AI 會(huì)議 NeurIPS 上發(fā)表了關(guān)于她對(duì)機(jī)器視覺的愿景的主題演講，并在演講前接受了 IEEE Spectrum 的獨(dú)家采訪。

您為什么將演講的題目定為“Ascending the Ladder of Visual Intelligence”？

李飛飛：我認(rèn)為智能具有不同程度的復(fù)雜程度和復(fù)雜程度是直覺的。在演講中，我想傳達(dá)這樣一種感覺，即在過去幾十年中，尤其是過去 10 多年的深度學(xué)習(xí)革命中，我們學(xué)到的視覺智能令人嘆為觀止。我們?cè)絹碓接心芰κ褂眠@項(xiàng)技術(shù)。我還受到了 Judea Pearl 的 “因果階梯” [在他 2020 年的書 The Book of Why] 的啟發(fā)。

該演講還有一個(gè)副標(biāo)題，“從看到到做”。這是人們不夠欣賞的東西：視覺與互動(dòng)和做事密切相關(guān)，無論是對(duì)動(dòng)物還是對(duì) AI 代理都是如此。這與語言背道而馳。從根本上說，語言是一種用于傳達(dá)想法的交流工具。在我看來，這些是非?；パa(bǔ)但同樣深刻的智能模式。

你的意思是我們本能地對(duì)某些景象做出反應(yīng)嗎？

李：我說的不僅僅是直覺。如果你看一下感知的進(jìn)化和動(dòng)物智能的進(jìn)化，它們就已經(jīng)緊密交織在一起了。每當(dāng)我們能夠從環(huán)境中獲取更多信息時(shí)，進(jìn)化的力量就會(huì)推動(dòng)能力和智能向前發(fā)展。如果你感覺不到環(huán)境，你與世界的關(guān)系就非常被動(dòng);你是否吃或被吃是一種非常被動(dòng)的行為。但是，一旦你能夠通過感知從環(huán)境中獲取線索，進(jìn)化壓力就會(huì)真正增加，從而推動(dòng)智能向前發(fā)展。

您認(rèn)為這就是我們創(chuàng)建越來越深入的機(jī)器智能的方式嗎？通過允許機(jī)器感知更多的環(huán)境？

李：我不知道“深”是不是我會(huì)用的形容詞。我認(rèn)為我們正在創(chuàng)造更多功能。我認(rèn)為它變得越來越復(fù)雜，功能越來越強(qiáng)大。我認(rèn)為，解決空間智能問題是邁向全面智能的基礎(chǔ)和關(guān)鍵步驟，這是絕對(duì)正確的。

我看過 World Labs 的演示。您為什么想要研究空間智能并構(gòu)建這些 3D 世界？

李：我認(rèn)為空間智能是視覺智能的發(fā)展方向。如果我們認(rèn)真地解決視覺問題并將其與行動(dòng)聯(lián)系起來，那么有一個(gè)非常簡(jiǎn)單、顯而易見的事實(shí)：世界是 3D 的。我們不是生活在一個(gè)平坦的世界里。我們的物理代理，無論它們是機(jī)器人還是設(shè)備，都將生活在 3D 世界中。甚至虛擬世界也變得越來越 3D。如果您與藝術(shù)家、游戲開發(fā)人員、設(shè)計(jì)師、建筑師、醫(yī)生交談，即使他們?cè)谔摂M世界中工作，其中大部分都是 3D 的。如果您花點(diǎn)時(shí)間認(rèn)識(shí)到這個(gè)簡(jiǎn)單而深刻的事實(shí)，那么毫無疑問，破解 3D 智能問題是根本。

我很好奇 World Labs 中的場(chǎng)景如何保持物體的持久性并符合物理定律。這感覺像是向前邁出的令人興奮的一步，因?yàn)橄?Sora 這樣的視頻生成工具仍然在摸索這些東西。

李：一旦你尊重世界的 3D 性，很多事情都是很自然的。例如，在我們發(fā)布在社交媒體上的一個(gè)視頻中，籃球被放入場(chǎng)景中。因?yàn)樗?3D 的，所以它允許你擁有這種能力。如果場(chǎng)景只是 2D 生成的像素，籃球?qū)o處可去。

或者，就像在 Sora 中一樣，它可能會(huì)去某個(gè)地方，但隨后消失了。 在嘗試推動(dòng)這項(xiàng)技術(shù)向前發(fā)展的過程中，您面臨的最大技術(shù)挑戰(zhàn)是什么？

李： 沒有人解決這個(gè)問題，對(duì)吧？這非常非常困難。你可以看到 [在 World Labs 演示視頻中] 我們拍攝了一幅梵高的畫作，并以一致的風(fēng)格生成了圍繞它的整個(gè)場(chǎng)景：藝術(shù)風(fēng)格、照明，甚至那個(gè)社區(qū)會(huì)有什么樣的建筑。如果你轉(zhuǎn)過身來，它變成了摩天大樓，那將完全沒有說服力，對(duì)吧？而且它必須是 3D 的。你必須導(dǎo)航到它。所以這不僅僅是像素。

您能談?wù)勀脕碛?xùn)練它的數(shù)據(jù)嗎？

李： 好多。

您是否在計(jì)算負(fù)擔(dān)方面面臨技術(shù)挑戰(zhàn)？

李： 這是大量的計(jì)算。這是公共部門無法承受的計(jì)算類型。這就是我很高興能休假的部分原因，以私營部門的方式做這件事。這也是我一直倡導(dǎo)公共部門計(jì)算訪問的部分原因，因?yàn)槲易约旱慕?jīng)驗(yàn)強(qiáng)調(diào)了在資源充足的情況下進(jìn)行創(chuàng)新的重要性。

賦予公共部門權(quán)力是件好事，因?yàn)樗ǔ８芗?lì)于為了自身而獲得知識(shí)，為人類的利益而獲得知識(shí)。

李： 知識(shí)發(fā)現(xiàn)需要資源支持，對(duì)嗎？在伽利略時(shí)代，這是讓天文學(xué)家觀測(cè)新天體的最佳望遠(yuǎn)鏡。是胡克意識(shí)到放大鏡可以變成顯微鏡和發(fā)現(xiàn)的細(xì)胞。每當(dāng)有新的技術(shù)工具出現(xiàn)時(shí)，它都會(huì)幫助人們尋求知識(shí)。現(xiàn)在，在 AI 時(shí)代，技術(shù)工具涉及計(jì)算和數(shù)據(jù)。我們必須認(rèn)識(shí)到公共部門的這一點(diǎn)。

您希望在聯(lián)邦層面采取什么措施來提供資源？

李： 這是 Stanford HAI 在過去五年中的工作。我們一直在與國會(huì)、參議院、白宮、行業(yè)和其他大學(xué)合作，以創(chuàng)建 NAIRR，即國家 AI 研究資源。

假設(shè)我們可以讓 AI 系統(tǒng)真正理解 3D 世界，那會(huì)給我們帶來什么？

李：它將為人們釋放大量的創(chuàng)造力和生產(chǎn)力。我希望以更高效的方式設(shè)計(jì)我的房子。我知道很多醫(yī)學(xué)用途都涉及了解一個(gè)非常特殊的 3D 世界，即人體。我們總是在談?wù)撊祟悓?chuàng)造機(jī)器人來幫助我們的未來，但機(jī)器人在 3D 世界中導(dǎo)航，并且它們需要空間智能作為大腦的一部分。我們還討論了虛擬世界，這些世界將允許人們參觀地方、學(xué)習(xí)概念或娛樂。這些使用 3D 技術(shù)，尤其是混合動(dòng)力車，我們稱之為 AR [增強(qiáng)現(xiàn)實(shí)]。我很想戴著一副眼鏡走過國家公園，它能為我提供有關(guān)樹木、小徑和云的信息。我也想通過空間智能的幫助下學(xué)習(xí)不同的技能。

什么樣的技能？

李： 我蹩腳的例子是，如果我在高速公路上爆胎了，我該怎么辦？現(xiàn)在，我打開了一個(gè)“如何更換輪胎”的視頻。但是，如果我能戴上眼鏡，看看我的車發(fā)生了什么，然后在指導(dǎo)下完成這個(gè)過程，那就太酷了。但這是一個(gè)蹩腳的例子。你可以考慮烹飪，你可以考慮雕刻——有趣的事情。

您認(rèn)為我們?cè)谟猩昴茏叨噙h(yuǎn)？

李： 哦，我認(rèn)為這將在我們的有生之年發(fā)生，因?yàn)榧夹g(shù)進(jìn)步的速度真的很快。您已經(jīng)看到了過去 10 年帶來的一切。這絕對(duì)預(yù)示著接下來會(huì)發(fā)生什么。