2.4 平穩(wěn)發(fā)展期：20世紀(jì)90年代—2010年

由于互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，加速了人工智能的創(chuàng)新研究，促使人工智能技術(shù)進(jìn)一步走向?qū)嵱没?，人工智能相關(guān)的各個(gè)領(lǐng)域都取得長足進(jìn)步。在2000年代初，由于專家系統(tǒng)的項(xiàng)目都需要編碼太多的顯式規(guī)則，這降低了效率并增加了成本，人工智能研究的重心從基于知識(shí)系統(tǒng)轉(zhuǎn)向了機(jī)器學(xué)習(xí)方向。

1995年，Cortes和Vapnik提出聯(lián)結(jié)主義經(jīng)典的支持向量機(jī)(Support Vector Machine)，它在解決小樣本、非線性及高維模式識(shí)別中表現(xiàn)出許多特有的優(yōu)勢，并能夠推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問題中。

支持向量機(jī)（Support Vector Machine, SVM）可以視為在感知機(jī)基礎(chǔ)上的改進(jìn)，是建立在統(tǒng)計(jì)學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小原理基礎(chǔ)上的廣義線性分類器。與感知機(jī)主要差異在于：1、感知機(jī)目標(biāo)是找到一個(gè)超平面將各樣本盡可能分離正確(有無數(shù)個(gè))，SVM目標(biāo)是找到一個(gè)超平面不僅將各樣本盡可能分離正確，還要使各樣本離超平面距離最遠(yuǎn)(只有一個(gè)最大邊距超平面)，SVM的泛化能力更強(qiáng)。2、對于線性不可分的問題，不同于感知機(jī)的增加非線性隱藏層，SVM利用核函數(shù)，本質(zhì)上都是實(shí)現(xiàn)特征空間非線性變換，使可以被線性分類。

1995年， Freund和schapire提出了 AdaBoost (Adaptive Boosting)算法。AdaBoost采用的是Boosting集成學(xué)習(xí)方法——串行組合弱學(xué)習(xí)器以達(dá)到更好的泛化性能。另外一種重要集成方法是以隨機(jī)森林為代表的Bagging并行組合的方式。以“偏差-方差分解”分析，Boosting方法主要優(yōu)化偏差，Bagging主要優(yōu)化方差。

Adaboost迭代算法基本思想主要是通過調(diào)節(jié)的每一輪各訓(xùn)練樣本的權(quán)重(錯(cuò)誤分類的樣本權(quán)重更高)，串行訓(xùn)練出不同分類器。最終以各分類器的準(zhǔn)確率作為其組合的權(quán)重，一起加權(quán)組合成強(qiáng)分類器。

1997年國際商業(yè)機(jī)器公司（簡稱IBM）深藍(lán)超級計(jì)算機(jī)戰(zhàn)勝了國際象棋世界冠軍卡斯帕羅夫。深藍(lán)是基于暴力窮舉實(shí)現(xiàn)國際象棋領(lǐng)域的智能，通過生成所有可能的走法，然后執(zhí)行盡可能深的搜索，并不斷對局面進(jìn)行評估，嘗試找出最佳走法。

1997年，Sepp Hochreiter 和 Jürgen Schmidhuber提出了長短期記憶神經(jīng)網(wǎng)絡(luò)(LSTM)。

LSTM是一種復(fù)雜結(jié)構(gòu)的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN），結(jié)構(gòu)上引入了遺忘門、輸入門及輸出門：輸入門決定當(dāng)前時(shí)刻網(wǎng)絡(luò)的輸入數(shù)據(jù)有多少需要保存到單元狀態(tài)，遺忘門決定上一時(shí)刻的單元狀態(tài)有多少需要保留到當(dāng)前時(shí)刻，輸出門控制當(dāng)前單元狀態(tài)有多少需要輸出到當(dāng)前的輸出值。這樣的結(jié)構(gòu)設(shè)計(jì)可以解決長序列訓(xùn)練過程中的梯度消失問題。

1998年，萬維網(wǎng)聯(lián)盟的蒂姆·伯納斯·李(Tim Berners-Lee)提出語義網(wǎng)(Semantic  Web)的概念。其核心思想是：通過給萬維網(wǎng)上的文檔（如HTML）添加能夠被計(jì)算機(jī)所理解的語義(Meta data)，從而使整個(gè)互聯(lián)網(wǎng)成為一個(gè)基于語義鏈接的通用信息交換媒介。換言之，就是構(gòu)建一個(gè)能夠?qū)崿F(xiàn)人與電腦無障礙溝通的智能網(wǎng)絡(luò)。

2001年，John Lafferty首次提出條件隨機(jī)場模型（Conditional random field，CRF）。CRF是基于貝葉斯理論框架的判別式概率圖模型，在給定條件隨機(jī)場P ( Y ∣ X ) 和輸入序列x，求條件概率最大的輸出序列y *。在許多自然語言處理任務(wù)中比如分詞、命名實(shí)體識(shí)別等表現(xiàn)尤為出色。

2001年，布雷曼博士提出隨機(jī)森林（Random Forest）。隨機(jī)森林是將多個(gè)有差異的弱學(xué)習(xí)器(決策樹)Bagging并行組合，通過建立多個(gè)的擬合較好且有差異模型去組合決策，以優(yōu)化泛化性能的一種集成學(xué)習(xí)方法。多樣差異性可減少對某些特征噪聲的依賴，降低方差（過擬合），組合決策可消除些學(xué)習(xí)器間的偏差。

隨機(jī)森林算法的基本思路是對于每一弱學(xué)習(xí)器(決策樹)有放回的抽樣構(gòu)造其訓(xùn)練集，并隨機(jī)抽取其可用特征子集，即以訓(xùn)練樣本及特征空間的多樣性訓(xùn)練出N個(gè)不同的弱學(xué)習(xí)器，最終結(jié)合N個(gè)弱學(xué)習(xí)器的預(yù)測（類別或者回歸預(yù)測數(shù)值），取最多數(shù)類別或平均值作為最終結(jié)果。

2003年，David Blei, Andrew Ng和 Michael I. Jordan于2003年提出LDA（Latent Dirichlet Allocation）。

LDA是一種無監(jiān)督方法，用來推測文檔的主題分布，將文檔集中每篇文檔的主題以概率分布的形式給出，可以根據(jù)主題分布進(jìn)行主題聚類或文本分類。

2003年，Google公布了3篇大數(shù)據(jù)奠基性論文，為大數(shù)據(jù)存儲(chǔ)及分布式處理的核心問題提供了思路：非結(jié)構(gòu)化文件分布式存儲(chǔ)（GFS）、分布式計(jì)算（MapReduce）及結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)（BigTable），并奠定了現(xiàn)代大數(shù)據(jù)技術(shù)的理論基礎(chǔ)。

2005 年，波士頓動(dòng)力公司推出一款動(dòng)力平衡四足機(jī)器狗，有較強(qiáng)的通用性，可適應(yīng)較復(fù)雜的地形。

2006年，杰弗里·辛頓以及他的學(xué)生魯斯蘭·薩拉赫丁諾夫正式提出了深度學(xué)習(xí)的概念（Deeping Learning），開啟了深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界的浪潮。2006年也被稱為深度學(xué)習(xí)元年，杰弗里·辛頓也因此被稱為深度學(xué)習(xí)之父。

深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究，它的本質(zhì)是使用多個(gè)隱藏層網(wǎng)絡(luò)結(jié)構(gòu)，通過大量的向量計(jì)算，學(xué)習(xí)數(shù)據(jù)內(nèi)在信息的高階表示。

2010年，Sinno Jialin Pan和 Qiang Yang發(fā)表文章《遷移學(xué)習(xí)的調(diào)查》。

遷移學(xué)習(xí)(transfer learning)通俗來講，就是運(yùn)用已有的知識(shí)（如訓(xùn)練好的網(wǎng)絡(luò)權(quán)重）來學(xué)習(xí)新的知識(shí)以適應(yīng)特定目標(biāo)任務(wù)，核心是找到已有知識(shí)和新知識(shí)之間的相似性。

2.5 蓬勃發(fā)展期：2011年至今

隨著大數(shù)據(jù)、云計(jì)算、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等信息技術(shù)的發(fā)展，泛在感知數(shù)據(jù)和圖形處理器等計(jì)算平臺(tái)推動(dòng)以深度神經(jīng)網(wǎng)絡(luò)為代表的人工智能技術(shù)飛速發(fā)展，大幅跨越了科學(xué)與應(yīng)用之間的技術(shù)鴻溝，諸如圖像分類、語音識(shí)別、知識(shí)問答、人機(jī)對弈、無人駕駛等人工智能技術(shù)實(shí)現(xiàn)了重大的技術(shù)突破，迎來爆發(fā)式增長的新高潮。

2011年，IBM Watson問答機(jī)器人參與Jeopardy回答測驗(yàn)比賽最終贏得了冠軍。Waston是一個(gè)集自然語言處理、知識(shí)表示、自動(dòng)推理及機(jī)器學(xué)習(xí)等技術(shù)實(shí)現(xiàn)的電腦問答（Q&A）系統(tǒng)。

2012年，Hinton和他的學(xué)生Alex Krizhevsky設(shè)計(jì)的AlexNet神經(jīng)網(wǎng)絡(luò)模型在ImageNet競賽大獲全勝，這是史上第一次有模型在 ImageNet 數(shù)據(jù)集表現(xiàn)如此出色，并引爆了神經(jīng)網(wǎng)絡(luò)的研究熱情。

AlexNet是一個(gè)經(jīng)典的CNN模型，在數(shù)據(jù)、算法及算力層面均有較大改進(jìn)，創(chuàng)新地應(yīng)用了Data Augmentation、ReLU、Dropout和LRN等方法，并使用GPU加速網(wǎng)絡(luò)訓(xùn)練。

2012年，谷歌正式發(fā)布谷歌知識(shí)圖譜Google Knowledge Graph），它是Google的一個(gè)從多種信息來源匯集的知識(shí)庫，通過Knowledge Graph來在普通的字串搜索上疊一層相互之間的關(guān)系，協(xié)助使用者更快找到所需的資料的同時(shí)，也可以知識(shí)為基礎(chǔ)的搜索更近一步，以提高Google搜索的質(zhì)量。

知識(shí)圖譜是結(jié)構(gòu)化的語義知識(shí)庫，是符號(hào)主義思想的代表方法，用于以符號(hào)形式描述物理世界中的概念及其相互關(guān)系。其通用的組成單位是RDF三元組(實(shí)體-關(guān)系-實(shí)體)，實(shí)體間通過關(guān)系相互聯(lián)結(jié)，構(gòu)成網(wǎng)狀的知識(shí)結(jié)構(gòu)。

2013年，Durk Kingma和Max Welling在ICLR上以文章《Auto-Encoding Variational Bayes》提出變分自編碼器（Variational Auto-Encoder，VAE）。

VAE基本思路是將真實(shí)樣本通過編碼器網(wǎng)絡(luò)變換成一個(gè)理想的數(shù)據(jù)分布，然后把數(shù)據(jù)分布再傳遞給****網(wǎng)絡(luò)，構(gòu)造出生成樣本，模型訓(xùn)練學(xué)習(xí)的過程是使生成樣本與真實(shí)樣本足夠接近。

2013年，Google的Tomas Mikolov 在《Efficient Estimation of Word Representation in Vector Space》提出經(jīng)典的 Word2Vec模型用來學(xué)習(xí)單詞分布式表示，因其簡單高效引起了工業(yè)界和學(xué)術(shù)界極大的關(guān)注。

Word2Vec基本的思想是學(xué)習(xí)每個(gè)單詞與鄰近詞的關(guān)系，從而將單詞表示成低維稠密向量。通過這樣的分布式表示可以學(xué)習(xí)到單詞的語義信息，直觀來看，語義相似的單詞的距離相近。

Word2Vec網(wǎng)絡(luò)結(jié)構(gòu)是一個(gè)淺層神經(jīng)網(wǎng)絡(luò)（輸入層-線性全連接隱藏層->輸出層），按訓(xùn)練學(xué)習(xí)方式可分為CBOW模型(以一個(gè)詞語作為輸入，來預(yù)測它的鄰近詞)或Skip-gram模型 (以一個(gè)詞語的鄰近詞作為輸入，來預(yù)測這個(gè)詞語)。

2014年，聊天程序“尤金·古斯特曼”（Eugene Goostman）在英國皇家學(xué)會(huì)舉行的“2014圖靈測試”大會(huì)上，首次“通過”了圖靈測試。

2014年，Goodfellow及Bengio等人提出生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN），被譽(yù)為近年來最酷炫的神經(jīng)網(wǎng)絡(luò)。

GAN是基于強(qiáng)化學(xué)習(xí)(RL)思路設(shè)計(jì)的，由生成網(wǎng)絡(luò)(Generator, G)和判別網(wǎng)絡(luò)(Discriminator, D)兩部分組成， 生成網(wǎng)絡(luò)構(gòu)成一個(gè)映射函數(shù)G: Z→X（輸入噪聲z, 輸出生成的偽造數(shù)據(jù)x）, 判別網(wǎng)絡(luò)判別輸入是來自真實(shí)數(shù)據(jù)還是生成網(wǎng)絡(luò)生成的數(shù)據(jù)。在這樣訓(xùn)練的博弈過程中，提高兩個(gè)模型的生成能力和判別能力。

2015年，為紀(jì)念人工智能概念提出60周年，深度學(xué)習(xí)三巨頭LeCun、Bengio和Hinton(他們于2018年共同獲得了圖靈獎(jiǎng))推出了深度學(xué)習(xí)的聯(lián)合綜述《Deep learning》。

《Deep learning》文中指出深度學(xué)習(xí)就是一種特征學(xué)習(xí)方法，把原始數(shù)據(jù)通過一些簡單的但是非線性的模型轉(zhuǎn)變成為更高層次及抽象的表達(dá)，能夠強(qiáng)化輸入數(shù)據(jù)的區(qū)分能力。通過足夠多的轉(zhuǎn)換的組合，非常復(fù)雜的函數(shù)也可以被學(xué)習(xí)。

2015年，Microsoft Research的Kaiming He等人提出的殘差網(wǎng)絡(luò)（ResNet）在ImageNet大規(guī)模視覺識(shí)別競賽中獲得了圖像分類和物體識(shí)別的優(yōu)勝。

殘差網(wǎng)絡(luò)的主要貢獻(xiàn)是發(fā)現(xiàn)了網(wǎng)絡(luò)不恒等變換導(dǎo)致的“退化現(xiàn)象（Degradation）”，并針對退化現(xiàn)象引入了 “快捷連接（Shortcut connection）”，緩解了在深度神經(jīng)網(wǎng)絡(luò)中增加深度帶來的梯度消失問題。

2015年，谷歌開源TensorFlow框架。它是一個(gè)基于數(shù)據(jù)流編程（dataflow programming）的符號(hào)數(shù)學(xué)系統(tǒng)，被廣泛應(yīng)用于各類機(jī)器學(xué)習(xí)（machine learning）算法的編程實(shí)現(xiàn)，其前身是谷歌的神經(jīng)網(wǎng)絡(luò)算法庫DistBelief。

2015年，馬斯克等人共同創(chuàng)建OpenAI。它是一個(gè)非營利的研究組織，使命是確保通用人工智能 (即一種高度自主且在大多數(shù)具有經(jīng)濟(jì)價(jià)值的工作上超越人類的系統(tǒng)）將為全人類帶來福祉。其發(fā)布熱門產(chǎn)品的如：OpenAI Gym，GPT等。

2016年，谷歌提出聯(lián)邦學(xué)習(xí)方法，它在多個(gè)持有本地?cái)?shù)據(jù)樣本的分散式邊緣設(shè)備或服務(wù)器上訓(xùn)練算法，而不交換其數(shù)據(jù)樣本。

聯(lián)邦學(xué)習(xí)保護(hù)隱私方面最重要的三大技術(shù)分別是：差分隱私 ( Differential Privacy )、同態(tài)加密 ( Homomorphic Encryption )和 隱私保護(hù)集合交集 ( Private Set Intersection )，能夠使多個(gè)參與者在不共享數(shù)據(jù)的情況下建立一個(gè)共同的、強(qiáng)大的機(jī)器學(xué)習(xí)模型，從而解決數(shù)據(jù)隱私、數(shù)據(jù)安全、數(shù)據(jù)訪問權(quán)限和異構(gòu)數(shù)據(jù)的訪問等關(guān)鍵問題。

2016年，AlphaGo與圍棋世界冠軍、職業(yè)九段棋手李世石進(jìn)行圍棋人機(jī)大戰(zhàn)，以4比1的總比分獲勝。

AlphaGo是一款圍棋人工智能程序，其主要工作原理是“深度學(xué)習(xí)”，由以下四個(gè)主要部分組成：策略網(wǎng)絡(luò)（Policy Network）給定當(dāng)前局面，預(yù)測并采樣下一步的走棋；快速走子（Fast rollout）目標(biāo)和策略網(wǎng)絡(luò)一樣，但在適當(dāng)犧牲走棋質(zhì)量的條件下，速度要比策略網(wǎng)絡(luò)快1000倍；價(jià)值網(wǎng)絡(luò)（Value Network）估算當(dāng)前局面的勝率；蒙特卡洛樹搜索（Monte Carlo Tree Search）樹搜索估算每一種走法的勝率。

在2017年更新的AlphaGo Zero，在此前的版本的基礎(chǔ)上，結(jié)合了強(qiáng)化學(xué)習(xí)進(jìn)行了自我訓(xùn)練。它在下棋和游戲前完全不知道游戲規(guī)則，完全是通過自己的試驗(yàn)和摸索，洞悉棋局和游戲的規(guī)則，形成自己的決策。隨著自我博弈的增加，神經(jīng)網(wǎng)絡(luò)逐漸調(diào)整，提升下法勝率。更為厲害的是，隨著訓(xùn)練的深入，AlphaGo Zero還獨(dú)立發(fā)現(xiàn)了游戲規(guī)則，并走出了新策略，為圍棋這項(xiàng)古老游戲帶來了新的見解。

2017年，中國香港的漢森機(jī)器人技術(shù)公司（Hanson Robotics）開發(fā)的類人機(jī)器人索菲亞，是歷史上首個(gè)獲得公民身份的一臺(tái)機(jī)器人。索菲亞看起來就像人類女性，擁有橡膠皮膚，能夠表現(xiàn)出超過62種自然的面部表情。其“大腦”中的算法能夠理解語言、識(shí)別面部，并與人進(jìn)行互動(dòng)。

2018年，Google提出論文《Pre-training of Deep Bidirectional Transformers for Language Understanding》并發(fā)布Bert(Bidirectional Encoder Representation from Transformers)模型，成功在 11 項(xiàng) NLP 任務(wù)中取得 state of the art 的結(jié)果。

BERT是一個(gè)預(yù)訓(xùn)練的語言表征模型，可在海量的語料上用無監(jiān)督學(xué)習(xí)方法學(xué)習(xí)單詞的動(dòng)態(tài)特征表示。它基于Transformer注意力機(jī)制的模型，對比RNN可以更加高效、能捕捉更長距離的依賴信息，且不再像以往一樣采用傳統(tǒng)的單向語言模型或者把兩個(gè)單向語言模型進(jìn)行淺層拼接的方法進(jìn)行預(yù)訓(xùn)練，而是采用新的masked language model（MLM），以致能生成深度的雙向語言表征。

2019年， IBM宣布推出Q System One，它是世界上第一個(gè)專為科學(xué)和商業(yè)用途設(shè)計(jì)的集成通用近似量子計(jì)算系統(tǒng)。

2019年，香港 Insilico Medicine 公司和多倫多大學(xué)的研究團(tuán)隊(duì)實(shí)現(xiàn)了重大實(shí)驗(yàn)突破，通過深度學(xué)習(xí)和生成模型相關(guān)的技術(shù)發(fā)現(xiàn)了幾種候選****物，證明了 AI 發(fā)現(xiàn)分子策略的有效性，很大程度解決了傳統(tǒng)新****開發(fā)在分子鑒定困難且耗時(shí)的問題。

2020年，Google與Facebook分別提出SimCLR與MoCo兩個(gè)無監(jiān)督學(xué)習(xí)算法，均能夠在無標(biāo)注數(shù)據(jù)上學(xué)習(xí)圖像數(shù)據(jù)表征。兩個(gè)算法背后的框架都是對比學(xué)習(xí)（contrastive learning），對比學(xué)習(xí)的核心訓(xùn)練信號(hào)是圖片的“可區(qū)分性”。

2020年，OpenAI開發(fā)的文字生成 (text generation) 人工智能GPT-3，它具有1,750億個(gè)參數(shù)的自然語言深度學(xué)習(xí)模型，比以前的版本GPT-2高100倍，該模型經(jīng)過了將近0.5萬億個(gè)單詞的預(yù)訓(xùn)練，可以在多個(gè)NLP任務(wù)（答題、翻譯、寫文章）基準(zhǔn)上達(dá)到最先進(jìn)的性能。

2020年，馬斯克的腦機(jī)接口（brain–computer interface, BCI）公司Neuralink舉行現(xiàn)場直播，展示了植入Neuralink設(shè)備的實(shí)驗(yàn)豬的腦部活動(dòng)。

2020年，谷歌旗下DeepMind的AlphaFold2人工智能系統(tǒng)有力地解決了蛋白質(zhì)結(jié)構(gòu)預(yù)測的里程碑式問題。它在國際蛋白質(zhì)結(jié)構(gòu)預(yù)測競賽（CASP）上擊敗了其余的參會(huì)選手，精確預(yù)測了蛋白質(zhì)的三維結(jié)構(gòu)，準(zhǔn)確性可與冷凍電子顯微鏡（cryo-EM）、核磁共振或 X 射線晶體學(xué)等實(shí)驗(yàn)技術(shù)相媲美。

2020年，中國科學(xué)技術(shù)大學(xué)潘建偉等人成功構(gòu)建76個(gè)光子的量子計(jì)算原型機(jī)“九章”，求解數(shù)學(xué)算法“高斯玻色取樣”只需200秒，而目前世界最快的超級計(jì)算機(jī)要用6億年。

2021年，OpenAI提出兩個(gè)連接文本與圖像的神經(jīng)網(wǎng)絡(luò)：DALL·E 和 CLIP。DALL·E 可以基于文本直接生成圖像，CLIP 則能夠完成圖像與文本類別的匹配。

2021年，德國Eleuther人工智能公司于今年3月下旬推出開源的文本AI模型GPT-Neo。對比GPT-3的差異在于它是開源免費(fèi)的。

2021年，美國斯坦福大學(xué)的研究人員開發(fā)出一種用于打字的腦機(jī)接口（brain–computer interface, BCI），這套系統(tǒng)可以從運(yùn)動(dòng)皮層的神經(jīng)活動(dòng)中解碼癱瘓患者想象中的手寫動(dòng)作，并利用遞歸神經(jīng)網(wǎng)絡(luò)（RNN）解碼方法將這些手寫動(dòng)作實(shí)時(shí)轉(zhuǎn)換為文本。相關(guān)研究結(jié)果發(fā)表在2021年5月13日的Nature期刊上，論文標(biāo)題為“High-performance brain-to-text communication via handwriting”。

AI 未來趨勢

人工智能有三個(gè)要素：數(shù)據(jù)、算力及算法，數(shù)據(jù)即是知識(shí)原料，算力及算法提供“計(jì)算智能”以學(xué)習(xí)知識(shí)并實(shí)現(xiàn)特定目標(biāo)。

人工智能60多年的技術(shù)發(fā)展，可以歸根為數(shù)據(jù)、算力及算法層面的發(fā)展，那么在可以預(yù)見的未來，人工智能發(fā)展將會(huì)出現(xiàn)怎樣的趨勢呢？

3.1 數(shù)據(jù)層面

數(shù)據(jù)是現(xiàn)實(shí)世界映射構(gòu)建虛擬世界的基本要素，隨著數(shù)據(jù)量以指數(shù)形式增長，開拓的虛擬世界的疆土也不斷擴(kuò)張。不同于AI算法開源，關(guān)鍵數(shù)據(jù)往往是不開放的，數(shù)據(jù)隱私化、私域化是一種趨勢，數(shù)據(jù)之于AI應(yīng)用，如同流量是互聯(lián)網(wǎng)的護(hù)城河，有核心數(shù)據(jù)才有關(guān)鍵的AI能力。

3.2 算力層面

推理就是計(jì)算（reason is nothing but reckoning）  --托馬斯.霍布斯

計(jì)算是AI的關(guān)鍵，自2010年代以來的深度學(xué)習(xí)浪潮，很大程度上歸功于計(jì)算能力的進(jìn)步。

量子計(jì)算發(fā)展

在計(jì)算芯片按摩爾定律發(fā)展越發(fā)失效的今天，計(jì)算能力進(jìn)步的放慢會(huì)限制未來的AI技，量子計(jì)算提供了一條新量級的增強(qiáng)計(jì)算能力的思路。隨著量子計(jì)算機(jī)的量子比特?cái)?shù)量以指數(shù)形式增長，而它的計(jì)算能力是量子比特?cái)?shù)量的指數(shù)級，這個(gè)增長速度將遠(yuǎn)遠(yuǎn)大于數(shù)據(jù)量的增長，為數(shù)據(jù)爆發(fā)時(shí)代的人工智能帶來了強(qiáng)大的硬件基礎(chǔ)。

邊緣計(jì)算發(fā)展

邊緣計(jì)算作為云計(jì)算的一種補(bǔ)充和優(yōu)化，一部分的人工智能正在加快速度從云端走向邊緣，進(jìn)入到越來越小的物聯(lián)網(wǎng)設(shè)備中。而這些物聯(lián)網(wǎng)設(shè)備往往體積很小，為此輕量機(jī)器學(xué)習(xí)（TinyML）受到青睞，以滿足功耗、延時(shí)以及精度等問題。

類腦計(jì)算發(fā)展

以類腦計(jì)算芯片為核心的各種類腦計(jì)算系統(tǒng)，在處理某些智能問題以及低功耗智能計(jì)算方面正逐步展露出優(yōu)勢。類腦計(jì)算芯片設(shè)計(jì)將從現(xiàn)有處理器的設(shè)計(jì)方法論及其發(fā)展歷史中汲取靈感，在計(jì)算完備性理論基礎(chǔ)上結(jié)合應(yīng)用需求實(shí)現(xiàn)完備的硬件功能。同時(shí)類腦計(jì)算基礎(chǔ)軟件將整合已有類腦計(jì)算編程語言與框架，實(shí)現(xiàn)類腦計(jì)算系統(tǒng)從“專用”向“通用”的逐步演進(jìn)。

人工智能計(jì)算中心成為智能化時(shí)代的關(guān)鍵基礎(chǔ)設(shè)施

人工智能計(jì)算中心基于最新人工智能理論，采用領(lǐng)先的人工智能計(jì)算架構(gòu)，是融合公共算力服務(wù)、數(shù)據(jù)開放共享、智能生態(tài)建設(shè)、產(chǎn)業(yè)創(chuàng)新聚集的“四位一體”綜合平臺(tái)，可提供算力、數(shù)據(jù)和算法等人工智能全棧能力，是人工智能快速發(fā)展和應(yīng)用所依托的新型算力基礎(chǔ)設(shè)施。未來，隨著智能化社會(huì)的不斷發(fā)展，人工智能計(jì)算中心將成為關(guān)鍵的信息基礎(chǔ)設(shè)施，推動(dòng)數(shù)字經(jīng)濟(jì)與傳統(tǒng)產(chǎn)業(yè)深度融合，加速產(chǎn)業(yè)轉(zhuǎn)型升級，促進(jìn)經(jīng)濟(jì)高質(zhì)量發(fā)展。

3.3 算法層面

機(jī)器學(xué)習(xí)自動(dòng)化(AutoML)發(fā)展

自動(dòng)化機(jī)器學(xué)習(xí)（AutoML）解決的核心問題是：在給定數(shù)據(jù)集上使用哪種機(jī)器學(xué)習(xí)算法、是否以及如何預(yù)處理其特征以及如何設(shè)置所有超參數(shù)。隨著機(jī)器學(xué)習(xí)在許多應(yīng)用領(lǐng)域取得了長足的進(jìn)步，這促成了對機(jī)器學(xué)習(xí)系統(tǒng)的不斷增長的需求，并希望機(jī)器學(xué)習(xí)應(yīng)用可以自動(dòng)化構(gòu)建并使用。借助AutoMl、MLOps技術(shù)，將大大減少機(jī)器學(xué)習(xí)人工訓(xùn)練及部署過程，技術(shù)人員可以專注于核心解決方案。

向分布式隱私保護(hù)方向演進(jìn)

當(dāng)前全球多個(gè)國家和地區(qū)已出臺(tái)數(shù)據(jù)監(jiān)管法規(guī)，如HIPAA（美國健康保險(xiǎn)便利和責(zé)任法案）、GDPR（歐盟通用數(shù)據(jù)保護(hù)條例）等，通過嚴(yán)格的法規(guī)限制多機(jī)構(gòu)間隱私數(shù)據(jù)的交互。分布式隱私保護(hù)機(jī)器學(xué)習(xí)(聯(lián)邦學(xué)習(xí))通過加密、分布式存儲(chǔ)等方式保護(hù)機(jī)器學(xué)習(xí)模型訓(xùn)練的輸入數(shù)據(jù)，是打破數(shù)據(jù)孤島、完成多機(jī)構(gòu)聯(lián)合訓(xùn)練建模的可行方案。

數(shù)據(jù)和機(jī)理融合

AI模型的發(fā)展是符合簡單而美的定律的。從數(shù)據(jù)出發(fā)的建模從數(shù)據(jù)中總結(jié)規(guī)律，追求在實(shí)踐中的應(yīng)用效果。從機(jī)理出發(fā)的建模以基本物理規(guī)律為出發(fā)點(diǎn)進(jìn)行演繹，追求簡潔與美的表達(dá)。

一個(gè)好的、主流的的模型，通常是高度總結(jié)了數(shù)據(jù)規(guī)律并切合機(jī)理的，是“優(yōu)雅”的，因?yàn)樗|及了問題的本質(zhì)。就和科學(xué)理論一樣，往往簡潔的，沒有太多補(bǔ)丁，而這同時(shí)解決了收斂速度問題和泛化問題。

神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)發(fā)展

神經(jīng)網(wǎng)絡(luò)的演進(jìn)一直沿著模塊化+層次化的方向，不斷把多個(gè)承擔(dān)相對簡單任務(wù)的模塊組合起來。

神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)通過較低層級模塊偵測基本的特征，并在較高層級偵測更高階的特征，無論是多層前饋網(wǎng)絡(luò)，還是卷積神經(jīng)網(wǎng)絡(luò)，都體現(xiàn)了這種模塊性(近年Hinton提出的“膠囊”（capsule）網(wǎng)絡(luò)就是進(jìn)一步模塊化發(fā)展)。因?yàn)槲覀兲幚淼膯栴}（圖像、語音、文字）往往都有天然的模塊性，學(xué)習(xí)網(wǎng)絡(luò)的模塊性若匹配了問題本身內(nèi)在的模塊性，就能取得較好的效果。

層次化并不僅僅是網(wǎng)絡(luò)的拓?fù)浏B加，更重要的是學(xué)習(xí)算法的升級，僅僅簡單地加深層次可能會(huì)導(dǎo)致BP網(wǎng)絡(luò)的梯度消失等問題。

多學(xué)派方法融合發(fā)展

通過多學(xué)派方法交融發(fā)展，得以互補(bǔ)算法之間的優(yōu)勢和弱點(diǎn)。如 1）貝葉斯派與神經(jīng)網(wǎng)絡(luò)融合，Neil Lawrence組的Deep Gaussian process, 用簡單的概率分布替換神經(jīng)網(wǎng)絡(luò)層。2）符號(hào)主義、集成學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)的融合，周志華老師的深度隨機(jī)森林。3)  符號(hào)主義與神經(jīng)網(wǎng)絡(luò)的融合：將知識(shí)庫(KG)融入進(jìn)神經(jīng)網(wǎng)絡(luò)，如GNN、知識(shí)圖譜表示學(xué)習(xí)。4)  神經(jīng)網(wǎng)絡(luò)與強(qiáng)化學(xué)習(xí)的融合，如谷歌基于DNN+強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)的Alpha Go 讓AI的復(fù)雜任務(wù)表現(xiàn)逼近人類。

基于大規(guī)模無(自)監(jiān)督預(yù)訓(xùn)練發(fā)展

If intelligence is a cake, the bulk of the cake is unsupervised learning, the icing on the cake is supervised learning, and the cherry on the cake is reinforcement learning (RL)    -- Yann Lecun

監(jiān)督學(xué)習(xí)需要足夠的帶標(biāo)簽數(shù)據(jù)，然而人工標(biāo)注大量數(shù)據(jù)既耗時(shí)又費(fèi)力，在一些領(lǐng)域(如醫(yī)學(xué)領(lǐng)域)上幾乎不太可能獲得足量的標(biāo)注數(shù)據(jù)。通過大規(guī)模無(自)監(jiān)督預(yù)訓(xùn)練方法利用現(xiàn)實(shí)中大量的無標(biāo)簽數(shù)據(jù)是一個(gè)研究的熱點(diǎn)，如GPT-3的出現(xiàn)激發(fā)了對大規(guī)模自監(jiān)督預(yù)訓(xùn)練方法繼續(xù)開展探索和研究。未來，基于大規(guī)模圖像、語音、視頻等多模態(tài)數(shù)據(jù)的跨語言的自監(jiān)督預(yù)訓(xùn)練模型將進(jìn)一步發(fā)展，并不斷提升模型的認(rèn)知、推理能力。

基于因果學(xué)習(xí)方法發(fā)展

當(dāng)前人工智能模型大多關(guān)注于數(shù)據(jù)特征間相關(guān)性，而相關(guān)性與更為本源的因果關(guān)系并不等價(jià)，可能導(dǎo)致預(yù)測結(jié)果的偏差，對抗攻擊的能力不佳，且模型往往缺乏可解釋性。另外，模型需要獨(dú)立同分布(i.i.d.)假設(shè)(現(xiàn)實(shí)很多情況，i.i.d.的假設(shè)是不成立的)，若測試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)來自不同的分布，統(tǒng)計(jì)學(xué)習(xí)模型往往效果不佳，而因果推斷所研究的正是這樣的情形：如何學(xué)習(xí)一個(gè)可以在不同分布下工作、蘊(yùn)含因果機(jī)制的因果模型(Causal Model)，并使用因果模型進(jìn)行干預(yù)或反事實(shí)推斷。

可解釋性AI (XAI)發(fā)展

可解釋的人工智能有可能成為未來機(jī)器學(xué)習(xí)的核心，隨著模型變得越來越復(fù)雜，確定簡單的、可解釋的規(guī)則就會(huì)變得越來越困難。一個(gè)可以解釋的AI（Explainable AI,  XAI）意味著AI運(yùn)作的透明，便于人類對于對AI監(jiān)督及接納，以保證算法的公平性、安全性及隱私性。

圖片后記

隨著數(shù)據(jù)、算力及算法取得不斷的突破，人工智能可能進(jìn)入一個(gè)永恒的春天。本文主要從技術(shù)角度看待AI趨勢是比較片面的，雖然技術(shù)是“高大上”的第一生產(chǎn)力，有著自身的發(fā)展規(guī)律，但不可忽視的是技術(shù)是為需求市場所服務(wù)的。技術(shù)結(jié)合穩(wěn)定的市場需求，才是技術(shù)發(fā)展的實(shí)際導(dǎo)向。