早在幾年前，在房屋、汽車甚至手機中配備私人助理的概念，還是個是科幻小說的情節(jié)—它可以識別您的聲音來播放您喜歡的音樂、商店、監(jiān)控身體健康狀況、控制家庭自動化并且處理各種生活瑣事。但自從Apple在2011年推出Siri以來，具備數(shù)字助理的人工智能（AI）連接設(shè)備的數(shù)量大幅度地成長，目前包括Amazon的Alexa、微軟的Cortana以及三星的Bixby等。

當連網(wǎng)設(shè)備失去網(wǎng)絡(luò)連接時，我們的生活肯定會被打亂。用于語音識別的AI在云運行，因此沒有網(wǎng)絡(luò)就表示沒辦法提供語音協(xié)助。為了保護我們連接的設(shè)備，難道沒有互聯(lián)網(wǎng)連接，設(shè)備就無法在本地端處理工作了嗎？事實上，如果將AI置于邊緣，這就可以實現(xiàn)。

雖然將邊緣AI應(yīng)用于數(shù)字助理是一種可能的用途，但這個技術(shù)將對許多行業(yè)產(chǎn)生深遠的影響，包括運輸、國防、制造業(yè)和醫(yī)療保健等。邊緣AI將如何改變這些行業(yè)，它為什么如此重要呢？

邊緣AI是指可以在硬設(shè)備本地端處理AI算法。處理的算法使用來自設(shè)備的數(shù)據(jù)（信號或傳感器數(shù)據(jù)）。而使用邊緣AI的設(shè)備無需連續(xù)連接到云即可正常運行，因為它無需互聯(lián)網(wǎng)即可獨立處理數(shù)據(jù)和做出決策。

為了在邊緣使用人工智能，設(shè)備除了包含最初設(shè)計用來執(zhí)行其工作的零組件外，還要必須具備微處理器、傳感器和AI算法。

其中一個范例是一種電池供電的設(shè)備，該設(shè)備可以連接到云，但在微處理器上運行的邊緣AI軟件應(yīng)用可以實時處理數(shù)據(jù)。產(chǎn)生的數(shù)據(jù)就在設(shè)備上進行分析，并且存儲在本地。必要時，設(shè)備可以連接到云并通過互聯(lián)網(wǎng)傳輸其數(shù)據(jù)，以實現(xiàn)冗余存儲和長期分析。如果設(shè)備持續(xù)地將數(shù)據(jù)傳輸?shù)皆?，則電池壽命將受到負面影響。在這個簡單的例子中，邊緣AI可以延長設(shè)備的電池壽命。

任何基于機器學(xué)習(xí)之解決方案的兩個主要階段是訓(xùn)練和推理。

? 訓(xùn)練：在此階段中，將大量已知數(shù)據(jù)提供給機器學(xué)習(xí)算法，使其學(xué)習(xí)該做什么。利用這些數(shù)據(jù)，算法可以產(chǎn)出包含其學(xué)習(xí)結(jié)果的「模型」。此階段就處理能力而言，要求極高。

? 推論：設(shè)備將學(xué)習(xí)到的模型與新數(shù)據(jù)一起使用，來推論它該識別的。簡而言之，設(shè)備會解讀正在詢問的內(nèi)容，然后完成被要求的工作。

訓(xùn)練階段中的「已知數(shù)據(jù)」稱為標記數(shù)據(jù)。這表示著每段數(shù)據(jù)（例如聲音，圖像等）都有一個描述其內(nèi)容的標簽。語音識別AI經(jīng)過數(shù)千小時的標記語音數(shù)據(jù)訓(xùn)練，以便從口語句子中提取文本。然后可以使用自然語言識別將文本轉(zhuǎn)換為計算器可以理解的命令。

一旦完成訓(xùn)練，設(shè)備就需要處理能力的一部分來執(zhí)行推理階段；這主要是因為推理是使用一組輸入數(shù)據(jù)，而訓(xùn)練通常需要大量的樣本。用于推理的生產(chǎn)模型也是凍結(jié)的，意指無法再學(xué)習(xí)，并且可能刪除了無關(guān)的功能，也針對目標環(huán)境仔細地優(yōu)化。最終結(jié)果是它可直接在嵌入式設(shè)備上運行。決策能力位于設(shè)備里面，因此可使其具有自主性。這就是的邊緣AI。

如同許多新概念一樣，邊緣AI背后的技術(shù)已經(jīng)存在了一段時間：機器學(xué)習(xí)算法在計算器和智能手機中很常見，而且運作得很好。然而對于嵌入式設(shè)備是如何呢？這些工具和硬件現(xiàn)在可以組合在一起，成為一個有意義的解決方案，這主要歸功于：

? 設(shè)備處理能力的提高以及更多可用的模塊，為AI圖形處理單元（GPU）和特定應(yīng)用集成電路（ASIC）提供了硬件加速。

? 不斷改進AI算法模型及其性能。

? 工具和資源的質(zhì)量使數(shù)據(jù)科學(xué)家、AI專家和開發(fā)人員研究過程更加輕松。

現(xiàn)在，我們不僅可以在超級計算器中整合AI功能，還可以在汽車、智能手機、網(wǎng)頁、Wi-Fi路由器、工廠機器人或是從小型到大型，從簡單到復(fù)雜的各種應(yīng)用程序中整合AI功能。

關(guān)于邊緣AI，首先要選擇正確的硬件。邊緣設(shè)備上的AI推理可以在多個種硬件上執(zhí)行。

? CPU: 在智能手機和嵌入式設(shè)備上，最近推出的任何Arm CPU（Cortex-A7及更高階版本）都具有在邊緣處理AI的能力。這可能不是最快或最有效的解決方案，但通常是最簡單的。常用的是TensorFlow Lite軟件，可提供大型TensorFlow框架中的關(guān)鍵功能。

? GPU: 對GPU(圖形處理器)開箱即用的支持會有所不同，但通常會提供較大數(shù)據(jù)吞吐量，進而可提供出色的推理頻率和較低的延遲。GPU還能從CPU移除的大量工作負載，可提高整體運行速度和效率。

? AI 專用硬件: ASIC和張量處理單元（TPU）。這些硬件組件提供了最有效的AI解決方案，但通常價格昂貴且較難設(shè)計。

進一步來分析GPU和AI專用硬件。

一種可能性是利用GPU的處理能力和并行能力。人工智能就像一個擁有數(shù)百個神經(jīng)元的虛擬大腦：它看起來很復(fù)雜，但其實是由許多簡單的元素組成（如神經(jīng)元）。這就是GPU成為重點的地方。簡單且獨立的運行將應(yīng)用于屏幕上的每一個單點（像素或頂點）。大多數(shù)機器學(xué)習(xí)框架（例如TensorFlow，Caffe，AML等）設(shè)計為利用適當?shù)挠布６鴰缀跛蠫PU都可用來完成這些工作。

另一個解決方案是整合專用硬件。透過定制的硬件來加速機器學(xué)習(xí)，如 AI專用芯片和AI ASIC。Google推出了Edge TPU，Arm推出了機器學(xué)習(xí)和物體偵測處理器；英特爾，微軟和亞馬遜也都在開發(fā)自己的解決方案。當前，最好的選擇即是使用您的AI工具集所支持的GPU。

雖然目前邊緣AI是一個熱門話題，但它不會只是一時的流行，因為邊緣AI可以帶來真正的價值。

1. 脫機可用性/延遲: 如果無論條件和連網(wǎng)狀態(tài)如何都需要使用應(yīng)用程序，就必須在本地端處理智能。由于遠程的蜂巢式數(shù)據(jù)不穩(wěn)定，或是DDoS攻擊(分布式阻斷服務(wù))等許多因素，可能會導(dǎo)致延遲或完全失去連接。這對于基于云端的解決方案而言，是一個巨大的問題及挑戰(zhàn)。但是，如果智能是在本地的設(shè)備上做維護，則無需擔(dān)心。

2. 降低云服務(wù)成本: 云服務(wù)很方便，因為它的可擴展性和可用性，但這也表示會產(chǎn)生相當高的經(jīng)常性成本；此成本通常隨著解決方案的廣泛采用而增加。這些成本是在產(chǎn)品的整個生命周期內(nèi)產(chǎn)生的。但是，如果是出售運行AI的獨立設(shè)備，則可大幅降低其經(jīng)常性成本和基礎(chǔ)架構(gòu)需求。

3. 限制連網(wǎng)成本: 帶寬和蜂巢式數(shù)據(jù)也十分昂貴。僅發(fā)送AI的計算結(jié)果給云做長期分析使用，而在本地處理數(shù)據(jù)數(shù)據(jù)，則可以大大地節(jié)省成本。如關(guān)于視訊安全的解決方案，megabytes之多的視訊數(shù)據(jù)將轉(zhuǎn)換為幾個bytes。

4. 合規(guī)性和機密信息: 當可以在本地收集和處理關(guān)鍵訊息時，為什么還要透過互聯(lián)網(wǎng)發(fā)送重要信息呢？這并不意味著應(yīng)減少對設(shè)備安全性的重視，而是可以少點擔(dān)心并使客戶也放心。

5. 反應(yīng)時間十分重要: 在本地收集和處理數(shù)據(jù)可以加快反應(yīng)時間，從而提高安全性、性能和用戶體驗。

6. 綠色意識: 在設(shè)計高效率的AI設(shè)備時，本地處理數(shù)據(jù)絕對有意義。中小型物聯(lián)網(wǎng)設(shè)備每天將傳輸約1MB的數(shù)據(jù)，大致相當于20克的二氧化碳。以每年復(fù)利計算，10,000臺設(shè)備，將造成多達80噸的二氧化碳污染。在本地處理數(shù)據(jù)可污染縮減到1噸以下，這對地球環(huán)境才是有益的。而基于視訊或圖像的解決方案會產(chǎn)生更大的影響。

邊緣AI是比云端AI整合更新的技術(shù)，并且本質(zhì)上具有一定的局限性。以下列出了一些限制和風(fēng)險。

1. 具有邊緣功能的設(shè)備: AI需要整合至一個設(shè)備上。可以是像智能手機這樣的移動設(shè)備，也可以是與自動駕駛汽車一樣大的設(shè)備。無論在哪里，設(shè)備都必須能夠有效地運行AI解決方案。

2. 性能受到設(shè)備的限制: 邊緣設(shè)備和大量的虛擬服務(wù)器相比，具有較少的處理能力。因此，從一開始就確定反應(yīng)時間和解決方案的復(fù)雜性來進行正確的設(shè)計是非常重要的。

3. 需要連接性來更新模型: 盡管推理速度很快，訓(xùn)練通常也是一個漫長的過程，甚至在功能強大的專用硬件上也是相同。這就是為什么需要在專用機器上執(zhí)行而不能在設(shè)備等級別的設(shè)備上執(zhí)行的原因。每隔一段時間后，將需要更新模型來識別新的句子、支持新場景、執(zhí)行新功能等；部署此更新的最有效方法是使用空中下載（OTA）機制。

以下為邊緣AI如何影響變化的幾個例子。

工業(yè)應(yīng)用:

? 大大減少了設(shè)備故障和停機時間；這部分估計每年造成500億美元的損失。

? AI能源管理可在制造過程中平均降低20％的能源消耗。

? 使用本地端AI的智能監(jiān)控，可以快速識別和解決生產(chǎn)問題。

運輸應(yīng)用:

? 24/7/365可以運行，可最大化設(shè)備的投資回報率。

? 減少人工成本

? 估計可減少60％的有害排放量。

邊緣AI是許多AI服務(wù)的下一步。高度的可用性、數(shù)據(jù)安全性，以及減少延遲和節(jié)省成本是未來AI系統(tǒng)的關(guān)鍵優(yōu)勢。無論是公司還是個人，現(xiàn)在都是擁抱此邊緣AI的好時機。盡管有些人可能認為技術(shù)尚未成熟，但是它正在迅速發(fā)展與融合。只需有限的投入，就可以進行實驗和實施概念驗證，從而在全球采納此技術(shù)前就可以獲得競爭優(yōu)勢。有鑒于AI和IoT指數(shù)級的增長，邊緣AI的成長是必然的，這絕對是個絕佳的投資機會。