現(xiàn)在，被稱為是單片機的微控制器（MCU）已經(jīng)越來越“不簡單”。隨著物聯(lián)網(wǎng)設(shè)備的普及和應(yīng)用場景的擴大，對于更智能化和自主決策能力的需求也在增加，作為物聯(lián)網(wǎng)設(shè)備中必不可少的大腦——MCU，正朝著更智能化、更強大的方向發(fā)展。越來越多的傳統(tǒng)微控制器單元（MCU）巨頭們開始意識到將AI功能與MCU相結(jié)合的潛力，并積極投入到AI領(lǐng)域的研發(fā)中。傳統(tǒng)認知中，人工智能（AI）相關(guān)的深度學(xué)習(xí)應(yīng)用，只有算力充沛的MPU或者是PC才能玩得轉(zhuǎn)。那么，MCU廠商們將如何應(yīng)對這一新趨勢呢？

為什么要在MCU集成AI？

首先，讓我們來了解下，為何MCU大廠要在MCU產(chǎn)品中布局AI，在MCU上跑AI或者將MCU與NPU等集成在一起的好處有哪些？大致可歸納為如下幾個方面：

低功耗和高效性能：MCU通常具有較低的功耗和較高的能效特性，適合應(yīng)用于低功耗場景。將AI算法和處理能力與MCU集成在一起，可以在低功耗的情況下實現(xiàn)高效的AI計算。這對于一些需要長時間運行、依賴于電池供電或功耗敏感的應(yīng)用非常重要。

實時性和即時響應(yīng)：將AI能力集成到MCU上，使得AI算法可以實時地在設(shè)備本地進行處理和響應(yīng)，而無需依賴于云端或其他遠程服務(wù)器。這提高了系統(tǒng)的實時性和即時響應(yīng)能力，使得設(shè)備能夠更快速地做出決策和反應(yīng)，適用于許多實時應(yīng)用場景，如嵌入式控制、邊緣計算等。

隱私和數(shù)據(jù)安全：將AI算法和數(shù)據(jù)處理能力放在設(shè)備本地，可以減少對云端的依賴，從而增強隱私和數(shù)據(jù)安全性。敏感數(shù)據(jù)可以在本地設(shè)備上進行處理，減少了數(shù)據(jù)傳輸?shù)娘L(fēng)險和隱私泄露的可能性。這對于一些對隱私和數(shù)據(jù)安全要求較高的應(yīng)用，如智能家居、醫(yī)療設(shè)備等非常重要。

靈活性和定制化：將MCU與NPU等AI處理單元集成在一起，可以為設(shè)備提供更大的靈活性和定制化能力。根據(jù)特定的應(yīng)用需求，可以選擇不同的MCU和AI處理單元的組合，以實現(xiàn)最佳的性能和能效平衡。這種靈活性和定制化能力可以適應(yīng)各種應(yīng)用場景和需求的變化。

減少系統(tǒng)復(fù)雜性和成本：相對于將AI處理能力集中在獨立的處理器或芯片中，將其集成在MCU中可以減少組件數(shù)量和系統(tǒng)復(fù)雜性，從而降低了系統(tǒng)設(shè)計和制造的成本。

總之，有AI功能的MCU可以為物聯(lián)網(wǎng)設(shè)備提供更高級的控制和計算能力，使其能夠進行復(fù)雜的推理和決策。因此，現(xiàn)在為邊緣設(shè)備創(chuàng)建機器學(xué)習(xí)模型正成為一種大的趨勢，這些模型稱為微型機器學(xué)習(xí)或TinyML，它主要適用于內(nèi)存和處理能力有限的設(shè)備，以及互聯(lián)網(wǎng)連接不存在或有限的設(shè)備。TinyML使在MCU上運行深度學(xué)習(xí)模型成為可能。TinyML在MCU上的應(yīng)用越來越普遍。

但是，想讓深度學(xué)習(xí)模型在MCU上跑起來，不是易事。MCU上跑AI，最關(guān)鍵的是如何將訓(xùn)練好的深度學(xué)習(xí)的模型，轉(zhuǎn)換并部署到MCU上，這需要一整套工具和方法，這對于傳統(tǒng)的MCU廠商而言還是有一定門檻的。因此，要在MCU上部署AI，必須在軟件和硬件兩方面同時著力。那么MCU巨頭們都是如何做的呢？

MCU廠商自行設(shè)計機器學(xué)習(xí)軟件

AI應(yīng)用通常需要硬件和軟件的緊密配合。但從MCU本身的屬性來看，它的資源非常有限，因此需要特定的軟件庫和工具來支持AI任務(wù)。然而，與傳統(tǒng)的計算機平臺相比，MCU上的AI軟件庫和工具的選擇和可用性相對較少。開發(fā)人員可能需要自行優(yōu)化和適配現(xiàn)有的庫，或者開發(fā)專門針對MCU的AI軟件。在幾大MCU巨頭廠商里，恩智浦和ST均已經(jīng)自行設(shè)計了機器學(xué)習(xí)相關(guān)的軟件。

恩智浦在2018年推出了機器學(xué)習(xí)軟件eIQ軟件，該軟件能夠在恩智浦EdgeVerse微控制器和微處理器（包括i.MX RT跨界MCU和i.MX系列應(yīng)用處理器）上使用。

后來，為了降低MCU運行AI算法的門檻，恩智浦還打造了一個適用于MCU的AI工具鏈——NANO.AI。它主要包含兩部分，一部分是將原始算法模型轉(zhuǎn)換成MCU上能夠快速運行的數(shù)據(jù)和庫，另一部分包含一個輕量級推理引擎，能做出一個能跑在MCU上、只需幾兆Flash甚至幾兆SDRAM的方案。

目前，恩智浦已經(jīng)推出了帶有AI功能的MCU產(chǎn)品，MCX N系列是恩智浦集成NPU的第一個產(chǎn)品家族，MCX N94x和MCX N54x MCU系列中集成了恩智浦設(shè)計的用于實時推理的專用片上神經(jīng)處理單元 (NPU)。據(jù)悉，與單獨使用 CPU內(nèi)核相比，片上NPU的ML吞吐量最高可提高 30 倍。

2019年ST也發(fā)布了一款STM32Cube.AI工具，這使開發(fā)者在MCU上優(yōu)化AI模型成為可能。STM32Cube.AI是一款用來評估、轉(zhuǎn)換、優(yōu)化和部署已訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型的工具，適合主流的人工智能框架，可為開發(fā)者提供評估和調(diào)整算法的能力。

而其實ST很早就在AI上進行起布局，這大約可以追溯到2017年，在2017年ISSCC（國際固態(tài)電路會議）上ST 揭曉了一種能夠加速深度卷積神經(jīng)網(wǎng)絡(luò)算法的超低功耗片上系統(tǒng) (SoC)—Orlando。Orlando使用Cortex-M4微控制器 (MCU) 和 128 KB 內(nèi)存、八個可編程集群，每個集群包含兩個 32 位 DSP 和四個 SRAM 組，每個組提供四個模塊，每個模塊為 2 x 64 KB。與這個高效核心相結(jié)合的是圖像和 CNN 協(xié)處理器（稱為神經(jīng)處理單元或 NPU），它集成了八個卷積加速器 (CA) 等。

與第三方軟件工具商合作

與第三方軟件工具商合作，對于MCU廠商而言，也不失為是一個好的策略，第三方機器學(xué)習(xí)軟件工具商通常擁有豐富的機器學(xué)習(xí)算法和工具庫，MCU廠商可以基于這些軟件工具構(gòu)建自己的解決方案，并根據(jù)客戶需求提供定制化的選擇。在這方面，Microchip、瑞薩、ST都有相關(guān)的布局。

2020年9月，Microchip宣布與Cartesiam（現(xiàn)已被ST收購）、Edge Impulse和Motion Gestures合作，將這些合作伙伴的軟件和解決方案的接口引入其設(shè)計環(huán)境，使Microchip的32位MCU和MPLAB X集成開發(fā)環(huán)境，能夠在其 AI/ML 項目的所有階段為客戶提供獨特的支持，包括數(shù)據(jù)收集、模型訓(xùn)練和推理實施。

據(jù)悉，Microchip機器學(xué)習(xí) (ML) 技術(shù)的核心是用于MPLAB X IDE的ML插件。ML插件在 MPLAB Data Visualizer 中工作，簡化了數(shù)據(jù)收集過程并支持快速開發(fā)嵌入式ML解決方案。ML插件檢索的數(shù)據(jù)由他們的設(shè)計合作伙伴得工具進行分析，并有助于事件識別和數(shù)據(jù)模式異常檢測。

在近日的STM32峰會上，ST宣布與英偉達合作，將NIVIDIA TAO和STM32Cube.AI工具相整合，讓開發(fā)者STM32微控制器上無縫訓(xùn)練和實現(xiàn)神經(jīng)網(wǎng)絡(luò)模型，以達到適配的性能和精度。NVIDIA TAO是一個加速AI算法開發(fā)和優(yōu)化的開發(fā)環(huán)境，TAO工具包提供了一個低代碼的人工智能框架，以加速視覺模型的開發(fā)。

但是與第三方軟件工具商合作也有弊端，如Microchip合作的Cartesiam軟件工具商就被ST收購（下文中講述），還可能存在技術(shù)整合和兼容性問題、依賴性等問題。

通過收購補齊軟件上的短板

毫無疑問，MCU廠商已經(jīng)意識到AI技術(shù)對于MCU的重要性，而且AI領(lǐng)域的技術(shù)變化快速，收購是實現(xiàn)技術(shù)升級的一個快速途徑。這也有助于簡化客戶的采購和集成過程，提高產(chǎn)品的易用性和競爭力。

我們已經(jīng)看到，近兩年來，越來越多的MCU巨頭開始通過收購一些專注于MCU的AI解決方案和軟件工具的廠商，來增強自身在AI領(lǐng)域的競爭力。

首先是意法半導(dǎo)體（ST），2021年6月3日，意法半導(dǎo)體宣布收購邊緣AI軟件專業(yè)開發(fā)公司Cartesiam。Cartesiam成立于2016年，總部位于法國土倫，專門從事人工智能開發(fā)工具研發(fā)，讓基于Arm的MCU具有機器學(xué)習(xí)和推理能力。該公司開發(fā)了具有專利的NanoEdge AI Studio旗艦解決方案，它能讓沒有AI知識背景的嵌入式系統(tǒng)設(shè)計人員也可以快速開發(fā)專用的軟件庫，NanoEdge? AI Studio可以讓開發(fā)人員基于少量數(shù)據(jù)，通過創(chuàng)建、清理、優(yōu)化數(shù)據(jù)集等步驟創(chuàng)建適配的ML庫。NanoEdge具有異常檢測與設(shè)備學(xué)習(xí)的能力，也提供分類和回歸庫。收購Cartesiam公司之后，該公司的NanoEdge AI Studio方案將對ST的STM32Cube.AI實現(xiàn)進一步完善和補充。

據(jù)悉，ST即將推出第一個帶有神經(jīng)網(wǎng)絡(luò)硬件處理單元（Neural-Art Accelerator）的通用微控制器——STM32N6，這款MCU與其STM32MP1微處理器（運行頻率為 800MHz 的雙 Cortex-A7）相比，STM32N6 的推斷速度提高了25倍。

再一個是瑞薩，2022年7月20日，瑞薩宣布，完成對美國從事機器學(xué)習(xí)模型開發(fā)的初創(chuàng)企業(yè)Reality AI。Reality AI主要為汽車、工業(yè)和商業(yè)產(chǎn)品中的高級非視覺傳感提供范圍廣泛的嵌入式人工智能和微型機器學(xué)習(xí) (TinyML) 解決方案。

此次收購將使瑞薩電子能夠擴展其用于人工智能應(yīng)用的工具套件和軟件產(chǎn)品，將Reality AI的人工智能推理技術(shù)與瑞薩電子的MCU和MPU產(chǎn)品組合相結(jié)合，將實現(xiàn)機器學(xué)習(xí)和信號處理的無縫實施。據(jù)了解，與使用量化、壓縮、修剪或其他機器學(xué)習(xí)技術(shù)使模型變小但精度降低的方法不同，Reality AI將先進的信號處理方法與機器學(xué)習(xí)相結(jié)合，在不影響體積的情況下提供完全的精度。

據(jù)瑞薩物聯(lián)網(wǎng)及基礎(chǔ)設(shè)施事業(yè)本部MCU事業(yè)發(fā)展部副總裁Mohammed Dogar的介紹，瑞薩將全面擁抱AI。目前嵌入式AI分析主要有三個場景：視頻、語音以及實時分析。在這三個場景中，瑞薩均在布局，其中前兩種主要是跟第三方合作伙伴來實現(xiàn)，而對于實時分析，主要就是通過收購Reality AI來實現(xiàn)。

英飛凌在近日也剛剛發(fā)布了收購的信息，2023年5月16日，英飛凌宣布，已收購總部位于瑞典斯德哥爾摩的初創(chuàng)公司Imagimob AB。Imagimob是快速增長的微型機器學(xué)習(xí)和自動機器學(xué)習(xí)（TinyML 和 AutoML）市場的領(lǐng)先者。據(jù)了解，Imagimob開發(fā)了一個端到端的機器學(xué)習(xí)工具鏈，該工具鏈高度靈活且易于使用，重點放在交付生產(chǎn)級ML模型上。英飛凌將收購該公司 100% 的股份。以提升其微控制器和傳感器上的 TinyML邊緣 AI 功能。

這筆交易將進一步擴展英飛凌的硬件/軟件生態(tài)系統(tǒng)，使使用從賽普拉斯和英飛凌傳感器系列獲得的 PSoC 微控制器的開發(fā)人員可以更方便地使用 TinyML。但也有可能在內(nèi)部用于無線 AIROC 芯片的固件，以通過使用 TinyML 優(yōu)化信號鏈來提高性能并降低功耗。

總體而言，通過收購掌握AI軟件技術(shù)，這些廠商可以在其MCU產(chǎn)品中實現(xiàn)更深層次的集成，提供更加完整和高性能的解決方案。

結(jié)語

我們正在邁入AIoT時代，AI深入到邊緣和終端裝置，已經(jīng)是一個長期必然的大方向。MCU這個芯片界的老前輩，也在因應(yīng)市場需求，衍生出更多的功能。目前幾乎幾大MCU巨頭均已經(jīng)在AI軟件方面?zhèn)渥懔藦椝?，接下來就是比拼產(chǎn)品的過程。而在這個逐漸由AI驅(qū)動的MCU的未來，國內(nèi)MCU廠商將面臨著更大的挑戰(zhàn)。