基于STM32MP157的多核心處理器開發(fā)輔助盲人手杖解決方案
加入技術(shù)交流群
友尚推出輔助盲人手杖解決方案，基于ST MPU+ST全局快門影像傳感器及DToF架構(gòu)。
主要元件簡介：
STM32MP157微處理器基于靈活的Arm? Cortex?-A7雙核心（工作頻率800 MHz）和Cortex?-M4核心（工作頻率209 MHz）架構(gòu)，并配有一個專用的3D圖形處理單元(GPU)、一個MIPI -DSI顯示界面以及一個CAN FD界面。
STM32MP157 3D OpenGL ES 2.0圖形引擎專為在圖形使用者界面（GUI）、選單顯示或動畫等應用中加速3D圖形而設(shè)計，可配合面向業(yè)界標準API優(yōu)化的軟體堆疊，支援Android?和Linux?嵌入式開發(fā)平臺。
ST官網(wǎng)提供多種開發(fā)包與工具，并接受多種IoT開發(fā)平臺，有自身的討論社區(qū)與wiki ，讓使用者有著大量的資源能夠使用與自由的開發(fā)環(huán)境。
（詳細資料：STM32MP157 MPU Dual Arm Cortex-A7 cores - 意法半導體STMicroelectronics）
ST VD56G3是針對可見光和近紅外線進行最佳化的 150 萬像素全域快門影像感測器，具有嵌入式自動曝光和光流運動向量運算的場景。
（詳細資料：VD56G3 - Compact and high-sensitivity 1.5 megapixel monochrome global shutter image sensor - 意法半導體STMicroelectronics）
VL53L8CX是一款8x8多區(qū)域ToF測距感測器，兩個先進的超表面鏡頭及在環(huán)境光下能夠在降低功耗的同時增強效能。
基于意法半導體的FlightSense技術(shù)設(shè)計，能夠提供最高400 cm的精確測距，并具有65°對角線視場。
采用意法半導體的專利算法，可以偵測和追蹤視場內(nèi)的多個目標，并具有64區(qū)域深度測量能力。 意法半導體的直方圖確保蓋片玻璃串擾抗擾度超過60 cm。
（詳細資料：VL53L8CX - 高性能的低功耗8x8多區(qū)域飛行時間 (ToF) 傳感器 - 意法半導體STMicroelectronics）
主要功能：
VD56G3影像傳感器收集前方影像，透過STM32MP157的多核心處理器中的人工智能模型，辨識出影像畫面中的物件類型，配合VL53L8CX進行與到物件類型的距離測量，以作為輔助用。
方案原理：
VD56G3影像傳感器用于收集影像資料。
STM32MP157的多核心處理器進行影像辨識路況 （輸入的人工智能模型，運行計算影像資料 ）。
VL53L8CX是進行絕對距離測量，測量前方障礙物、交通號志、視障者距離，依照路況不同，傳送對應指令給STM32MP157，喇叭發(fā)出不同指引音。
系統(tǒng)流程圖
?場景應用圖
?展示板照片
?方案方塊圖
?核心技術(shù)優(yōu)勢
1. STM32MP157因雙核心提供強力AI運算功能，與其所研發(fā)而出的擴充版STM32MP157C-DK2，便于整合其他模組。 2. ST Global Shutter CIS適用于機器視覺，在移動間拍照影像不會扭曲利于得到完整圖像做判斷。 3. VL53L8CX適用于室外環(huán)境光影響造成誤差，較其他ToF測距感測器少，且能夠低功率運行，讓方案使用時間變長。
?方案規(guī)格
1. 主芯片STM32MP157由雙核心Cortex-A7 32 位 + Cortex-M4 32 位 MPU組成，提供強大Ai計算能力。 2. 高達 1 GB 的外部 DDR 記憶體。 3. 5V／3A USB Type-C電源輸入。 4. 多作業(yè)系統(tǒng)支援，Windows? 10、Linux? 64 位元或 macOS?。
評論