Jacinto 7 攝像頭捕捉和成像子系統(tǒng)
英飛凌汽車電子生態(tài)圈
1 引言
本文引用地址：http://cafeforensic.com/article/202311/452510.htm攝像頭是工業(yè)和汽車市場中基于視覺系統(tǒng)的關鍵元件。在機器視覺、機器人技術、視頻監(jiān)控、高級駕駛輔助系統(tǒng)(ADAS) 等工業(yè)和汽車應用中，攝像頭的數量、幀速率和分辨率一直都在顯著增加。對于此類應用中使用的應用處理器來說，捕捉和處理包括原始輸入在內的這些攝像頭輸入至關重要?；?Jacinto 7 的高性能異構應用處理器，包括 TDA4VM 和 DRA829 [1] 和 [2]，能夠提供捕捉和處理多個攝像頭輸入的功能，以便優(yōu)化性能、功耗和內存吞吐量。
Jacinto 7 攝像頭捕捉系統(tǒng)是德州儀器 (TI) 的第 7 代成像子系統(tǒng) (ISP)，它是在 20 多年來將多個 SoC 系列部署到上百萬產品的創(chuàng)新實踐摸索中構建的。一些差異化特性包括：
? 與所有圖像傳感器格式兼容
? 低功耗、更高的性能、全圖像流水線以及經過優(yōu)化的內存吞吐量
– 鏡頭陰影校正、噪聲濾波器、WDR、去馬賽克、色彩空間轉換、圖像金字塔
? 兩個用于高分辨率多攝像頭捕捉的高速接口
– 每個接口多達 16 個虛擬通道。多達 32 個攝像頭捕捉。
? 同時進行人類 + 機器視覺輸出
– 人類視覺 ISP 特性：
? 140dB WDR
? 局部自適應色調映射
? 雙噪聲濾波器
? 8b 輸出
– 機器視覺 ISP 特性：
? 高級 CFA 插值支持所有 2x2 CFA 格式
2 攝像頭捕捉子系統(tǒng)
TDA4VM/DRA829 攝像頭捕捉子系統(tǒng)包括 2 個 MIPI CSI-2 接口和視頻處理前端 (VPFE)，如圖 2-1 所示。
圖 2-1. TDA4VM/DRA829 攝像頭捕捉子系統(tǒng)
2.1 MIPI-CSI2
TDA4VM/DRA829 MIPI-CSI2 接口支持以下特性：
? 2 個 4 通道 MIPI D-PHY（2.5Gbps/通道）
? 支持 8 個帶解串器集線器的傳感器
? 2 個攝像頭適應層 (CAL)
– MIPI CSI2 的協議棧
– 支持所有 MIPI 支持的格式
? RAW/DPCM/YUV
? RAW 8、10、12、14、16 位
– 經過壓縮擴展或線性
? 從 SDRAM 并行讀取像素流
– I/F 端口流量的實時優(yōu)先級
2.2 視頻處理前端
視頻處理前端 (VPFE) 是一個輸入接口模塊，用于從圖像傳感器等外部成像外設接收原始圖像/視頻數據或 YUV 數
字視頻數據。VPFE 支持以下特性：
? 支持傳統(tǒng)的拜耳陣列和 Foveon 傳感器格式。
– 為外部時序發(fā)生器生成 HD/VD 時序信號和字段 ID，也可以同步到外部時序發(fā)生器
– 支持逐行掃描（非隔行掃描）和隔行掃描傳感器
– 支持高達 110MHz 的傳感器時鐘。
– 支持 REC656/CCIR-656 標準（YCbCr 422 格式，8 位或 16 位）。
– 支持帶有離散 HSYNC 和 VSYNC 信號的 8 位或 16 位 YCbCr 422 格式。
– 支持多達 16 位的輸入。
3 視覺預處理加速器
視覺預處理加速器 (VPAC) 子系統(tǒng)是一組常見的視覺基元功能，用于執(zhí)行像素數據處理任務，例如：色彩處理和增強、噪聲濾波、寬動態(tài)范圍 (WDR) 處理、鏡頭失真校正、用于去扭曲的像素重映射、動態(tài)縮放生成和動態(tài)金字塔生成。VPAC 從主 SoC 處理器（ARM、DSP 等）卸載這些常見任務，以便這些 CPU 可用于差異化的高級算法。VPAC 用于通過在時分復用模式下工作來支持多個攝像頭。VPAC 可用作視覺處理流水線的前端，供 SoC 內的其他視覺加速器或處理器內核進行進一步的處理。
圖 3-1 展示了 VPAC 簡要方框圖。
圖 3-1. VPAC 方框圖
VPAC 由以下主要部分組成：
? 視頻成像子系統(tǒng) (VISS)
? 鏡頭失真校正 (LDC)
? 雙線性噪聲濾波器 (BNF)
? 多標量 (MSC)
3.1 視頻成像子系統(tǒng) (VISS)
VISS 對原始數據進行圖像處理，然后輸出 RGB 和/或 YUV 圖像。視頻成像子系統(tǒng) (VISS) 包括以下組成部分：
? 原始前端 (Raw FE)，用于實現：
– 寬動態(tài)范圍 (WDR) 合并
– 缺陷像素校正 (DPC)
– 鏡頭陰影校正 (LSC)
– 分解
– 3A 統(tǒng)計
– 白平衡
? 噪聲濾波器 (NSF)
– 拜耳域空間噪聲濾波器
? 用于自適應局部色調映射的全局和局部亮度對比度增強 (GLBCE)
? Flex 顏色處理 (FCP)，它支持
– 去馬賽克、色彩校正、色彩空間轉換和伽馬轉換
VISS 流水線能夠以每周期 1 個像素的速度來處理數據。在 TDA4VM 上，VISS 系統(tǒng)的時鐘頻率可以達到720Mhz，從而實現 72000 萬像素/秒的處理能力。
3.2 鏡頭失真校正 (LDC)
LDC 模塊通過應用透視變換/單應矩陣，將像素從失真的輸入空間重新映射到未失真的輸出空間。LDC 支持以下特性：
? 鏡頭失真校正、立體整流、通用像素重映射
– 可提高圖像質量的多區(qū)域模式
– 高級校正模式 - 基于查找表的反映射方法
– 使用雙三次插值的亞像素精度
– DDR 黑白優(yōu)化的架構
? 支持的格式：
– YUV 420 (NV12/NV21)
– 高達 12 位/元件
? 插值類型：
– 雙三次（2 個周期/像素）
– 雙線性（1 個周期/像素）
3.3 多標量 (MSC)
MSC 可使用多種縮放比例，從給定輸入生成多達 10 個經過縮放的輸出。MSC 支持以下特性：
? 多縮放能力：來自 1 個或 2 個輸入平面的 10 個同時縮放的輸出
? 每個縮放引擎都可以配置為執(zhí)行金字塔或倍頻程間的縮放生成
? 支持 1 至 0.25 倍之間的縮放比例
? 每個倍頻程之間有 7 個縮放比例 → 1.09 倍
? 單個周期/像素性能
3.4 雙邊噪聲濾波 (BNF)
BNF 采用了雙邊濾波，以去除噪聲，它支持以下功能：
? 雙邊和通用濾波
? 濾波器尺寸高達 5x5
? 真正的 2D 雙邊濾波
? 可編程靜態(tài)權重的濾波器尺寸高達 5x5
? 1 個周期/像素性能
? 支持的格式：
– YUV 42，12 位
– 可以使用 LDC/定標器支持 8 位格式
– 基于線路的輸入和輸出
3.5 攝像頭傳感器的軟件可用性
有關可用的攝像頭傳感器驅動程序，請參閱 Jacinto 7 Processor SDK 成像發(fā)行說明
4 用例示例
下面顯示了一些常見的攝像頭用例示例，假設原始攝像頭輸入為每像素 12 位。
4.1 使用 MIPI 聚合器的 4 攝像頭用例
圖 4-1 展示了一個簡要方框圖，其中 4 個 200 萬像素 @30fps 攝像頭輸入通過使用 MIPI CSI-2 聚合器和數據流直接連接至 TDA4VM。
圖 4-1. 使用 MIPI CSI-2 聚合器和數據流的 4 攝像頭用例
表 4-1 總結了此用例的總利用率。
表 4-1. 此用例的總利用率
4.2 通用 8 攝像頭用例
圖 4-2 展示了通過 FPDLink 串行器和解串器遠程連接的 8 個 200 萬像素 @30fps 攝像頭輸入的簡要方框圖及數據流。
圖 4-2. 8 個 200 萬像素攝像頭方框圖及數據流
有關基于 FDPLink 的多攝像頭設置，請參閱 [5]。
表 4-2 總結了此用例的總利用率。
表 4-2. 此用例的總利用率
4.3 ADAS 用例
圖 4-3 展示了常見 ADAS 用例的簡要方框圖，其中
? 1 個 800 萬像素 @30fps 攝像頭用于前置攝像頭
? 1 個 100 萬像素攝像頭用于 DMS，以及
? 4 個 200 萬像素 @30fps 攝像頭用于 3D SRV。
這些攝像頭通過 FPDLink 串行器和解串器遠程連接。
圖 4-3. ADAS 用例和數據流示例
有關基于 FDPLink 的多攝像頭設置，請參閱 [5]。
表 4-3 顯示了此用例的總利用率。
表 4-3. 此用例的總利用率
5 參考文獻
1. TDA4VM 產品頁面
2. DRA829V 產品頁面
3. 德州儀器 (TI)：DRA829/TDA4VM/AM752x
技術參考手冊
4. 適用于 TDA4VM/DRA829 Jacinto 處理器的軟件開發(fā)套件
5. TDA4VM/DRA829 評估模塊
評論