基于 KeyStone DSP 的多核視頻處理技術
高性能與多核處理器
摘要
隨著越來越多的移動手持終端支持視頻功能,對于流媒體內容及實時通信的網絡支持需求也在顯著上升。雖然對已部署的 3G 媒體網關進行升級可以支持較低的分辨率和幀速率,但這種由于自身的有限處理能力而進行的升級并不能滿足視頻成為主流應用的需求。
為了使可擴展視頻應用能夠支持高密度 (HD),需要顯著提高視頻處理能力,而多核數字信號處理器 (DSP) 不但擁有能滿足此類需求的增強型視頻處理功能,同時還能充分滿足運營商在可擴展性和低功耗方面的需求。
本文旨在介紹一種全新的多內核平臺,其能夠通過優(yōu)化內核通信、任務管理及存儲器接入實現(xiàn)高密度視頻處理能力,此外,本文還闡述了擴展實施的結果如何支持多通道和多內核 HD 視頻應用的高密度視頻處理。
目錄
1 介紹 ……………………………………………………………………………………………2
2 基礎局端 HD 視頻面臨的挑戰(zhàn) ………………………………………………………………2
2.1 外部 I/O 接口 ………………………………………………………………………………4
2.2 處理性能 ……………………………………………………………………………………5
2.3 存儲器設計的考慮事項 ……………………………………………………………………6
2.4 多內核協(xié)作與同步 …………………………………………………………………………7
2.5 多芯片系統(tǒng) ……………………………………………………………………………………7
3. KeyStone DSP - TI 最新多內核處理器 ……………………………………………………8
表目錄
表 1 KeyStone DSP與視頻要求 …………………………………………………………………8
圖目錄
圖 1 通過網絡進行視頻通信……………………………………………………………………3
圖 2 KeyStone DSP 方框圖 ……………………………………………………………………8
商標 C64x+ 與 C67x 均為德州儀器公司的商標。
所有其他商標均是其各自所有者的財產。
1 介紹
1 介紹
3G 與 4G 移動網絡在全球范圍內的廣泛部署以及無線創(chuàng)新熱點的不斷涌現(xiàn),催生了手持終端用戶所需的關鍵數據帶寬。除了 web/數據應用以外,視頻已成為移動數據普及的另一推動力。
隨著越來越多的用戶轉而使用視頻應用,網絡基礎局端需要實現(xiàn)顯著的性能提升才能支持視頻內容,這從最近蘋果公司 Facetime 視頻呼叫應用及類似應用的流行上可見一斑。
手持終端能夠以更高的分辨率和幀速率支持視頻捕獲與播放。傳統(tǒng)部署的 3G 媒體網關專用于支持低分辯率視頻應用中的高密度多語音通道,但通常不能滿足用戶對于高質量的預期。
此外,由于手持終端因電池使用壽命和存儲器大小等技術局限性,通常僅能以有限的參數集支持幾種標準,因而媒體網關需要支持更多的編解碼器和轉碼模式,如轉碼、傳輸量以及傳輸速率等。例如,當移動手機用戶駕車高速駛過某個區(qū)域時,讓網絡去適應由當時瞬時鏈接條件提供的帶寬并提供相應的壓縮、分辨率及比特率更具高效性,這樣視頻鏈不致中斷,而且手持終端也不會因支持縮放或剪輯造成帶寬或電池電量的浪費。
為了充分滿足這些需求,我們需要顯著提高高密度媒體網關的視頻處理能力。多內核 DSP 能夠以較低運營成本提供可擴展的解決方案,從而全面解決運營商重點關注的功耗與空間占用問題。
本文的組織結構如下:
首先,闡述了處理高分辨率視頻面臨的挑戰(zhàn)和資源需求,以及如何有效地實現(xiàn)帶可擴展實施功能的視頻編碼算法,以便同時支持低分辨率和高分辨率通道。
其次,還對軟硬件選項如何提高多內核運行的效率展開了討論。
最后,本文回顧性介紹了多內核 DSP 領域前沿技術的發(fā)展歷程,并探討了開發(fā)人員可資利用的平臺。
2 基礎局端 HD 視頻面臨的挑戰(zhàn)
圖 1 描述了基于基礎局端網絡的視頻通信系統(tǒng)。一個典型的系統(tǒng)應支持多種功能,其中包括:
• 高密度媒體的碼制轉換與速率適應
• 與視頻轉碼相關的音頻轉碼
• 大型多方視頻會議
• 諸如語音等其他媒體形式的處理
圖 1 基于網路的視頻通信
轉碼是一種典型的通信基礎局端視頻應用,我們可在其中通過已壓縮的輸入流對 YUV 域視頻流進行解碼,然后再使用不同的標準(轉碼)、不同的比特率(碼流速率)、分辨率(傳輸大?。┗蛏鲜龈黜椀娜我饨M合重新進行編碼。從高質量的高清專業(yè)相機到低分辨率的智能電話錄制,視頻內容來源廣泛;而視頻內容接收器也是種類繁多,從大型的高清電視屏幕到低分辨率的手持終端,無所不包。視頻基礎局端必須全方位滿足各種需求,其中包括:
• 多重編碼和解碼標準,如 DV、MPEG2/4、H.264 以及未來的 H.265 等。
• 多種分辨率和幀速率,從 128×96 像素的次 1/4 公用中分辨率格式 (SQCIF) 乃至更低分辨率,到高清 (1920x1080) 甚至是超高清 (4320P, 8K),從每秒 10 幀到每秒 60 幀不等。
• 各種編碼的輸入/輸出 (I/O) 比特率,如從低分辨率低質量手持終端視頻流的 48 Kbps 到專業(yè)質量的 50 Mbps(H.264 級 4.2)甚至更高。YUV域視頻流的帶寬要求非常高,例如,采用 4:2:0 配色方案的 YUV 1080p60 視頻流需要 1.5 Gbps 左右的帶寬。
延遲要求因應用而異:視頻會議和實時游戲應用對延遲的要求非常嚴格,不能超過 100 毫秒;視頻點播應用則可以接受中等延遲(可達幾秒鐘),而且存儲等非實時應用的處理能夠允許更長時間的延遲。
評論