目前電子產(chǎn)業(yè)的設(shè)計(jì)動(dòng)能，無(wú)疑將很大的一部分集中在移動(dòng)終端，尤其是手機(jī)的開發(fā)上頭。就通信環(huán)境來(lái)說，移動(dòng)通信系統(tǒng)持續(xù)朝向更高傳輸量及IP化發(fā)展，在應(yīng)用上則帶動(dòng)了VoIP、email、簡(jiǎn)訊、Java Game甚至是VoD、Mobile TV等網(wǎng)路、廣播服務(wù)的出現(xiàn)。這些應(yīng)用型態(tài)，對(duì)于移動(dòng)終端的設(shè)計(jì)都是新的挑戰(zhàn)，本文將著重于探討多媒體手機(jī)的開發(fā)及系統(tǒng)架構(gòu)規(guī)劃。

　　為了因應(yīng)多媒體的表現(xiàn)，今日的手機(jī)必須在軟硬件架構(gòu)上進(jìn)行必要的調(diào)整：首先是顯示器，除了螢?zāi)坏某叽缬鷣?lái)愈大外，為提升顯示品質(zhì)，在解析度上從qQVGA、QCIF，一路往QVGA升級(jí)；面板技術(shù)上則從CSTN、A-TFT、LTPS，逐漸升級(jí)到OLED；此外，MVA、IPS等寬視角技術(shù)也愈來(lái)愈受重視。

　　在多媒體的應(yīng)用功能上，包括了視頻（錄影、視頻節(jié)目等）、音頻（語(yǔ)音、音樂、影音效果等）和圖形（照片、游戲等），分別需要用到專門的處理技術(shù)，以及鏡頭、感測(cè)器、處理器、記憶體和顯示器等硬件系統(tǒng)配備。以照相功能為例，手機(jī)相機(jī)除了訴求更高解析度、對(duì)動(dòng)態(tài)攝影要求具有SDTV視頻的捕捉能力外，光學(xué)伸縮鏡頭（Optical zoom）、手振校正功能及閃光燈都將是高階手機(jī)的附加功能。

　　手機(jī)多媒體處理架構(gòu)

　　隨著多媒體任務(wù)愈來(lái)愈繁重，單單依賴基頻已難以承受所有處理工作，因此應(yīng)用處理器（application processor）的角色就因應(yīng)而生。將應(yīng)用處理功能從基頻中分離出來(lái)，一方面可以分擔(dān)彼此的工作，另一方面則可以視市場(chǎng)的需求而各自調(diào)整、升級(jí)個(gè)別的功能，例如基頻可以專注于因應(yīng)通信規(guī)格的變化，而支援GPRS/EDGE及WCDMA等多模功能。此外，系統(tǒng)業(yè)者也能依自己的需求來(lái)搭配這兩個(gè)單元。

　　應(yīng)用處理器在功能上的演進(jìn)壓力也很大，例如對(duì)照相功能得準(zhǔn)備再升級(jí)到三百萬(wàn)，甚至是五百萬(wàn)畫素，視頻上也得進(jìn)一步支援30ftp的VGA畫質(zhì)；在圖形處理方面，它得嵌入2D/3D繪圖引擎，以滿足游戲的臨場(chǎng)感；至于最新的應(yīng)用需求則是支援要DVB-H、T-DMB或Media FLO等移動(dòng)電視規(guī)格。

　　由于業(yè)者的技術(shù)背景不同，目前市場(chǎng)上應(yīng)用處理器的架構(gòu)作法也不盡相同，以處理器技術(shù)見長(zhǎng)的廠商提出採(cǎi)用高效能的單一ARM核心來(lái)處理所有工作的架構(gòu)；同時(shí)有更多人採(cǎi)用ARM加DSP的雙核心架構(gòu)，也就是將控制與訊號(hào)處理工作分流，由ARM的RISC核心主要進(jìn)行控制工作，大量的訊號(hào)加、解碼工作則交給DSP來(lái)執(zhí)行。此外，有些專屬性應(yīng)用的處理工作非常消耗運(yùn)算資源，這時(shí)，應(yīng)用處理平臺(tái)中會(huì)考慮加入專屬的加速器來(lái)提升處理效能。

　　由于手機(jī)中的應(yīng)用功能不斷增加，因此，在應(yīng)用處理平臺(tái)中加入包括視頻、音頻、2D/3D繪圖、PAN/WAN、安全和GPS定位等專屬功能加速器的分散式處理架構(gòu)，已成為多媒體手機(jī)的重要發(fā)展方向，請(qǐng)參考(圖一)。此架構(gòu)讓系統(tǒng)能以更低的時(shí)脈頻率達(dá)成復(fù)雜的多媒體工作，并能降低主處理器的負(fù)荷。以Nomadik平臺(tái)為例，即是在ARM926EJ-S的主處理器核心外，搭配智能性視頻加速器（Smart video accelerator）和智能音頻加速器（Smart audio accelerator）、多媒體信號(hào)處理器（MMDSP）、加速功能硬件（Acceleration hardware）等多顆可程式智能加速器來(lái)分擔(dān)在音頻和視頻上的前、后處理任務(wù)。

　　圖一　分散式處理模式（以Nomadik為例）

　　資料來(lái)源：ST

　　在任務(wù)執(zhí)行中，這些智能加速器在產(chǎn)生圖像、錄影、播放節(jié)目和雙向影音通信時(shí)，能獨(dú)立且同時(shí)的運(yùn)作，進(jìn)而讓系統(tǒng)能在低耗電的條件下達(dá)成需求的應(yīng)用功能表現(xiàn)，所提供處理動(dòng)力和記憶體頻寬，足以驅(qū)動(dòng)1024x1024 pixels的螢?zāi)?；此外，這些復(fù)雜的加速器能獨(dú)立地與區(qū)域DMA和記憶體資源一起工作，讓主處理器能在同一時(shí)間中更專注于處理應(yīng)用功能，或進(jìn)入省電狀態(tài)來(lái)延長(zhǎng)電池壽命。

　　視頻處理單元

　　在視頻壓縮技術(shù)方面，今日主要的格式包括MPEG-4、H.264、H.263和VC-1等。相較之下，MPEG-4問世的時(shí)間較久，市場(chǎng)上採(cǎi)用的情況也較高，但H.264由于是最新的標(biāo)準(zhǔn)，能提供當(dāng)前最佳的視頻壓縮效能，并且已獲得MPEG/lS0和ITU兩大國(guó)際標(biāo)準(zhǔn)組織的支持，再加上它的適用范圍極廣，所以自2003年標(biāo)準(zhǔn)推出后，即成了HDTV、HD-DVD、手機(jī)及視頻串流等業(yè)者非常重視的規(guī)格。

　　不過，不同的視頻壓縮格式，由于規(guī)格復(fù)雜度不同，需要的運(yùn)算資源也不同；此外，編碼（encode）又比解碼（decode）耗用更大的運(yùn)算資源。以MPEG-4為例，以軟件來(lái)做解碼或許還可行，但若要以軟件來(lái)進(jìn)行編碼就會(huì)耗掉太多的系統(tǒng)運(yùn)算資源。類似地，不同的顯示器視頻品質(zhì)也意味著不同的運(yùn)算需求，例如若要以單一處理器來(lái)提供30 fps的VGA畫質(zhì)視頻，可能得用到GHz等級(jí)的處理器才跑得動(dòng)，不過，這在手機(jī)的環(huán)境下顯然是行不通的，因?yàn)榇朔桨傅暮碾娞@人，散熱也難以處理。

　　在此情況下，專屬的視頻加速器就是最可行的方案。在Nomadik應(yīng)用平臺(tái)中的視頻加速器，能針對(duì)MPEG-4的編解碼提供30 fps的CIF畫質(zhì)、24 fps的VGA畫質(zhì)和384Kbit/s的傳輸率，也具備圖像前／后處理的能力，如(圖二)。在視頻的編、解碼上，除了運(yùn)算處理外，記憶體的容量與架構(gòu)也是設(shè)計(jì)上的關(guān)鍵。舉例來(lái)說，以CIF的顯示器加上抓取緩沖（grab buffer）就需要1200 Kbyte以上才夠。若能開發(fā)一套智能性的動(dòng)作估計(jì)演算法（motion estimation algorithm），就能大幅降低記憶體大小和耗電性。

　　Nomadik以48 Kbyte的on-chip SRAM來(lái)支援VGA視頻編碼，它用在視頻頻框的抓取和搜尋視窗的儲(chǔ)存，外部的記憶體則被用于其余視頻功能的處理。此一作法降低了記憶處理的延遟，讓效能可以大幅提升，同時(shí)也為改善了I/O和匯流排的設(shè)計(jì)，能進(jìn)一步降低耗電；此外，在成本上也因晶片尺寸的縮小而降低。

　　此外，高品質(zhì)、低復(fù)雜性演算法對(duì)于H.264的編解碼也有很大的幫助，以ST來(lái)說，就已提出運(yùn)動(dòng)估算與速率控制演算法，以及用于H.264解碼的錯(cuò)誤檢測(cè)與隱藏演算法，能讓解碼器承擔(dān)并隱藏?cái)?shù)據(jù)封包損失，在無(wú)線封包網(wǎng)路上實(shí)現(xiàn)IP網(wǎng)路的最佳效能。

　　圖二　智能視頻加速器

　　資料來(lái)源：ST

　　音頻處理單元

　　手機(jī)的基本功能，即在處理語(yǔ)音的通話音頻。但在多媒體手機(jī)中，音頻的處理任務(wù)愈來(lái)愈復(fù)雜，除了語(yǔ)音外，還要求具備多音調(diào)振鈴、MP3音樂、FM廣播及游戲音效，而且不能只是單聲道的效果，現(xiàn)在還要求能提供Hi-Fi立體聲的臨場(chǎng)感體驗(yàn)。

　　從單聲道到立體聲，對(duì)手機(jī)音頻系統(tǒng)的設(shè)計(jì)是一種改革性的挑戰(zhàn)。一般而言，Hi-Fi是指16-bit立體聲品質(zhì)、以44.1kHz取樣的音頻，也就是CD音樂的規(guī)格；電話語(yǔ)音則是8-bit和8kHz的單聲道（mono）、低階品質(zhì)音頻。過去這兩個(gè)世界是井水不犯河水的，但今日在手機(jī)上得一併考慮設(shè)計(jì)才行了。

　　在音頻編解碼（CODEC）上，也有琳瑯滿的規(guī)格需要支援：針對(duì)音效的編碼就有PCM、ADPCM、DM、PWM、WMA、OGG、AMR、ACC、MP3Pro以及MP3等；針對(duì)人類語(yǔ)音有LPC、CELP與ACELP等；其他還有MPEG-2、MPEG-4、H.264、VC-1等視聽節(jié)目的編碼格式。手機(jī)多媒體格式的市場(chǎng)趨勢(shì)請(qǐng)參考(圖三)。

　　圖三　手機(jī)多媒體格式的應(yīng)用市場(chǎng)趨勢(shì)

　　在Nomadik中具有一個(gè)音頻加速器，它是一個(gè)完全以C語(yǔ)言加以程式化的多媒體DSP（MMDSP）核心，此核心採(cǎi)用採(cǎi)用超長(zhǎng)指令集（very-long-instruction-word, VLIW）架構(gòu)，它的每個(gè)指令執(zhí)行為一個(gè)循環(huán)，而且完全是由C語(yǔ)言撰寫的程式，適用于與媒體內(nèi)容相關(guān)的處理，以及協(xié)定、負(fù)載平衡和多工架構(gòu)等用途。此一音頻加速器能夠?qū)ΠˋAC、MP3、MPEG-1、MPEG-2、MIDI、Dolby Digital等廣泛的數(shù)字音頻格式進(jìn)行加碼或解碼，也支援SRS、WOW等3D音頻環(huán)繞效果，如(圖四)。

　　圖四　智能音頻加速器

　　資料來(lái)源：ST

　　硬件加速器

　　為了要進(jìn)一步降低耗電，有必要將硬件線路運(yùn)算器（hardwired operator）和MMDSP一起使用，這樣能保證即使在最糟的狀況下還有足夠的效能表現(xiàn)。低頻率的硬件負(fù)責(zé)處理動(dòng)作估計(jì)（motion estimation）、編碼轉(zhuǎn)換（transform coding）、變數(shù)長(zhǎng)度解碼（variable length decoding）、圖像過濾（image filtering）和色彩轉(zhuǎn)換（color conversion）等需要大量MIPS計(jì)算的工作。

　　軟件架構(gòu)剖析

　　吸引人、負(fù)擔(dān)得起和互動(dòng)性的多媒體通信、資訊和娛樂將新的移動(dòng)服務(wù)中處處可見。但對(duì)軟件廠商和設(shè)備制造商來(lái)說，如果每次都要針對(duì)不同的無(wú)線平臺(tái)重新撰寫同樣的應(yīng)用功能，自然是讓人很氣餒的經(jīng)驗(yàn)。Java這類run-time技術(shù)能支援下載游戲和應(yīng)用，但需要有足夠程式資源。有趣的多媒體應(yīng)用需要愈來(lái)愈多的資源和耗電，這對(duì)于體積小的手機(jī)設(shè)備是很大的挑戰(zhàn)。

　　要克服這些問題的一個(gè)務(wù)實(shí)方式，是採(cǎi)用開放多媒體介面的一般性架構(gòu)，而且是基于抽象硬件介面（hardware abstraction）的作法。在這個(gè)架構(gòu)同時(shí)提供上層和下層的觀點(diǎn)，上層的觀點(diǎn)提供應(yīng)用程式撰寫者一套針對(duì)特定作業(yè)系統(tǒng)的統(tǒng)一軟體介面，并對(duì)底層的處理器設(shè)計(jì)加以抽象化。

　　在底層的部分包括多媒體加速器和影音編解碼器，UART、USB及藍(lán)芽等通信介面，以及LCD控制器、影像感測(cè)器或照相機(jī)等一般性應(yīng)用週邊的標(biāo)準(zhǔn)硬件介面；在中間的部分為涵蓋核心、設(shè)備驅(qū)動(dòng)程式和檔案系統(tǒng)的作業(yè)系統(tǒng)功能，以及多媒體架構(gòu)、語(yǔ)音及網(wǎng)路的通信架構(gòu)、Java和安全性架構(gòu)等等；上層的部分則是各種應(yīng)用功能，例如語(yǔ)音、游戲、短信、瀏覽、PIM等等功能。這三層之間則透過底層API及高層API來(lái)進(jìn)行溝通，請(qǐng)參考(圖五)。

　　圖五　軟件架構(gòu)示意圖

　　資料來(lái)源：ST

　　結(jié)論

　　目前移動(dòng)終端設(shè)備的應(yīng)用性不斷地延伸，其中最主要的趨勢(shì)自然是從單純語(yǔ)音走向消費(fèi)性?shī)蕵返?a class="contentlabel" href="http://cafeforensic.com/news/listbylabel/label/多媒體應(yīng)用">多媒體應(yīng)用功能。單以視頻應(yīng)用來(lái)說，就包括攝影（camcorder）、媒體播放（media player）、移動(dòng)電視、視頻電話（video telephony）等等，要提供這些應(yīng)用功能，今日的手機(jī)除了需要提升鏡頭、感測(cè)器、處理器、記憶體和顯示器等硬件系統(tǒng)配備外，開發(fā)者還得面臨不少設(shè)計(jì)挑戰(zhàn)。

　　先進(jìn)的多媒體應(yīng)用平臺(tái)要能支援多重的視頻及音頻格式，以提供豐富的影音應(yīng)用功能；要支援更高的解析度和傳輸、處理速度，以提升用戶的視聽感受經(jīng)驗(yàn)；在應(yīng)用處理負(fù)荷增加下，仍能保持或延長(zhǎng)電池的使用壽命。要克服這些挑戰(zhàn)，在設(shè)計(jì)上有必要採(cǎi)取更先進(jìn)的軟、硬技術(shù)與系統(tǒng)架構(gòu)。

　　本文中針對(duì)多媒體手機(jī)的系統(tǒng)需求提出了分散式處理的加速器架構(gòu)，它能有效地降低系統(tǒng)的負(fù)荷，并滿足各種應(yīng)用的處理效能。在新興的多媒體應(yīng)用及服務(wù)上，除了考慮處理效能及展現(xiàn)品質(zhì)外，往往還得解決內(nèi)容的安全性的問題，因此，手機(jī)系統(tǒng)也需針對(duì)行動(dòng)商務(wù)（M-commerce）、身分證認(rèn)（authentication）和數(shù)字版權(quán)管理（DRM）等應(yīng)用做出安全的安全保障架構(gòu)，這和終端本身記憶體的作法以及通信系統(tǒng)的認(rèn)證機(jī)制息息相關(guān)，例如可用專屬的安全模組記憶體作法來(lái)儲(chǔ)存保密性的資料。

　　最后，在通信的世界中需要打造一個(gè)開放性的環(huán)境，才能讓這些內(nèi)容、應(yīng)用及服務(wù)遍及最多的用戶。目前有IMTC（International Multimedia Teleconferencing Consortium）、MPEG IF和Internet Streaming Media Alliance (ISMA)等國(guó)際組織在推動(dòng)音、視頻及串流格式的一致性作法，以確保在不同的終端設(shè)備和電信系統(tǒng)中能順暢的傳遞視頻內(nèi)容。這些非營(yíng)利組織之間也有密切的合作關(guān)系，在開放性的精神下，讓多媒體的服務(wù)能更快速的進(jìn)入每個(gè)人的行動(dòng)生活當(dāng)中。

　?。ㄗ髡邽橐夥ò雽?dǎo)體亞太區(qū)通信及移動(dòng)多媒體事業(yè)部資深技術(shù)行銷工程師，聯(lián)絡(luò)方式：vincent.chiang@st.com）