}

2.4 音視頻同步傳輸技術(shù)

i.MX51處理器包含了支持硬件視頻編解碼的VPU單元，并自帶了完整的多媒體解決方案。因此，系統(tǒng)中采用其自帶的多媒體軟件包進行音視頻流的采集和編解碼[2]。

考慮到小區(qū)內(nèi)可視通話時因并發(fā)數(shù)過大而可能導(dǎo)致的網(wǎng)絡(luò)擁塞情況，系統(tǒng)還需要提供一定的QoS機制來保證在網(wǎng)絡(luò)帶寬較低時也能達(dá)到音視頻的同步傳輸。本文采用基于時間戳的實時同步傳輸技術(shù)，通過設(shè)置可變大小的緩沖區(qū)機制，根據(jù)小區(qū)網(wǎng)絡(luò)情況自動調(diào)節(jié)傳輸參數(shù)，以音頻質(zhì)量優(yōu)先保證為原則，根據(jù)時間戳實時調(diào)節(jié)視頻數(shù)據(jù)的播放。具體實現(xiàn)過程如下[3]：

(1)發(fā)送端采用兩個獨立的進程分別對音視頻信息進行采樣和打包，然后放到各自的緩沖隊列中等待發(fā)送。

(2)音視頻數(shù)據(jù)通過同一個通道發(fā)送到網(wǎng)絡(luò)(采用信號量機制保證音視頻數(shù)據(jù)對通道的互斥訪問)。

(3)由于音視頻兩個數(shù)據(jù)包的長度差別很大，所以將接收端收到的數(shù)據(jù)根據(jù)包的大小進行區(qū)分。

(4)音視頻各自拆包組幀。由于人的聽覺對聲音的不連續(xù)比視覺對圖像的不連續(xù)更敏感，所以采用音頻流作為主流，視頻流作為從流?？蛻舳私邮盏揭纛l數(shù)據(jù)包后，不必與視頻數(shù)據(jù)包協(xié)調(diào)就可立即播放，而視頻幀到達(dá)時則根據(jù)時間戳進行對比，從而進行相應(yīng)的同步處理。

(5)為保證音視頻的實時同步，采用多線程分別對音頻和視頻進行播放。

3 i.MX51平臺移植

3.1 搭建LTIB開發(fā)環(huán)境

LTIB(Linux Target Image Builder)是飛思卡爾公司開發(fā)的一個用于部署B(yǎng)SP的工具，含有U-Boot等引導(dǎo)加載程序，支持Bootloader和內(nèi)核映像的構(gòu)建。利用該工具，可以定制出符合GNU/Linux標(biāo)準(zhǔn)的跨平臺的根文件系統(tǒng)。本設(shè)計選擇使用飛思卡爾公司提供的L2.6.31_10.07.11_ER_source.tar.gz集成源碼包，在一臺安裝了Ubuntu 10.04操作系統(tǒng)的PC機上配置安裝LTIB[4]。其過程如下：

(1)解壓縮源碼包，執(zhí)行./install進入安裝LTIB的命令提示。

(2)執(zhí)行./ltib進入LTIB的配置界面。

(3)在LTIB配置Platform時選擇i.MX51平臺。

(4)配置Kernel時選擇CLAA WVGA Panel(LCD觸摸屏驅(qū)動)和SoC Audio support for IMX - SGTL5000(聲卡驅(qū)動)，其他保持默認(rèn)。

(5)將交叉編譯工具arm-none-linux-gnueabi-gcc加入PATH環(huán)境變量，在ltib根目錄執(zhí)行下述命令，交叉編譯Qt庫：

./ltib -m prep -p qt-embedded.spec

./ltib -m scbuild -p qt-embedded.spec

(6)執(zhí)行make install，在ltib下的rootfs目錄就會生成相應(yīng)的U-Boot、內(nèi)核和文件系統(tǒng)，將將其復(fù)制到目標(biāo)板的TF卡上。

3.2 架設(shè)NFS文件系統(tǒng)

為了簡化調(diào)試過程和縮短開發(fā)周期，在Linux主機上建立了NFS網(wǎng)絡(luò)文件系統(tǒng)，這樣就實現(xiàn)了宿主機與目標(biāo)板的文件共享。開發(fā)過程簡化為：Linux主機編譯生成目標(biāo)平臺的可執(zhí)行文件→復(fù)制文件到NFS共享目錄→目標(biāo)板運行程序，從而省去了重復(fù)制作鏡像、下載鏡像、重啟開發(fā)板等步驟，節(jié)省了大量的開發(fā)時間。目標(biāo)板的NFS啟動信息如圖3所示。

4 系統(tǒng)測試及結(jié)果

4.1 并發(fā)測試

并發(fā)測試主要用來測試多個用戶同時訪問同一個應(yīng)用程序、同一個數(shù)據(jù)記錄時是否存在死鎖或其他問題。由于本系統(tǒng)是面向一個小區(qū)的住戶，因此系統(tǒng)的并發(fā)測試尤為重要。

數(shù)據(jù)庫并發(fā)測試：室內(nèi)機開啟多個線程同時訪問中心機服務(wù)器，界面并不會因大量的數(shù)據(jù)操作而出現(xiàn)“凍結(jié)”現(xiàn)象，CPU占用穩(wěn)定，數(shù)據(jù)庫返回結(jié)果顯示正常。

信息發(fā)布測試：中心機開啟多個線程同時發(fā)送廣播信息，各室內(nèi)機接收正常，不會出現(xiàn)顯示錯誤或“丟包”現(xiàn)象。

4.2 跨網(wǎng)段測試

考慮到小區(qū)用戶一般在幾百甚至上千，一個網(wǎng)段的IP地址不能滿足需求。為了檢測在不同網(wǎng)段下通信模塊能否正常工作，使用一臺華為S5300交換機(switch)和兩臺華為5200交換機搭建了一個小型的網(wǎng)絡(luò)環(huán)境進行相關(guān)測試。如圖4所示，測試采用IPv4靜態(tài)路由，使不同網(wǎng)段的任意兩臺室內(nèi)機之間能夠互通。測試表明，分屬不同網(wǎng)段的室內(nèi)機之間，可視通話、信息互發(fā)等模塊均正常工作，從而驗證了本設(shè)計方案的可行性。

4.3 可視對講性能測試

可視對講性能測試主要是檢測室內(nèi)機終端中音視頻的采集、編解碼、收發(fā)和顯示。對于音視頻的采集、收發(fā)和顯示，可通過揚聲器和LCD顯示直觀地檢測。而對編解碼的測試則比較復(fù)雜，本設(shè)計是從最長時間、最短時間和平均時間三個方面來測試編解碼一幀音視頻所需要消耗的時間。i.MX51平臺上音視頻編解碼的性能測試如表1所示。

由表1可以看出，i.MX51平臺上能夠?qū)崟r地完成音頻和視頻通信，且音頻清晰、視頻流暢、失真度小，達(dá)到了可視對講對音視頻編解碼器的實時性要求。

本文采用Linux和Qt相關(guān)技術(shù)，在飛思卡爾公司i.MX51平臺上設(shè)計了一種多功能的智能家居控制系統(tǒng)，實現(xiàn)了客戶端與服務(wù)器的Socke通信和音視頻同步傳輸?shù)群诵墓δ?。下一步還需要擴展家電控制、安防控制等功能。

繼續(xù)閱讀