手勢(shì)聲音合成器 幫助語(yǔ)言障礙者交流
3D交互式手套是溫哥華英屬哥倫比亞大學(xué)——西尼?菲爾斯(Sidney Fels)的最新科研成果,使用者只要戴上它做出各種手勢(shì)就可以合成為樂(lè)曲或一段話。據(jù)悉,費(fèi)爾斯先前開(kāi)發(fā)出“手套交談”系統(tǒng),采用神經(jīng)網(wǎng)絡(luò)將用戶手勢(shì)轉(zhuǎn)換成手勢(shì)語(yǔ)言參數(shù),通過(guò)語(yǔ)言合成器合成為語(yǔ)言輸出。菲爾斯說(shuō):“3D交互式手套通過(guò)復(fù)制聲帶的每個(gè)動(dòng)作發(fā)出電腦合成音,這是很復(fù)雜困難的過(guò)程,就好像通過(guò)打電話語(yǔ)音發(fā)送郵件一樣”。對(duì)于用戶來(lái)說(shuō),最大的困難挑戰(zhàn)就是分別學(xué)習(xí)左右手套的不同功能,兩只手的不同手勢(shì)代表不同聲音片段,比如,右手握緊代表輔音、張開(kāi)代表元音、左手控制音節(jié)的長(zhǎng)短、右手抬起時(shí)代表高聲調(diào)、處于水平位置時(shí)是平聲調(diào)。右邊的手套象征著開(kāi)放和閉合的聲道,它包含運(yùn)動(dòng)傳感器,通過(guò)手的運(yùn)動(dòng)來(lái)檢測(cè)佩戴者的開(kāi)放和閉合聲音。而左手套則配備按鈕設(shè)施激活像“P”和“B”這種清輔音,元音是通過(guò)開(kāi)放聲道發(fā)出的,輔音則是閉合聲道發(fā)出的,例如 “sh”和“zz”。 3D交互式手套隨著手的移動(dòng),通過(guò)傳感器定位,來(lái)改變音調(diào),而音量是通過(guò)腳踏板設(shè)備來(lái)控制的,3D交互式手套是用八個(gè)人造聲帶壓縮鼻腔共鳴共同作用發(fā)出聲音。
據(jù)悉,科學(xué)家致力于發(fā)展人類語(yǔ)音系統(tǒng)已有數(shù)十年之久,起初,這種手套是被用于聲音合成器用途,直到最近,他們才嘗試開(kāi)發(fā)出模仿人類聲帶的發(fā)音系統(tǒng),并計(jì)劃研發(fā)它的唱歌功能。不過(guò),這項(xiàng)技術(shù)現(xiàn)階段還存在不足,比如,說(shuō)出帶有情感色彩的詞時(shí),它的聲音還不夠擬人,而是像機(jī)器人講話,此外,學(xué)習(xí)如何操作需要大約100小時(shí)。不過(guò)隨著科技的發(fā)展,相信終有一天,3D交互手套會(huì)完美的表達(dá)人類的優(yōu)美語(yǔ)言。
評(píng)論