騰訊會議又一黑科技,屏蔽超過 200 種會議噪聲是如何做到的?
遠程會議已成為我們常規(guī)的工作溝通方式,在線交流打破時間、空間的限制,給予我們便利之際,也屢遭尷尬:
忘記靜音,一邊聽會一邊敲鍵盤,被對方提醒:“XX,麻煩靜下音”;
自己正在講話呢,身旁人走來走去有噪音,影響會議收聽效果,你恨不得馬上轉(zhuǎn)移開會陣地……
后疫情時代,遠程會議有以下發(fā)展趨勢:遠程協(xié)作占員工的工作時間50-80%,線上線下混合會議將超過90%,視頻會議功能將成為大部分會議的標(biāo)配。因此提高遠程會議的交互體驗已成為廠商迫在眉睫的事。
為了應(yīng)對以上會議室各種復(fù)雜聲學(xué)場景下的開會難題,騰訊會議旗下天籟實驗室推出天籟語音模組方案,由騰訊AILab 技術(shù)加持,實現(xiàn)12米超長距離拾音,消除超過200種會議噪聲,在雙講、回聲消除等方面實現(xiàn)突破性升級。
天籟語音模組加持,立即開啟自動“屏蔽雜音”模式
天籟語音模組能消除超過 200 種會議噪聲是怎樣的概念?
騰訊天籟實驗室資深研究員劉成做了以下演示:在頂端裝有天籟模組的屏幕那頭用力敲打鍵盤、做桌椅碰撞,筆者與之實時連線,并沒有聽到鍵盤噪音,宛如開啟了“噪聲靜音”模式。
劉成表示,還有空調(diào)噪聲、翻紙張、塑料瓶、水杯、雨打在窗戶上、外面馬路施工、腳步等 200 多種聲音,可通過 AI 算法降噪處理。同時天籟語音模組基于深度學(xué)習(xí)模型,也能將空調(diào)聲、風(fēng)扇聲等平穩(wěn)噪聲消除。
劉成嘗試在距離屏幕 2 米 和 8 米的位置講話,收聽效果變化不大。這是因為天籟模組是全面 180 度拾音,不管講話人從左邊、右邊、前面、后面走動變化,聲音變化不大。在雙講測試?yán)?,劉成和另一人同時發(fā)聲,兩者聲音均能清晰聽到,并無剪切感或回聲泄露情況。
據(jù)劉成介紹,天籟語音模組結(jié)合房間聲場感知、采集和空間聲場重建技術(shù),遠場多人音頻通信、多講話人實時追蹤、多人自動取景等實時音視頻技術(shù)難題,幫助企業(yè)和用戶實現(xiàn)在遠場復(fù)雜物理空間下通信體驗的突破性提升。
例如針對講話者離屏幕較遠時,可能存在聽不清、聲音小的情況,天籟語音模組方案將多個 MEMS 麥克風(fēng)板嵌入到會議大屏中,結(jié)合音頻處理器,能夠?qū)崿F(xiàn) 180 度廣角、12 米超長距離拾音,讓參會者可以像面對面交流般清晰、自然,并給與參會者更靈活的活動空間。
基于 20 多年音視頻技術(shù)經(jīng)驗,打造“軟硬一體”的云視頻會議生態(tài)
去年 9 月,騰訊會議發(fā)布企業(yè)版、會議室連接器以及新一代云視頻會議室解決方案“騰訊會議Rooms”,據(jù)了解,天籟語音模組將應(yīng)用于騰訊會議 Rooms 專款機型上,還開放給騰訊會議Rooms專款硬件合作伙伴,助力打造會議室場景高清、純凈、流暢的開會體驗。
與此同時,不做硬件的騰訊會議,還通過開放音視頻認(rèn)證標(biāo)準(zhǔn),聯(lián)合硬件設(shè)備廠商,共同為企業(yè)量身打造“軟硬一體”的云視頻會議解決方案。
騰訊會議天籟實驗室技術(shù)研發(fā)專家余濤介紹“軟硬一體”方案背后的幾點思考:
一是從商業(yè)上,為硬件廠商集成一體化方案提供便利,可快速形成產(chǎn)品能力。
二是從技術(shù)上,由于遠程語音、噪音等語音的復(fù)雜性,僅靠幾個算法,即使在深度學(xué)習(xí)模組加持下,想要較好地解決遠場語音問題還是較難的。
自 QQ 推出語音通話開始,騰訊已有 20 年音視頻技術(shù)的積累。去年成立專注于新一代實時音頻技術(shù)的天籟實驗室,并結(jié)合騰訊AI Lab 技術(shù)的加持,天籟模組從多維度、多角度、多模態(tài)出發(fā),在提升遠場拾音能力上擁有天時地利的技術(shù)優(yōu)勢。
目前天籟模組將首先服務(wù)于騰訊會議 Rooms,相信未來天籟模組可應(yīng)用在小型會議室、中型會議室、大型會議室、超大型會議室、開放空間等。最后,據(jù)余濤透露,與硬件廠商合作的具備天籟音頻模組的產(chǎn)品,正在量產(chǎn)中。
*博客內(nèi)容為網(wǎng)友個人發(fā)布,僅代表博主個人觀點,如有侵權(quán)請聯(lián)系工作人員刪除。
電度表相關(guān)文章:電度表原理