以下文章來源于數(shù)據(jù)實(shí)戰(zhàn)派 ，作者Facebook

大數(shù)據(jù)文摘授權(quán)轉(zhuǎn)載自數(shù)據(jù)實(shí)戰(zhàn)派

作者：MetaAI

譯者：張雨嘉

語言交流是人們?nèi)粘Ｉ钪凶畛Ｓ玫慕换シ绞?，而隨著語音技術(shù)的發(fā)展，未來人們還可以與電子設(shè)備以及虛擬世界進(jìn)行交互，將虛擬體驗(yàn)與現(xiàn)實(shí)世界合二為一。

但是，現(xiàn)有的語音技術(shù)僅適用于數(shù)千種世界語言中的一小部分。

有效的方法是基于有限標(biāo)記數(shù)據(jù)的少樣本學(xué)習(xí)，或者無監(jiān)督的語音識(shí)別方法，而這些方法的成功取決于自監(jiān)督模型的性能。

目前，Meta AI 團(tuán)隊(duì)（ 原Facebook AI）發(fā)布了一個(gè)用于多種語音任務(wù)的自監(jiān)督模型——XLS-R。

通過在之前 2 倍以上的語言數(shù)量和近 10 倍的公共數(shù)據(jù)集上進(jìn)行訓(xùn)練，XLS-R 模型的性能遠(yuǎn)超以前的多語言模型。

為了讓單一模型實(shí)現(xiàn)理解多種不同語言語音的能力，Meta AI 團(tuán)隊(duì)對(duì) XLS-R 進(jìn)行微調(diào)，以執(zhí)行語音識(shí)別、語音翻譯和語言識(shí)別任務(wù)。并分別在以下基準(zhǔn)上獲得不錯(cuò)的結(jié)果：用于語音識(shí)別的 BABEL、CommonVoice 和 VoxPopuli；用于外文到英文翻譯的 CoVoST-2；以及用于語言識(shí)別的 VoxLingua107。

為了讓更多人可以使用這種方法，F(xiàn)B已經(jīng)和 Hugging Face 聯(lián)手發(fā)布該模型，并可以在 GitHub 的 fairseq 項(xiàng)目中使用 (https://github.com/pytorch/fairseq/tree/master/examples/wav2vec)。

XLS-R 在 436,000 多小時(shí)的公開語音錄音數(shù)據(jù)上進(jìn)行訓(xùn)練，并且基于  wav2vec 2.0 模型對(duì)語音表征進(jìn)行自監(jiān)督學(xué)習(xí)。該方法的訓(xùn)練數(shù)據(jù)量比去年發(fā)布的最好模型 XLSR-53 還多 10 倍。

通過收集會(huì)議記錄、有聲讀物等不同來源的語音數(shù)據(jù)，XLS-R 模型已經(jīng)可以支持 128 種不同語言，是之前語言數(shù)量的約 2.5 倍。

最大 XLS-R 模型有超過 20 億個(gè)參數(shù)，其性能遠(yuǎn)遠(yuǎn)優(yōu)于其他較小的模型，因?yàn)楦嗟膮?shù)可以更充分地學(xué)習(xí)數(shù)據(jù)集中的多種語言。并且團(tuán)隊(duì)發(fā)現(xiàn)，與在單一語言上預(yù)訓(xùn)練相比，更大的模型可以得到更好的性能。

將 XLS-R 在四個(gè)多語言的語音識(shí)別任務(wù)上進(jìn)行評(píng)估，結(jié)果表明它在 37 種測(cè)試語言上的表現(xiàn)都優(yōu)于之前的工作。具體包括 BABEL 的5種語言、CommonVoice 的 10 種語言、MLS 的 8 種語言和 VoxPopuli 的 14 種語言。

圖 | 在 BABEL 上的單詞錯(cuò)誤率結(jié)果。與以前的工作相比，XLS-R 有明顯改進(jìn)

團(tuán)隊(duì)還在語音翻譯任務(wù)上對(duì)模型進(jìn)行評(píng)估，語音翻譯就是將錄音翻譯成另一種語言。而且為了實(shí)現(xiàn)一個(gè)能夠執(zhí)行多任務(wù)的模型，他們將 XLS-R 在 CoVoST-2 基準(zhǔn)的不同翻譯方向上進(jìn)行微調(diào)。結(jié)果顯示，這種單一模型可以在英語和其他 21 種語言之間完成翻譯。

對(duì)英語以外的語言進(jìn)行編碼時(shí)，XLS-R 有比較明顯的改進(jìn)，這也是多語言語音表征方面的一大突破。模型在將印度尼西亞等低資源語種（low-resource language）翻譯為英語方面有顯著改進(jìn)，BLEU 指標(biāo)的平均準(zhǔn)確率翻了一番，也是口語翻譯方面的一大進(jìn)步。BLEU 指標(biāo)的提升，意味著模型生成的自動(dòng)翻譯結(jié)果與人工翻譯間有更高的相似性。

圖 | 自動(dòng)語音翻譯在 BLEU 上的準(zhǔn)確性，模型對(duì)高資源語言（例如法語、德語）、中等資源語言（例如俄語、葡萄牙語）和低資源語言（例如泰米爾語、土耳其語）的語音翻譯成英語時(shí)，準(zhǔn)確性逐漸降低。

XLS-R 證明了通過跨語言預(yù)訓(xùn)練可以提高模型在低資源語言上的性能。

在語音識(shí)別和將外語翻譯到英語的語言翻譯任務(wù)上的準(zhǔn)確率提高了一倍以上。

FB表示，XLS-R 是用單一模型理解多種不同語言語音的關(guān)鍵一步，是在已知公共數(shù)據(jù)上進(jìn)行多語言預(yù)訓(xùn)練方面的最大努力。相信該研究將使機(jī)器學(xué)習(xí)應(yīng)用更好地理解所有人類語言，使語音技術(shù)在全球范圍尤其是在服務(wù)欠缺地區(qū)中被使用。

未來，他們將繼續(xù)從少監(jiān)督學(xué)習(xí)中開發(fā)新方法來改進(jìn)算法，并將其擴(kuò)展到全球 7,000多 種語言上。

如果你想使用該模型，可以查看 Hugging Face 上有關(guān)微調(diào)模型的教程（

https://huggingface.co/blog/fine-tune-xlsr-wav2vec2）。