西工大實驗室負責人謝磊教授：智慧語音技術新發展與發展趨勢
本文總結於西工大音頻語音與語言處理實驗室（ASLP@NPU）負責人-謝磊教授在深藍學院的公開課——智慧語音技術的新進展與發展趨勢—NPU-ASLP視角。
大家好！感謝深藍學院的邀請！我代表西工大音頻語音與語言處理研究組向各位彙報一下我們實驗室在智慧語音技術方面的一些進展，基於實驗室多位同學研究工作的總結。
針對人類語音的研究是一門典型的交叉學科，涉及聲學、聽覺、訊號處理、語音語言學、生理學、認知科學、統計學、機器學習等眾多領域。語音處理主要針對人類的語音作為研究載體，除此之外，對聲音的研究非常廣泛，比如環境聲、音樂等，統稱為聽覺（音頻）資訊處理。如果把做和聲音相關研究的人員加在一起，會是一個特別龐大的群體，個人感覺規模不會少於CV領域。
關於今天的主題——智慧語音交互，主要是人和機器通過語音作為媒介進行自然交互的形式，從語音交互圓環（speech circle）這張圖看，涉及到的核心技術主要包括四個方面，首先通過語音識別（ASR）轉成文字，如果語音訊號品質不好的話，前端會有一個語音增強模組；然後是口語語言理解，接下來是對話管理和口語語言生成，而最終通過文語轉換（TTS）生成語音回饋給用戶。
智慧語音技術的範疇
回顧語音識別的發展，在2000年之前，語音識別的錯誤率有明顯的改善，而在2000年到2010年期間，我們做的很多努力很難再去進一步降低識別的錯誤率。在大概2010年後，在深度學習的推動下，利用大數據、機器學習和大算力這「三駕馬車」，語音識別的識別準確度再一次明顯提升，錯誤率再一次下降，並且在一部分數據集上實現了媲美人類語音識別的精度。
語音識別是智慧語音範疇內的一個典型任務，除此之外，智慧語音的任務還包括語音編碼、語音增強、關鍵詞檢出、聲紋識別等一系列任務，而智慧語音技術能夠服務的方向主要包括三方面，一是自然人機交互，二是自然人人交互，還有就是內容分析與挖掘，垂直落地的應用非常多，場景廣泛，價值巨大。
智慧語音涉及的具體方向眾多，而接下來我將圍繞著我們實驗室重點關注的三個方向——語音增強、語音識別和語音合成來展開介紹。
關於語音增強，這是一個非常經典的研究課題，它的基本目的是減少雜訊干擾，提高語音品質。在麥克風拾音時，會遇到語音隨距離增加而造成的衰減、信道畸變、房間混響、聲學回聲，各種雜訊干擾和人聲干擾等眾多問題。傳統的基於統計訊號處理的語音增強可以提供良好的平穩雜訊抑制能力，而以數據驅動的深度學習方法則將非平穩的雜訊的抑製成為了可能。
關於深度學習在語音增強中的應用大致可以分為三個階段，開始的研究工作主要圍繞基礎的Masking和Regression範式，當時的網路的結構比較簡單，主要針對幅度譜建模，損失函數主要是MSE。
在第二階段，研究者們展開了更大膽的嘗試，這體現在網路結構的多樣化，包括CRN，Tasnet，生成對抗網路（GAN）的使用和最近的Transfomer結構；而建模也從時頻域延伸到直接在時域建模；損失函數更更多樣化，包括MSE、SI-SNR和PESQ等形式。
而在現階段，AI降噪開始落地應用，包括TWS耳機、在線會議系統等場景，在線會議和直播後台等應用中，可能都已經有了AI語音增強網路的嵌入，技術方面還出現了複數形式的網路和各種更為精細化設計的網路結構。此外，還有利用聲紋先驗資訊的個性化語音增強或稱之為目標說話人提取。
基於DCCRN複數神經網路的語音增強
關於語音增強，我們實驗室的同學在去年的Interspeech上發表了Deep Complex Convolution Recurrent Network(DCCRN)這個工作，DCCRN採用經典的U-Net結構，在CRN的基礎上綜合了複數卷積以及LSTM瞬態建模的優勢。
它在模型複雜度和低延時（40ms）的要求下，具有高性能降噪能力。在去年的Interspeech深度雜訊抑制競賽（DNS）的實時賽道中，取得了第一名的成績，這篇論文當前在google scholar上的引用已經達到了100次。基於深度學習語音增強的一個問題在於需要做降噪量和語譜保真上的折中。
在今年，我們在DCCRN的基礎上又提出了同時兼顧聽感與降噪的複數增強網路DCCRN+，在具有高降噪量的同時，提升語音的保真度。它的貢獻主要包括，一個基於」可學習」的子帶劃分與合併，減少模型大小和計算複雜度；二是實現了頻域和時域序列同時建模；三是通過「卷積通道」獲取編碼器每層輸出的更豐富的資訊；四是以信噪比估計作為輔助任務，降噪的同時提升聽感；五是在後處理中去除殘留雜訊。
DCCRN+：兼顧語音保真與降噪量的複數增強網路
人們對於語音通話的體驗要求越來越高，比如更高取樣率、甚至具有空間方位感的沉浸式開會體驗。近期在DCCRN的基礎上，為了處理超頻寬的語音數據，我們還提出了超頻寬語音增強模型S-DCCRN，用於增強32KHz取樣率的帶噪語音。它的主要貢獻包括：
1.首先利用子帶DCCRN精細化學習高低頻資訊，然後全帶DCCRN結合高低頻資訊，起到平滑銜接作用；
2.同時，通過網路學習動態調整不同頻帶能量；
3.在和16K降噪模型保持相同的較低頻率解析度的同時，通過複數特徵編碼從譜上獲取更多的資訊。
自去年推出DCCRN以來，目前已經在這個上面有很多擴展性的工作，包括我們自己的DCCRN+，S-DCCRN，以及同時做去混、降噪和分離的DesNet，阿里、NTNU等單位也做了多通道上的擴展，值得注意的是近期微軟把DCCRN用於個性化語音增強即目標說話人增強，推出了pDCCRN方案。除了DCCRN系列，近期我們也推出了Uformer，基於複數和實數Unet和卷積核膨脹雙路Conformer，具有更為強大的能力。
接下來我們展開關於深度學習語音增強發展的相關討論。目前，雖然基於AI的降噪已經有一定的應用，但是在很多場合，採用的還是基於訊號處理的方案，而「AI降噪」在實際落地的時候，出於對於資源的考慮，很多精細設計的模型無法發揮優勢。如何將訊號處理和深度學習有機的結合在一起也是值得深度探索的。
此外，語音增強除了給人聽外，另一個重要目的是為了更好的服務於包括語音識別在內的下游任務，而現狀卻是深度學習語音增強給語音識別帶來的提升有限，甚至有些情況可能是副作用，這是因為語音識別通過多場景訓練策略已經考慮到了雜訊的影響，同時端到端語音識別模型的能力很強，深度學習語音增強處理過的語譜語音識別模型卻沒有見過。
我們可以嘗試在訓練過程中，把增強後的數據和原始數據同時加入，進行聯合訓練，甚至前後端聯合建模。但是在實際使用中，我們往往希望完全解耦前後端，不希望聯合訓練。此外，更細緻、全面和快捷的數據模擬方案也可能會提升模型訓練後的效果。與此同時，而視覺、聲紋等先驗資訊的有效利用也是提升語音增強模型效果的重要途徑，近期我們也看到了這個方向上非常多有益的探索甚至開始落地。
WeNet語音識別工具包
關於語音識別，端對端的方案在這兩年得到了更廣泛的認可，大家可以關注下我們在解決領域適配或專有名詞識別不佳的Cascade RNNT方案以及簡化Conformer計算複雜度的方案。此外，我們發布的WeNet作為一個輕量級端到端語音識別全棧解決方案，功能不斷豐富，包括對於語言模型的支援、端點檢測、時間戳對齊、以及預訓練模型的支援等等。眾多學術界和工業界的同行們也在圍繞它展開更多的擴展。
語音識別雖然已經在各個應用領域落地，但是仍然不能說是一個完全解決了的問題，因為實際應用場景面臨各種挑戰，總結而言挑戰主要包括魯棒性、低資源和複雜場景三個方面。
魯棒性的典型問題包括口音方言、語種混雜或多語種、領域適配等；低資源是指系統部署的資源有限和標註數據缺乏的場景，前者典型的是AIoT場景下各種端側設備部署對模型大小、算力的限制，而標註數據缺乏也是限制語音識別走向各個垂域和語種的關鍵因素，因為垂域太多了，缺乏標註數據的小語種太多了；語音識別在部署時面臨的場景可能非常複雜，例如多人會議、自然對話等場景，各類複雜雜訊干擾等。為了解決這些問題，無監督自學習、前後端一體化、語音語義一體化提供了可能。
接下來分享的是我們在端側部署指令識別上的相關工作。在端側部署進行指令識別時，遇到的最大的問題之一就是指令混淆的問題，比如控制空調的「二十一度」可能誤識別成「十一度」，兩個指令發音上很接近，語速一快可能就識別錯了。
對此，我們近期提出了最小序列混淆錯誤準則（Minimize sequential confusion error(MSCE) training）用於指令識別模型的判別式訓練。MSCE通過增加指令間區分度，來緩解混淆詞錯誤。雖然語音任務本身是序列標註任務，但是指令詞之間可以認為是單個分類任務，對於分類任務，可以使用MCE準則進行區分性訓練，增大類間區分性。
此外，使用CTC準則作為序列到類別的橋樑，在此基礎上增加指令間的區分性。感興趣的同學可以關注我們後續發布的論文。實驗表明，MSCE在空調指令識別任務上有14–18%相對混淆錯誤的降低。第二個工作是關於多說話人的語音識別，我們提出了基於說話人條件鏈的非自回歸多說話人語音識別方案，迭代式地預測每個說話人的輸出，通過說話人條件鏈建模每個輸出之間依賴性， 每次迭代使用 Conformer-CTC 進行非自回歸併行解碼 ，該方案可以處理不同混合說話人混合數目的語音。
在對話語音識別中，有效利用上下文資訊是非常直觀的想法。我們嘗試了進行跨句注意力機制建模，通過在Transfomer中引入殘差注意力編碼器和條件注意力解碼器，引入額外的歷史資訊，從而在HKUST、Switchboard等數據集中實現了更好的識別效果。
還有一個工作的思路是通過語義去「反哺」語音，通過考慮對話局部連貫性、角色偏好、說話人輪轉等對話語音的獨特性，學習對話中的特徵資訊，在多個代表數據集上的結果也說明了這一方案的有效性。
接下來給大家分享的是我們牽頭開源的幾個數據集。第一個是AISHELL-4，它是用於語音增強、分離、識別和說話人日誌的中文會議場景語料庫，有120小時左右的時長。
另一個是AiMeeting 120小時會議語音數據集。這兩個都是真實會議場景錄製的多通道語音數據，特別適合會議場景的相關研究。基於這兩個語料庫，我們還在ICASSP2022上發起了M2MeT會議場景語音挑戰賽，包括說話人日誌和多說話人語音識別兩個任務，同時提供了對應的基準線系統。
還有一個就是新近開源的WenetSpeech數據集，它是全球最大的多領域中文語音識別數據集，通過從網路上爬取內容非常豐富的中文語音數據，進行自動化標註和置信度篩選，最終獲得了超過1萬小時的高品質標註數據，利用該數據和WeNet工具包訓練的端到端語音識別模型在SpeechIO的leaderboard上獲得了業界SOTA的識別性能。
WenetSpeech：全球最大多領域中文語音識別數據集
最後來彙報一下我們在語音合成領域的一些探索。目前基於序列到序列模型和神經聲碼器的方案已經獲得了廣泛引用，甚至在一些限定領域獲得了媲美真人語音的效果，然而當前離真正「復刻」人類語音還有很長的路要走。
比如篇章合成、表現力和可控性、低質數據建模、少樣本和單樣本音色克隆、完全端到端建模、高表現力歌唱合成以及如何把說話和唱歌統一建模做到一個統一的發音模型等。在這些方面，我們實驗室近期典型的探索介紹如下。可控對話TTS——實現擬人化的對話語音合成，甚至可以控制合成口語對話的講話流利程度。
MsEmoTTS是我們近期提出的一個多層級的情感語音合成方案，可以在一個模型框架里實現情感遷移、預測和控制。我們的「單人千面」方案，在每個發音人只有一種風格錄音的條件下，實現了有效的風格解耦與交叉，例如朗讀風格的發音人可以讀唐詩、做客服。
最後，我們在VITS端到端TTS的基礎上，做出了多方面的改進，進而又提出了一個端到端歌唱合成方案VISinger。另外，我們也將聯合網易伏羲等多家單位在Wenet開源社區開源一個中文歌唱合成資料庫，包括一個專業歌手100首左右的中文流行歌曲和高品質的標註，敬請關注。
基於端到端深度學習的語音合成：挑戰性問題
