從近講到遠場，小米自研語音技術讓用戶「自由場景自由說」

• 2020 年 2 月 14 日
• 筆記

小米語音團隊的「多通道端到端語音技術」自研能力，取得比「傳統多通道陣列增強模塊加單通道語音技術」更好的性能。

智能語音行業已經進入蓬勃發展的時代，隨着智能設備的逐漸增多，用戶對語音交互的需求越來越大。在AIoT時代，智能設備的自然語言交互能力成為與用戶溝通的重要一環。當用戶對智能設備產生需求並進行對話時，語音的喚醒和識別能力直接決定了用戶對設備的好感度。

依託於小愛同學、小米多款智能設備，小米持續深耕語音技術，希望在智能家庭、智能車載等豐富的使用場景之下，更進一步解放對用戶語音識別環境的條件限制，讓用戶體驗更自然、更自由、無壓力的語音交互方式，更好地理解用戶意圖，為用戶提供極致的智能語音交互體驗。

01

多通道端到端語音技術，讓用戶在「自由場景自由說」

目前，業內各家的近講語音喚醒和識別能力已經達到了較高的水平，在近距離、安靜的環境下，用戶與智能設備的語音交互已經基本無障礙。然而，在強噪聲干擾、強房間混響、說話距離遠、設備自身播放音源等條件下，智能設備與用戶進行連續地自然語音交互仍然具有挑戰性。

如何讓遠場語音性能達到和近講相近的水平，一直是困擾業界語音工程師的一大難題。鑒於此，小米語音團隊的「多通道端到端語音技術」自研能力，取得比「傳統多通道陣列增強模塊加單通道語音技術」更好的性能。

為了在遠場聲音中更準確的識別出目標語音，傳統多通道陣列增強技術會使用空間濾波或語音分離算法，但這些算法引入了較多先驗假設，在一些不符合假設的場景下，性能會明顯下降。另外，傳統多通道陣列處理技術是由多個技術模塊串聯組成，多個麥克風的數據會被送入回聲消除、降噪、去混響、尋向和波束形成等模塊，幾個模塊單獨進行優化，優化目標並不一致。

小米從2018年開始驗證端到端語音喚醒和識別的思路，目標即從充滿噪聲、混響和回聲的多個麥克風中直接學習語音特徵，提升真實環境中的識別率和穩定性。經過一系列的校驗，小米多通道端到端語音技術有三大明顯優勢。第一，端上的計算量變小，較之前減少了50%，縮短了所有的計算路徑和時長；其次，端上的存儲量變小，在原有的基礎上大幅減少，減輕了存儲壓力；最後，「多通道端到端語音技術」直接用一個網絡中的不同級去替代之前的多個模塊，最後有一個一致的優化目標，避免誤差的逐級傳播。整個模型用一套神經網絡表述，大幅減小系統設計複雜度，可以明顯降低運算負荷。從大規模訓練數據中習得的深度神經網絡，比基於傳統信號處理的方式，使用的先驗假設少，可以涵蓋更多的實際場景

02

從近講到遠場，小米自研技術拓寬了語音的想像力

據小米語音工程師介紹，儘管傳統信號處理具有一些方面的不足，但是其能夠較好地處理麥克風陣列信號的相位，利用物理學中樸素的法則「同向相加，異向相消」對不想要的信號分量進行抑制。因此，小米的多通道語音識別模型不僅採用了更先進的深度神經網絡，也同時繼承了傳統信號處理理論對相位處理的精髓，將傳統前端算法和深度神經網絡的優勢進行互補，也即將傳統信號處理的概念進一步拓展，充分利用深度神經網絡的非線性處理能力，提出一種全神經網絡語音識別模型。

在語音識別大牛Daniel Povey加入小米後，小米的語音交互在原有的基礎上更進一步。終於讓多通道端到端語音方案性能超過了傳統方案。經過數據測試，多通道端到端語音技術讓遠場語音識別性能相對提升了10%，使用戶與智能設備的交互更加順暢。

從3G時代，到4G時代，再到5G時代，智能語音交互也發生着巨大的變革。多通道端到端的語音技術不僅讓用戶交互方式更加自由，同時也降低了硬件的產品功耗。從近講的喚醒識別到遠場的喚醒識別，從單通道到多通道，小米自研語音技術旨在幫助用戶在自由的場景下實現自由說的目標。未來，小米將智能語音技術落地至更多應用場景，不斷突破自研技術，為用戶提供更加極致的語音交互體驗。

END

▼