圖片來源: 

Google

Google AI研究團隊發布用於自動語音辨識的資料增強新方法SpecAugment,該新方法是將語音資料增強視為視覺的問題,而不是語音的問題,因此,Google並不用傳統資料增強的方式,針對語音音波輸入資料增強,SpecAugment是直接對聲學音譜圖(spectrogram)輸入資料進行增強,Google指出,這個方法是個簡單又便宜的方法,此外,也不需要額外的資料,同時還能有效地改善自動語音辨識模型的效能。

自動語音辨識是將語音輸入轉為文字的過程,也因為深度神經網路的進展,語音辨識技術應用在許多現代設備和產品中,像是Google語音助理、Google Home智慧音響和YouTube,但是在開發以深度學習為基礎的語音辨識系統時,還是有許多重要的挑戰要解決,其中一項含有很多參數的語音辨識模型挑戰,就是會有訓練資料過度學習(overfit)的問題,若訓練資料集不夠廣泛,模型很難處理未識別過的資料。

在缺乏足夠訓練樣本的情況下,可以透過資料增強的方法,來增加有效訓練資料,這個方法有助於大幅提升圖像分類領域的深度網路表現,一般來說,在語音辨識的案例中,資料增強的方式是靠著改變聲音音波,像是加快、減緩語音速度,或是加入背景噪音,來使得資料集有效地變大,讓神經網路模型學習更多相關特徵,來幫助模型變得更穩固、準確,不過,現有增強語音資料的傳統方法會帶來更多的運算成本,有時候還需要更多額外的資料。

傳統的自動語音辨識模型,在將資料輸入網路模型之前,通常會將音波編譯為視覺的代表值,像是聲學音譜圖,而訓練資料增強工作通常是在音波轉換為音譜圖之前,但是,Google團隊是直接針對音譜圖的資料進行增強,並不是用音波資料,且因為SpecAugment方法是直接針對模型輸入資料的特徵進行增強,因此,可以在訓練的過程中在線上執行,並不會顯著地影響訓練速度。

SpecAugment是在時間方向上,利用改變音譜圖的方式來修改、屏蔽連續頻率通道的區塊和時間內的語句區塊,這些增強工作能夠幫神經網路模型,在時間方向上的分解、部分頻率資訊遺失和小片段語音輸入的遺失等過程,變得更加穩固。

為了測試SpecAugment方法,Google用語音資料集LibriSpeech來進行一些實驗,再透過語音辨識評估標準Word Error Rate(WER),比對模型生成的文字與目標文字的差異,實驗執行的過程中,Google將所有的超參數固定,只有改變輸入網路模型的資料,結果顯示SpecAugment方法能夠改善網路的效能,且不需要額外調整模型或是訓練參數。

更重要的是,SpecAugment能夠防止模型因為給予模型特定訓練資料,而產生過度學習的問題,此外,用SpecAugment方法訓練出來的模型,意外地超越先前所有方法的結果,甚至不需要語言模型的協助,語言模型在改善自動語音辨識網路中,扮演重要的角色,但是通常語言模型和自動語音辨識模型是分開訓練的,且語言模型因為需要大量記憶體,很難應用在小的裝置中,像是手機,因此,該研究結果能夠實際運用在訓練模型中,並且不需要語言模型的協助。


Advertisement

更多 iThome相關內容