圖片來源: 

微軟

微軟5日於官方的部落格發表用AI技術協助失聰學生學習的成果Presentation Translator,透過語音辨識技術,將課堂上教授的演講內容轉為文字,來幫助失聰的學生可以同步得到最完整且準確的資訊,並透過AI技術來實現翻譯,目前可支援超過60種語言,系統能夠即時翻譯成不同的語言,讓學生選擇自己較熟悉的語言來學習。

微軟團隊在去年開始,與美國紐約州羅徹斯特理工大學的美國國家聾人技術學院合作,為了打造出能夠正確辨識課堂上學術名詞的模型,研究團隊收集了該學院超過10年的課堂講座資料,包含教授在簡報中的文字和註解,透過AI技術辨識每個特定領域專有名詞的唸法,當教授在課堂上說出專有名詞,系統就能成功自動識別,並即時提供文字。

通常課堂上有聽力障礙的學生時,學院會聘請一位手語翻譯,將教授在課堂上所講述的內容,轉換成手語,以幫助學生理解上課的內容,但是也因為口語和手語之間的轉換,讓學生沒辦法即時跟上教授上課的內容,常常學生還在透過手語翻譯了解方程式的資訊時,教授的投影片已經換到下一頁,再加上有些學生其實不太熟悉手語,導致在課堂上的學習困難重重。

而微軟與羅徹斯特理工大學的美國國家聾人技術學院合作,該理工學院大約有1,500名聽力受損的學生,微軟在簡報軟體Power Point中加入即時上字幕(Real-time captions)的功能,透過語音辨識的技術,將教授所說的話,包括術語、口語的話,轉成有標點符號的文句,呈現在投影幕上,現在可支援超過60種翻譯語言,學生也可以在自己的電腦或平板上,選擇自己較熟悉的語言來學習。

學院中一名一年級的學生Joseph Adjei就表示,剛進到學校上課時,花了很多心力在手語上,當他第一次在課堂上接觸到這套即時語音轉文字的服務時,他認為,透過這語音轉文字,可以跟聽得見的同學在同一時間接收到資訊,舉例來說,在生物課堂上,能夠讓他跟上課程,並且還能學習正確地拼寫那些課堂上的專有名詞。

除此之外,Joseph Adjei認為語音轉文字的服務是額外輔助學習的工具,當他看不懂手語或是從手語翻譯那端漏掉訊息後,還可以看語音轉文字來輔助。不過,他指出,目前還是有些字會辨識錯誤,像是「I」和「Eye」,但是有文字可以參考總比沒有好。

此外,Joseph Adjei還在智慧型手機上使用了微軟的翻譯App,當課堂討論時,有時候同學講話太快,不容易讀唇語,微軟翻譯App則可以顯示出同學講話的內容,讓他更能夠參與課堂上的討論。

 

來看看Joseph Adjei怎麼說:

 


Advertisement

更多 iThome相關內容