情境示意圖(圖片來源/needpix,https://www.needpix.com/photo/765676/anatomy-biology-brain-thought-mind-thinking-skull-cranium-psychology)

科學期刊《自然》(Nature )在本周刊出了一篇《利用人類皮質活動即時解碼問答對話》(Real-time decoding of question-and-answer speech dialogue using human cortical activity)的研究報告,科學家們建立了一個語言解碼時,可即時理解人腦的想法,雖然目前準確率尚不高,但離以人腦介面控制AR/VR裝置又近了一步。

這是加州大學舊金山分校(UCSF)的幾名科學家正在進行的研究,帶頭的是該校知名的神經外科醫生Edward Chang,且是由臉書的Reality實驗室(Reality Labs)所贊助。

此一研究招募了幾位接受癲癇手術的志願者,於他們的腦中植入皮層腦電圖(ECoG)陣列,藉以觀察其腦波活動,科學家在志願者聆聽預先設計的題目並大聲說出答案時,記錄他們的腦波活動,再以這些資料來訓練機器學習演算法,於是,當再度詢問這些問題時,語言解碼器就能即時預測腦波所要表達的並給出答案。

不過,現在語言解碼器預測使用者聽到跟說出的準確度分別只有76%與61%。這群研究人員的目標是在一個以1,000字詞彙訓練的解碼器中,能夠以每分鐘100個字的速度進行解碼,且錯誤率低於17%。

臉書則說,UCSF團隊此一研究的最大貢獻在於,能夠「即時」自腦波活動解碼出人們所要表達的文字或句子的一部份,並把它們展示在電腦螢幕上。過去這些解碼的任務都是離線進行。

臉書對該研究不僅投入了資金,也提供輸入與工程上的支援,雖然相關研究的最終目標,是希望協助腦部因受到嚴重損害而失語的人士,能夠藉由新興的腦機介面(BCI)重新開啟與旁人交流的能力,但臉書的短期目標,則是將它應用在AR/VR上,且採用非侵入式途徑。

因此,除了支持UCSF的研究之外,臉書也在探索其它的BCI方法,例如以紅外線探測大腦內氧氣水平的變化,以間接測量大腦活動,雖然此一系統目前依然笨重、緩慢且不可靠,但臉書認為它潛力很大,雖然它可能永遠無法解碼想像的句子,但將可識別少數的指令,像是「家」、「選擇」或「刪除」等,可望替現代的VR系統與未來的AR眼鏡帶來全新的互動方式。


Advertisement

更多 iThome相關內容