漸凍人腦波掃描及解碼演算法,能針對中後期漸凍症病患腦波進行AI判讀,藉此來判斷病患要表達的意思。

圖片來源: 

攝影/翁芊儒

今天科技部揭露科技突圍專案中,「漸凍症病友智慧溝通系統」的研究結果。這個專案從107年9月開始執行,目的要讓中後期漸凍症病患,在全身癱瘓甚至連眼球也不能活動的情況下,能透過輔具來表達生理或心理的意圖。這套系統涵蓋多項裝置,包括智慧眼控系統、多功能腦機介面、腦波感測電極帽(E-Cap),以及能重現病友聲音的語音合成技術等。

漸凍症病友智慧溝通系統的架構。

漸凍症是一種運動神經元退化,而造成全身肌肉萎縮及無力的疾病,臺灣平均每三天就有一位漸凍人確診,目前健保統計資料中共有1000多位漸凍人,尚無藥可醫。中期漸凍人面臨到的問題,是四肢癱瘓,但仍可費力溝通,但到了後期,不僅無法難以說話,就連吞嚥、眼球轉動等動作也會變得遲緩,甚至完全喪失功能。

不過,儘管中後期病患的日常溝通需求極為迫切,全球針對該族群所開發的輔具進程卻很緩慢。專案計畫主持人、同時也是北科大研發處副研發長劉益宏表示,當病患連眼控功能都喪失,一般瞳孔追蹤的輔具就失去效用,必須運用眼睛周遭殘存的肌肉運動訊號,或是仰賴大腦腦波訊號來溝通,「但是國際上不但沒有針對中後期病友研發的輔具,連研究資料都乏善可陳。」

用AI分析腦波來判斷患者意圖,以及客製化測量腦波的最佳位置

因此,為了讓完全喪失肌肉運動能力的漸凍人,能透過科技來對外簡單溝通,北科大研究團隊,初步研發了一套輔助漸凍症病友溝通的解決方案。其中最具突破性的技術,是研發了漸凍人腦波掃描及解碼演算法,能針對中後期漸凍症病患腦波進行AI判讀,該論文也在今年4月被發表在SCI國際期刊IEEE Consumer Electronics Magazine(IEEE CEM),獲得國際性認可。

由於漸凍患者的運動神經元逐漸退化,其大腦運動皮質區與體感區的腦波活動與一般健康人不一樣,若進一步觀察中後期漸凍患者的腦波,更會發現每位患者腦內活躍區域也不同;因此,若要進一步對腦波進行AI判讀,就需要根據腦波活躍區域來找到最佳腦波測量位置。研究團隊為此研發一套漸凍人腦活動掃描演算法,在掃描病患腦波活動後,能客製化找出不同病患測量腦波的最佳位置。

找到測量位置後,研發團隊利用機器學習演算法與碎形維度,來萃取細微的腦波變化,來開發一套能辨識「是」與「否」的演算法,藉此來判斷病患要表達的意思。特別的是,這邊的辨識「是」與「否」,並不是真的讓病患想像這兩個字眼,而是讓病患自行定義「是」與「否」所代表的動作。

比如說,「是」代表右手握拳,「否」代表左手握拳,儘管無法控制肌肉運動,但藉由想像肌肉的運動,能讓腦波產生變化,而AI模型就能根據些微的變化來進行判讀;也因為每個人的腦波影像不同,同一套演算法會根據不同人的影像資料,來訓練適用於不同患者的模型,病患也能自行定義回答「是」與「否」時,要想像的動作。

這套能辨識「是」與「否」的腦波演算法,已經針對5位病患進行腦波判讀實測,其辨平均識準確率達到85%,且用來辨識的次數越多,模型辨識率也會再提升。未來,研究團隊也要開發能辨識4個選項的AI演算法,比如說透過系統介面來顯示位於上、下、左、右的4個選項,病患能透過想像4個方向各別代表的動作,讓系統判讀腦波做出選擇。

劉益宏也表示,目前市售腦波儀分兩種,一種是單純擷取腦波數據卻沒有判讀功能,另一種則是用來量測專注力,不具有溝通的效果,「我們應該是全球第一個將腦波判讀技術,應用在中後期的漸凍人患者上。」

針對5位病患進行腦波判讀實測,其平均辨識準確率達到85%。

模擬使用腦波感測電極帽(E-Cap)以及多功能腦機介面。

運用腦機介面來回答問題時,如果AI偵測腦波判斷為「是」,介面十字處將會顯示「是」。

也能跳轉到溝通內容清單,左邊是生理需求、右邊是心理需求,其下各有三個選項,此時,系統將會停留在各個選項,由病友針對每個選項來回答是/否,藉此確認需求。

腦波帽是用熱塑形3D立體織物的技術來做,能先掃描病友頭形,以及確認電極點定位,再客製化製作來服貼頭形,讓穿戴體驗更舒服。

透過眼電訊號辨識演算法,讓病友移動眼球方向來表達意圖

另一個眼控裝置,則是透過演算法從縱向、橫向的眼電訊號,訓練出能辨識五種眼球運動的模型,分別是上、下、左、右、眨眼,這是要讓眼球已經無法靈活運動,卻還是能做到輕微移動及眨眼的患者使用。劉益宏表示,市面上的瞳孔追蹤技術已經發展成熟,較適合眼球仍靈活的初期漸凍症患者,所以研發團隊把重心投入眼電訊號辨識演算法的開發。

首先,研究團隊用5位一般人來測試該演算法,執行上下左右4個動作並重複十次,平均辨識率能達到92%。接著,先篩去眼動訊號過於微弱以致於無法分析的病友,並對其中6位病患進行眼動測試,目前,其中4位已經可以成功使用這套服務系統,而另外兩位的信號接收較不穩定,還有技術上的問題需要克服。

劉益宏表示,眼控系統未來可以跟智慧眼鏡或AR/VR結合,讓患者長時間穿戴也能兼具舒適性與便利性,甚至能躺在床上來操控家中電器用品,或是呼叫照護者提供協助。

模擬病友使用智慧眼控系統。

能使用的功能包括叫人鈴、溝通內容、家電控制、以及智慧溝通系統。

眼控感應裝置從眼罩式改良成現在的頭帶式。

頭帶式感應裝置的感測貼片,以三點式金屬片量測橫向與縱向眼電訊號。

用小樣本語音合成技術來重建病患聲音,來解決病友語料不足問題

此外,為了更人性化的讓患者用聲音傳達想法,研究團隊要用語音合成技術來重建病患的聲音。然而,一般要合成特定對象的聲音,需要龐大的語料來進行分析與合成,但病友能提供的語音樣本不足,品質通常也不佳,成為重建過程的最大問題。

因此,研發團隊開發小樣本語音合成技術,用漸凍患者的殘存語料與一般人的語料,合成趨近於原音的表現,「雖然還沒辦法完美還原原音,但已經有某種相似度。」而這個技術,也將運用在腦波辨識系統與眼控系統中,讓患者透過腦波或眼球移動來選擇意圖時,也能用接近原音的聲音來說出需求。

而這套漸凍症病友智慧溝通系統的實測,則是交由榮總復健科醫師來負責進行醫學臨床評估。評估團隊實地拜訪位於臺北、基隆、桃園的20位病患來進行問卷評估,也以臨床的憂鬱指數量表,來對比病友與病友家屬使用該系統前後的憂鬱指數。從結果來看,平均憂鬱指數下降了33.2%,而各別案例的憂鬱指數也都呈現不等量的下降。

針對病友與病友家屬的臨床的憂鬱指數量表,可以看見使用該系統後憂鬱指數明顯下降。

劉益宏表示,雖然這套系統是全球第一個針對後期漸凍病患,所設計的智慧溝通系統,並且已經得到初步驗正,但要真正上市量產,還有一段路要走,不僅技術還要持續優化,臨床測試也不可或缺。不過,目前已經與一家國際企業洽談合作,對方將會投入資金、硬體製造等資源,來加速該系統的產品化。


Advertisement

更多 iThome相關內容