Google本周釋出一款AI挑戰賽,名為LipSync,邀請使用者為一首歌曲對嘴,幫忙完成Google的AI實驗。

LipSync是Google最新策畫的Experiment with Google 實驗。它要求使用者配合Tones and I的《Dance Monkey》歌曲中的一段對嘴,然後Google再根據用戶表現給予評分。

Google表示,LipSync目的在量測手機或桌機使用者對嘴的準確度。這項實驗啟動後會以相機拍攝用戶的臉部表情,再以瀏覽器上執行的Google TensorFlow.js facemesh模型,即時分析用戶嘴巴、唇部特徵點,以偵測、評估對嘴準不準,但不會錄下任何聲音。

這項AI挑戰需要動用手機相機或桌機Webcam,因此使用者必須設定允許該LipSync存取裝置上的相機。但Google強調一切運算都是在裝置上發生,不會有用戶臉部資料傳給Google。在桌機上,LipSync則是特別為Chrome最佳化。

Google對媒體解釋,這項實驗目的在協助訓練AI了解人說話時的表情動作。這些知識可幫助Google建立一套系統來追蹤無法正常說話的族群,像是肌萎縮性側索硬化症(ALS,俗稱漸凍人症)患者,以便未來能觀察他們的肌肉動作而猜測他們想說的話,甚至利用語音合成技術來替他們發聲。

除了展開實驗,Google也提供了LipSync的程式碼及技術文件供下載

這是Google的輔助功能的最新計畫。2016年Google Maps開始標示輪椅族友善的場所,像是允許輪椅進入的餐廳、提供身障停車位及友善洗手間的商店,2018年又提供適合無障礙空間的路線規畫。去年Google也針對聽損人士提供即時字幕及聲音增強App。


Advertisement

更多 iThome相關內容