研究人員以AI模型竊聽鍵盤聲可達到95%的準確率

來自英國3所大學的3名研究人員Joshua Harrison、Ehsan Toreini與Maryam Mehrnezhad近日發表了一篇研究報告，指出他們以使用者打擊鍵盤的聲音所開發的機器學習模型，可以準確地判斷使用者輸入的文字，若是以放在筆電旁的手機進行側錄以訓練模型，準確率高達95%，利用通訊軟體進行遠端攻擊也有超過90%的準確率。

研究人員先是蒐集了筆電上36個按鍵的聲音，包括26個英文字與10個阿拉伯數字，每個按鍵都以不同的手指或壓力按了25次，之後把這些聲波視覺化，強化每個鍵擊的差異，產生梅爾頻譜，再以它們來訓練既有的影像分類模型CoAtNet，隨後即可利用CoAtNet來判斷使用者所輸入的文字。

蒐集鍵擊聲的方式不同，準確率就不同。其中一項實驗是把一支iPhone 3 mini放在一臺蘋果M1 Pro版的MacBook Pro旁邊約17公分處，以蒐集打擊MacBook Pro鍵盤的聲音，所訓練出來的模型可達95%的準確率。

研究人員還實驗了Zoom與Skype，他們藉由遠端會議來蒐集目標對象的鍵擊資料，再以這些資料來訓練模型，透過Zoom側錄的準確率有93%，透過Skype也有91.7%。

這類的旁路攻擊主要是可獲得受害者所輸入的密碼，卻也不難破解，只要變更打字風格，模型的準確度就會降低，而且對於那些可以不看鍵盤就打字的使用者來說，辨識也較難，另一個防禦方法則是採用隨機密碼。