臉書與密西根州立大學(MSU)合作,開發了一種偵測深度偽造(Deepfake)的新方法,這個方法是透過對假照以及生成照片的模型,進行逆向工程,以發現可用來偵測假照的特徵。研究人員提到,這項研究的重要性在於,突破人們對於假照偵測的理解,透過解析模型能夠讓相關從業人員,更好地調查深度偽造虛假資訊事件。

由於深度偽造技術越來越進步,人類已經無法輕易的分辨假照與真實圖像的差異,再加上深度偽造技術可能不只被用於娛樂上,而是另外的惡意目的,因此假照偵測研究變得重要。當前的深度偽造偵測技術有其限制,研究人員透過封閉的資料集,來教模型分類假照,但是一旦假照是由偵側模型未看過的圖像產生,則偵測模型效能低落。

而逆向工程是解決深度偽造的另一種方法,這並非全新的概念,研究團隊使用逆向工程方法,探索生成假照的深度偽造人工智慧模型所產生的特殊圖騰,研究人員從圖片來源著手,並且擷取模型產生圖像的特性,透過歸納圖像來源,來推論深度偽造生成模型的資訊,就能追蹤出一系列圖像來源。這種能夠發現假照是由單一模型產生的能力,對於打擊應用深度偽造技術的惡意攻擊非常有用。

研究人員解釋,在深度學習時代之前,生成照片通常需要使用小型且知名的工具,而這些工具留下的指紋,便能被當作手工製作的特徵,可用來偵測由工具生成的照片,但是深度學習技術使得可用來產生圖片的工具集,存在無限多種組合,讓研究人員難以透過手工特徵,來辨識特定的訊號或是指紋屬性。

研究人員現在使用指紋評估網路(FEN),從假照中擷取生成模型所留下的指紋,研究人員提到,由於圖片製造過程的缺陷,每個圖片都會留下裝置特殊的圖騰,在數位攝影中,照片指紋會被用來辨識拍攝的數位相機,而裝置指紋與攝影機指紋類似,生成模型會在照片上留下特殊的紋路,因此可用來辨識產生圖片的生成模型。

研究人員根據野外發現的深度偽造指紋,建立生成指紋資料集,並利用該資料集訓練模型,用來辨識過去未見過的指紋,研究人員提到,他們的系統可以評估深度偽造模型的演算法網路架構,以及訓練損失函式,由於生成模型的網路架構和訓練損失函式都不相同,因此可以用來精確的斷定生成模型。

研究團隊以各種來源的資料集測試並且評估模型,雖然目前還沒有其他模型解析的方法,但研究人員透過建立隨機基準真相(Random Ground-Truth)來進行比較,實驗結果顯示,臉書與MSU所開發的方法,明顯比隨機基準真相更好,顯示架構超參數、訓練損失函式,與生成的圖像間,確實存在關聯性。

研究人員提到,他們的方法具有良好的泛化能力,可應用到人類與非人類的圖像中。該方法解構深度偽造技術擷取指紋,該指紋經研究人員研究,並無法映射回原始圖像中,這個指紋僅為生成模型留下的痕跡。

這些研究用的人像假照和逆向工程的實驗,都在MSU中生成與進行,MSU將會向研究社群開源該研究資料集、程式碼和訓練模型,以促進深度偽造偵測研究發展。


熱門新聞

Advertisement