圖片來源: 

N. Hanacek/NIST

美國國家標準暨技術研究院(NIST)研究了近兩百種的臉部辨識演算法,發現亞裔和非裔美國人臉孔,在一對一配對偽陽性誤判率比白種人高出10到100倍,而在一對多配對上,非裔美國女性錯誤率則明顯較高。NIST提到,一對多配對的使用案例,偽陽性誤判通常會把錯誤的人擺進需要審查的名單中,可能造成錯誤的指控,因此開發人員和系統使用者應該了解這些系統的限制。

NIST進行臉部辨識供應商測試,由業界和學界開發者提交的臉部辨識演算法,判斷這些演算法在執行不同任務的能力。NIST研究了99位開發人員所提交的189種演算法,並研究這些演算法在一對一配對和一對多配對的表現。一對一配對通常用於智慧型手機解鎖或是護照查驗,以一張照片配對同一人的另一張照片,而一對多配對,則是以一張照片在資料庫中尋找同一人的其他照片,通常用於搜尋特定人選的使用案例。

演算法的誤判有兩種狀況假陽性與假陰性,可能將兩個不同的人辨識為同一個人,或是無法正確將同一個人的兩張照片辨識為同一人。NIST研究團隊總共使用了來自849萬人的1,827萬張照片,這些照片來自美國國務院、國土安全部和聯邦調查局的資料庫,沒有使用社交媒體等網際網路資源或是影像監控的圖像。由於這些資料庫除了照片之外,還有年齡、性別、種族和出生國家的元資料資訊,因此可以精確地知道各種屬性所造成的差異。

研究發現,在一對一配對中,亞裔和非裔美國人臉部的偽陽性誤判率,依不同演算法高於白種人10到100倍,這可能會增加臉部辨識系統的安全性問題,因為系統可能允許非本人存取系統。特別是美國開發的演算法,對亞洲人、非裔美國人和包括美洲印第安人、阿拉斯加印第安人和太平洋島民等原住民,一對一配對偽陽性誤判率特別高,其中最高的是美洲印第安人。

但是亞洲國家所開發的部分演算法,亞洲人和白種人在一對一配對上,辨識錯誤率沒有很大的差異,儘管NIST在整個研究並沒有仔細探討誤判發生的原因,但是以部分亞洲演算法的案例推斷,演算法效能與訓練資料有很大的關聯,多樣化的訓練資料可能可以產生更公平的結果。

而在一對多配對上,非裔美國女性的偽陽性誤判率明顯較高,研究人員提到,偽陽性對一對多配對使用案例的影響特別重要,因為可能牽涉錯誤的指控。不過,也不是所有演算法都在一對多配對上對種族有高誤判率,在這次研究中調查的演算法中,公平性評價最高的那一項演算法,精確度也最高。

臉部辨識被大量的用在執法和邊境控管等應用中,雖然過去一些研究早就提出商業系統使用的演算法存在種族和性別偏見,但是NIST這個研究是目前最全面的評估,且印證了早前一些研究的結果。雖然NIST敦促開發者應該進行更多研究,以解決演算法的偏見,但這項研究結果也顯示,人們應該對這些臉部辨識系統的可信度有所保留,並質疑在部分用途的合理性。


Advertisement

更多 iThome相關內容