圖片來源: 

Amazon

針對美國公民自由聯盟(American Civil Liberties Union,ACLU)對Amazon人臉辨識系統Rekognition所做的實驗,錯將28名美國國會議員辨識為罪犯的結果。Amazon回應,這結果與信心門檻閾值設定有關,提高信心門檻閾值便能減少錯誤配對,該公司舉例,人們不會因為烤箱溫度設定錯誤烤焦比薩而丟棄烤箱。

ACLU使用Amazon的Rekognition系統,以25,000張公開的罪犯照片建構了臉部資料庫,並使用當前國會議員的公開照片進行比對,在80%的信心水準下,發現535位議員被錯誤配對28次,也就是說有28位議員被系統認為是罪犯,正確率95%而錯誤率為5%。Amazon在自家部落格發文回應ACLU的實驗結果,由於無法取得更進一步系統設定的資料,Amazon僅能以目前ACLU公開的資料回應。

Amazon提到,雖然Rekognition系統預設信心門檻閾值為80%,但這僅適用於一般社交媒體名人辨識之用,是無法用於公共安全的。Amazon對用於公共安全目的之應用,根據他們公開的文件建議,應該要將信心門檻閾值設為99%。

Amazon重現了類似ACLU的實驗,他們將學術界常用的臉部資料集850,000張照片作為臉部資料庫,對所有國會成員的公開照片進行比對。Amazon提到,當他們把信心門檻閾值設為99%的時候,盡管Amazon自己所做的實驗,比ACLU的規模大30倍,複雜度更高,但是錯誤辨識率卻是0%。而這個實驗說明了信心門檻閾值設定的重要性。Amazon也提到,ACLU使用的臉部資料集也可能是造成結果偏差的原因之一。

而Amazon拿出了美國國家標準與技術研究所(NIST)的研究資料打臉ACLU,Amazon表示,一般人都以為人類在臉部比對的能力比機器優秀,但事實上並非如此,根據NIST的研究,即便使用比Rekognition落後的臉部系統,其辨識人類臉部的精準度仍然在人類之上。

在現實使用案例中,Amazon強調,Rekognition系統只用於幫助人類縮小可能範圍,並讓人類使用自有判斷能力審查系統的建議選項。這樣的功能對於尋找失蹤人口、打擊人口販賣或預防犯罪有很大的用處。

Amazon提到,當新技術發展時,必須很清楚什麼是真實的,什麼不是,機器學習應用在娛樂與執法上截然不同,他們不會建議執法單位使用小於99%的信心門檻閾值。正確使用機器學習,能為執法單位帶來龐大的價值,但不應該因為沒有正確使用而丟棄工具,Amazon打了個比喻,就像是錯誤設定烤箱溫度而烤焦比薩,我們也不會把烤箱丟掉。

熱門新聞

Advertisement