臉書釋出新資料集供研究人員評估人臉辨識系統偏見

臉書發表其最新人工智慧公平性與偏見研究，開源一個稱為Casual Conversations的資料集，該資料集包含了45,186支參與者無腳本對話影片，可讓人工智慧研究人員研究人們的年齡、性別、表觀膚色和環境照明，來提升電腦視覺和音訊模型的公平性。

臉書研究人員提到，人們可能無意識地對許多日常事物產生偏見，而這些偏見可能會進入人工智慧模型的訓練資料中，並且在應用中放大這些偏見，對個人或是特定群體帶來有害的後果，而這是目前整個人工智慧產業所面臨的挑戰。

當模型無法從足以反映所有膚色的資料集中學習，智慧相機在辨識特定族群時，就會不太準確，又或是在醫療保健中，部份決策演算法已經被證明，因為使用存在缺陷的基準，因此可能不公平地排除部分族群，以致於他們無法獲取需要的治療。

現在人工智慧應用普遍被發現存在偏見，研究人員提到，作為一個研究領域，對於了解人工智慧公平性和偏見，現在仍處在早期的階段。有鑒於臉書的產品與服務，對於社會整體有一定的影響力，因此為了取得有意義的進步，研究人員不僅需要考量人工智慧系統的效能，還要考慮其所處的結構，並且從多個維度考慮公平性，

雖然公平性不僅取決於應用程式，還跟產品的使用環境、文化和社群有關，但是技術實作是達成公平性的重要部分。研究人員表示，在提高人工智慧系統公平上，一大挑戰是缺乏用來評估人工智慧系統偏見的高品質資料集。

為了解決這個棘手的問題，臉書現在發布了一個獨特的人像影片資料集，Casual Conversations資料集是第一個透過拍攝付費演員的公開影片資料集，資料集中的演員皆同意參加該專案，並且明確提供年齡和性別，除此之外，該資料集還包括膚色標籤，這些標籤是由受過訓練的註解人員，使用費氏量表（Fitzpatrick Scale）標記參與者的膚色，讓人工智慧研究人員得以分析系統在不同膚色和弱光環境條件下的表現。

Casual Conversations資料集由30,011名參與者，所拍攝的45,186部影片組成，這些影片都是在美國拍攝，臉書沒有揭露參與者來自何地。臉書提到，Casual Conversations資料集的目的是用於評估電腦視覺和音訊應用模型的效能，禁止使用在包括辨識性別、年齡和膚色等特定的任務上。

由於臉書在收集參與者的性別時，提供了男性、女性和其他三個選項，但這樣的描述不夠完善，不能代表所有性別，不適用自我認同是非二元性別的人，研究人員提到，Casual Conversations資料集已經是一大進步，但他們會繼續努力，以捕捉更多的性別差異，並且尊重人們的隱私，在接下來一年裡，他們還會探索各種途徑來擴展這個資料集，使其更具包容性，也能廣泛地涵蓋各種性別認同、年齡、地理位置、活動和特徵。

臉書也已經使用Casual Conversations資料集來評估人工智慧系統，將其用於衡量Deepfake偵測挑戰賽中參賽者系統。Deepfake偵測器是用來區分人工智慧與真實人像差異的程式，試圖發現篡改的圖像，而臉書對Deepfake偵測挑戰賽的前5名，使用Casual Conversations資料集，結果發現這些Deepfake偵測器都難以辨別具有深色膚色人像的偽造影片，而最具平衡性的預測模型，則是當初的第三名。