臺大資工系教授徐宏民去年率領臺大CMLab團隊,靠著自創的偽裝人臉辨識演算法,贏得了CVPR 2018偽臉辨識比賽優勝,不僅是唯一辨識率達9成的隊伍,更是第一家進榜的臺灣隊伍。(攝影/洪政偉)

臺灣不只有自己的國產人臉辨識技術,在先進人臉技術研究上,也不輸國外頂尖大學。例如臺大CMLab人臉辨識團隊,去年首次參加CVPR 2018舉辦的全球偽裝人臉辨識競賽,就勇奪大賽第一名,不僅以超過9成的高辨識率力壓全場,更是全部唯一辨識破9字頭的隊伍,就連主辦方都私下來請教,想知道為何他們訓練的演算法,辨識可以這麼厲害。也向世界證明,臺灣的人臉辨識研發能量,擁有世界一流競爭實力。

臺灣人臉辨識研發力,不輸國外

最近兩年,雖然臉部辨識技術,已經可以落地成為實際應用,甚至比人眼辨識準度都還高,但實務上仍有不少挑戰要克服。尤其是偽裝人臉(Disguised Faces)的辨識問題,到現在仍是棘手難題。因為人臉辨識用的重要特徵被遮蔽,例如在臉上畫濃妝,或搭配其它穿搭飾品(如眼鏡、帽子和假髮)等,使得人臉辨識結果容易出現誤判影響了實用性,甚至成為有心人士假冒他人身分從事違法情事,近來,也成為人臉辨識研究上的一大熱門議題。

但是之前沒有一個偽裝人臉資料庫,可供研究來使用。直到去年,全球三大電腦視覺頂尖會議之一的CVPR 2018主辦方,釋出一套內含有11,000張的偽裝人臉影像的公開資料庫,讓學界可以投入研究,甚至還舉辦首屆偽裝人臉辨識競賽(Disguised Faces in the Wild),不只開放學校,也廣邀業界人臉辨識好手來參賽。比賽背後更是由美國政府情報單位負責先進情報研究的IARPA大力出資。

這場賽事共有數十隊參賽,並分兩階段比賽,臺灣也有來自臺大CMLab實驗室人臉辨識團隊代表參賽。最後更一路過關斬將,拿下首屆偽臉辨識大賽冠軍。在3個比賽項目裡的兩項,混淆(Obfuscation)、整體辨識( Overall accuracy)項目雙雙拿下第一名。

其中,在整體辨識率項目,臺大團隊以自行開發設計的深度學習偽臉辨識演算法,在誤判率(FAR)只有百分之一的條件下,辨識率仍可達到90.62%,更是唯一一組辨識率達9成的隊伍,比第2名還高出近3%。前十名的學校有來自美國、中國、俄羅斯,還有美國、中國等研究機構與企業,臺大是唯一進榜的臺灣隊伍。

偽裝人臉的挑戰,在於要能正確辨識出是本人偽裝的人臉(濃妝、戴眼鏡、帽子),還是以裝扮冒充別人身分的其他人臉。

偽裝人臉(Disguised Faces)的挑戰,在於要能正確辨識出是本人偽裝的人臉(濃妝、戴眼鏡、帽子),還是以裝扮冒充別人身分的其他人臉。因為人臉辨識用的重要特徵被遮住,使得人臉辨識結果容易出現誤判影響了實用性。近來成為人臉辨識技術研究上的一大熱門議題。圖片來源/Maneet Singh

就像美國知名歌手女神卡卡(Lady Gaga)妝化得再濃,一般人認不出,但是死忠粉絲還是看得出來。負責帶隊的臺大資工系教授徐宏民表示,這也給了他們靈感,用來破解偽裝人臉。

所以,訓練設計上,分兩階段來完成,第一階段,先以其他資料集抽取人臉特徵,先訓練出一個深度卷積神經網路(DCNN)的模型,可以用來辨識人臉;接下來,再以大會提供的偽裝人臉資料,額外建立一個神經網路區塊,專門用於學習偽裝人臉的辨識。徐宏民進一步補充,設計網路時,不只使用深度學習技術,在進行特徵擷取時,也結合了早期的機器學習的PCA(主成分分析)技術,將這些人臉資料先經轉換投射到一個新的特徵空間,來學習這些偽臉的主要特徵,再用學到的這些人臉結構、特徵去比對,找出眼前這個人是本人偽裝,還是別人假扮。經過他們訓練過的偽臉演算模型,連化濃妝後的Lady Gaga都能認。

對於這次比賽成果,徐宏民表示,這更證明了臺灣人臉辨識研究實力,完全不輸國外頂尖大學,「甚至後來,遇到主辦者,連他都很好奇我們怎麼做,可以做到這麼高的辨識率。」他自豪地說。

除了偽裝人臉外,低解析度照片也是人臉辨識當前的另一項挑戰。例如,3年前發生的紐約連環爆炸案,警方一開始公布嫌疑犯人臉照片,連局內人臉辨識系統也束手無策,因為監視器拍到的人臉影像解析度太低,難以辨識,導致警方無法在第一時間將嫌犯追捕到案。

這也讓當時人在國外做研究的徐宏民,決定改善低解析度人臉影像的辨識問題。他解釋,通常拍攝的臉孔很小時(小於160x160或200x200像素),辨識上就會有難度,即使將照片放再大,人臉看起來還是很模糊,不易辨識。

3年前的紐約連環爆炸案,警方公布的嫌疑犯人臉照片,因解析度太低,連自家人臉辨識系統也束手無策,這讓當時在國外做研究的徐宏民和團隊,花了2年設計出新的低解析度人臉辨識以及放大演算法,就算只有一般人臉照片大小的十分之一,只有12×14解析度,都認得出來。圖片來源/紐澤西州警局、FBI

所以,徐宏民和研究團隊花了快2年,設計出一套新的低解析度人臉辨識以及放大演算法,可以在放大小尺寸人臉圖片時,同時保留更多解析度細節,而不失真。他指出,透過這個演算法,輸入的人臉大小只有12×14解析度,不到一般可辨識人臉照片的十分之一,都能辨識得很好,準確率還很高。根據在LFW(公開人臉資料集)測試上,辨識率甚至可以達到98.20%,跟其他頂尖算法相比,一點也不遜色。後來,他們還將這次研究成果在去年ECCV歐洲電腦視覺會議上發表,也引起很高關注。

臺灣人臉辨識要落地,實際場域應用的人臉資料是關鍵

講到臺灣臉部辨識技術的發展,徐宏民也建議,最好要有自己一套在地人臉資料庫,如果完全用國外臉孔資料訓練出來的演算法,來套用在包含臺灣人在內的亞洲人臉時,辨識上大約有3到4%的落差,「關鍵就在於,是不是用在地的臉部資料訓練的演算模型。」他說。

徐宏民進一步補充,這些訓練用的人臉資料,無法反應實際應用場域,往往跟現場拍攝到的人臉會有很大的差異,實際應用需要面對的辨識挑戰更大,如光線不佳、視角差、逆光等,甚至也有國家、地域的人臉差別。

尤其在臺灣,他提到,很多人都戴眼鏡,但目前很多公開人臉資料庫,都缺少這類型的照片,「這也是臺灣發展自有人臉辨識技術的關鍵,需要用更貼近應用場域的人臉資料,辨識出來的結果才會好。」他說。


Advertisement

更多 iThome相關內容