Google發布MediaPipe Iris模型，可精確追蹤虹膜測量深度

Google釋出MediaPipe Iris，這是一個利用眼睛虹膜來量測深度的機器學習新模型，可精確量測相機到人物距離。而MediaPipe則是一個跨平臺人工智慧工作管線框架，讓開發人員簡單地建構機器學習解決方案，可以在手機、桌上型電腦、筆電或是網頁上執行。

不少人臉辨識相關應用，都需要仰賴追蹤虹膜來估計眼睛的位置，像是計算人臉虛擬眼鏡和帽子的大小，或是根據使用者和裝置的距離，調整裝置字體大小，以強化裝置的可用性，Google提到，只要能準確地追蹤虹膜，就可以在不需要深度感測器的情況下，測得相機距離人物的距離。

不過要在行動裝置上追蹤虹膜，並非一件簡單的事，因為裝置有限的運算資源，再加上變動的光照條件和遮蔽物，通常需要使用複雜的專用硬體，才能克服這些限制。而Google現在推出的MediaPipe Iris，是以MediaPipe上的Face Mesh為基礎建立的模型，能夠使用單個RGB攝影機，即時追蹤虹膜、瞳孔和眼睛輪廓，在不使用專用深度感測器，可使深度量測的相對誤差小於10％。

虹膜追蹤的機器學習工作管線第一步，是以Face Mesh生成高逼真度的人臉幾何網格，再從網格分離出眼睛區域，將其應用在虹膜追蹤模型中。接下來的工作分為兩部分，分別是眼睛輪廓評估以及虹膜定位，研究人員人工標註了5萬筆眼睛區域訓練資料，以呈現眼睛在各種光照情況和頭部姿勢，可能出現的各種可能性。

接下來，MediaPipe Iris則要利用虹膜算出深度，研究人員提到，人眼虹膜直經約是11.7±0.5 mm，而相機與人物的距離，可利用焦距和臉部特徵估得，只要從影像的EXIF元資料，或是相機的參數取得相機焦距，由於焦距和眼睛虹膜成像的大小，與相機到人物距離和虹膜實際大小成比例，如此便可計算出相機到人物的距離。

為了確認這個方法的準確度，研究人員找來200位參與者，利用MediaPipe Iris以及iPhone 11上的深度感測器進行比較，並使用雷射測距儀驗證，在2公尺內，iPhone 11深度感測器誤差小於2％，而MediaPipe Iris平均相對誤差為4.3％，標準差為2.4％。

不過，當受試者有戴眼鏡，則相對誤差會略提高到4.8％，研究人員提到，由於MediaPipe Iris不需要專門的硬體，因此這樣的結果顯示，該方法已經可以在廣泛甚至低成本的裝置上，使用單張圖像量測深度，而限制則是無法用於判斷人們觀看的位置，以及任何形式的身份辨識。

Google即將在MediaPipe工作管線上發布MediaPipe Iris模型，該模型可在桌上型電腦、行動裝置和網頁上運作，研究人員提到，他們利用WebAssembly和XNNPACK，在瀏覽器上執行Iris機器學習工作管線，不會將任何資料送到雲端上運算。