圖片來源: 

Google

Google AI研究團隊近日在最新的Pixel相機中,於無快門模式Photobooth新增親吻偵測功能,當使用者親吻自己的愛人時,相機會自動捕捉這一瞬間。Google過去是藉由Photobooth模式,讓使用者更簡單地成功自拍,不管是一個人、情侶或是團體照,都能夠自動捕捉到最好的畫面。

Google表示,要拍出一張好的團體自拍照其實不太容易,為了能夠降低自拍的困難,Google研究團隊將自動攝影技術帶到Pixel手機上,一旦使用者進入Photobooth模式並按下快門鍵,系統將會自動在相機穩定,且同時確保拍攝對象有好表情的時候拍攝。

在一系列的Pixel相機功能中,Google於Photobooth加入了Top Shot和肖像(Portrait )模式,來讓使用者盡可能拍出最好的照片,有別於針對後置鏡頭專用硬體優化的肖像模式,Photobooth則是針對前置鏡頭進行優化,為了建置Photobooth,Google必須克服3項挑戰:如何在團體中正確辨識好內容、如何計算按下快門捕捉最佳時刻的時間,以及如何製作視覺動畫幫助使用者了解Photobooth看見的畫面。

首先,Google研究團隊建立了用來理解好內容的模型,Photobooth仰賴兩個不同的模型來捕捉好的畫面,一個是臉部表情模型,另一個則是檢測使用者何時親吻的模型,Google與攝影師合作,整理了5個應該觸發自動拍攝的關鍵表情:微笑、伸舌頭、親吻(或是都嘴)、鼓起臉頰和警喜的表情,接著,Google訓練神經網路針對這些表情進行分類。

相機系統自動辨識表情的下一步,就是要控制快門,使用者使用Photobooth模式按下快門後,系統會根據上述的模型辨識結果,針對畫面內容給予基本的品質評估分數,第一階段會將不好的畫面過濾掉,像是閉眼睛、講話、動作模糊、偵測臉部表情失敗等,Photobooth會暫時分析表情的信心值,來偵測拍照對象在照片中的表現,第一階段若成功通過,每一幀會受到更細化的分析,來產生整體的評分結果。

整體的畫面評分考量因素包含臉部表情品質和親吻分數,由於親吻偵測模型是針對整個畫面來執行,偵測輸出的結果可直接用於全畫面的分數值,而臉部表情模型是針對個別被攝者表情輸出結果,Photobooth利用attention模型將偵測到的表情,透過迭代的方式計算出表情品質的代表值,以及每個臉的權重,Google指出,權重相當重要,舉例來說,權重能夠強調畫面的前方區域,模型接著會為畫面的表現品質,計算出一個通用的分數。

最後,模型計算出的影像品質分數,被用來觸發快門,為了找出拍攝出最佳品質的瞬間,快門控制演算法保留了觀察畫面的短緩衝區,若一個畫面的品質分數比緩衝區之後的分數高,系統才會保存該張照片,而緩衝區的時間也足夠短暫,讓使用者認為Photobooth是即時的回饋。

由於自拍時使用者使用的是前置鏡頭,能夠與螢幕上呈現的畫面互動,Google也在Photobooth模式中加入了視覺的指引,當使用者要拍照時,螢幕上方會出現一個長條圖案,當照片品質增加時,該長條圖案的尺寸也會變大,藉由這樣視覺化的方式,協助使用者理解機器學習演算法看見和捕捉的畫面,該長條圖案的長度被分為4段,一是無法辨識清楚的臉部,二是可辨識臉部但是使用者並沒有看向鏡頭,三則是有看鏡頭但是沒有出現上述5種關鍵表情,最後則是有看向鏡頭且出現關鍵表情,長條指示圖案會隨著照片品質變動,當到達高品質分數時,Photobooth就會拍下並保存照片。


Advertisement

更多 iThome相關內容