TensorFlow釋出可微分圖形(Differentiable Graphics)層TensorFlow Graphics,這是用來幫助訓練電腦視覺模型的函式庫,官方提到,由於要用來訓練3D視覺任務模型的標籤資料取得不易,而TensorFlow Graphics能夠自動推測3D場景參數,以加速電腦視覺深度學習應用建置。TensorFlow Graphics第一個釋出的版本,相容與TensorFlow 1.13.1以上版本。

簡單來說,電腦圖形工作管線需要3D物體在空間中的絕對位置、物體材質描述、燈光以及相機設定,由渲染器產生合成渲染(Synthetic Rendering),而電腦視覺的應用則是反向的渲染工作管線,需要從場景圖像往回推算場景參數,預測場景中的物體、材質以及物體在3D空間的位置與方向。

官方提到,電腦視覺應用的發展門檻在於訓練模型用的標籤資料難以取得,而這是因為訓練用的標籤資料,其標記過程複雜需要耗費大量的時間與金錢,因此要促進電腦視覺的應用,有必要建立不需要太多監督的機制,也能理解3D世界的方法。TensorFlow Graphics透過電腦圖學以及電腦視覺技術,已經可以將大量未標記資料應用於訓練上。

TensorFlow官方提到,現在透過合成分析就能達成這件事,從圖形系統中萃取出場景參數,並利用這些參數再次渲染圖像,當渲染的圖像與原始圖像相符,則表示圖像系統精確地推理出場景參數,在這樣的設置中,電腦視覺與電腦圖學相輔相成,構成了一個類似自動解碼器,可以進行自我監督訓練的單一機器學習系統。

TensorFlow Graphics現在能提供多種有用的功能,可用來訓練神經網路預測物體旋轉或是平移等移動轉換(Transformations),這樣的功能適合用於與環境互動的機器人,可以讓機器人精確地計算物體與機械手臂的相對位置,抓住正在移動的物體。TensorFlow Graphics還能用來預測物體材質(Materials),而這能讓神經網路學習材質與光的互動,將其應用在擴增實境中,可以為實際環境中擺放的虛擬傢俱,透過光影渲染使其更融入現實環境中,幫助用戶理解傢俱外觀。

在幾何應用上,TensorFlow Graphics提供3D卷積(Convolutions)和池化(Pooling)功能,讓神經網路對模型網格進行語義分類(下圖)。另外,TensorFlow Graphics還提供了TensorBoard外掛程式,讓開發者能以互動的方式查看3D模型進行視覺除錯。


Advertisement

更多 iThome相關內容