Nvidia開發了一種新的深度學習引擎GANverse3D,可以將標準的2D圖像,轉換成3D物體模型,並且作為虛擬協作模擬平臺Nvidia Omniverse的擴充套件使用,將3D模型渲染成光影逼真的樣子。

Nvidia人工智慧實驗室所開發的GANverse3D應用程式,能將平面的圖像轉成逼真的3D模型,並在虛擬環境進行視覺化與操作控制,官方提到,這項功能可以讓建築師、創作者、遊戲開發者和設計師,在不需具備3D建模的專業知識下,簡單地將物件加到3D場景中。像是使用單張汽車照片,就可以創建出3D模型,該模型可以在虛擬場景中行駛,並且配備逼真的前燈、尾燈和方向燈等配備。

在開發GANverse3D的過程,由於缺乏訓練資料,於是研究人員便將生成對抗網路(GAN)轉變成為高效能的資料產生器,用來生成同一物體,但是由不同方向觀看的圖片,這些圖片就像是攝影師繞著車輛,從不同角度拍攝的一樣。

這些多重視角的圖片,被插入到反轉圖像(Inverse Graphics)用的渲染框架中,在經過這些圖片訓練後,GANverse3D只需要單張2D圖像就可快速創建出3D模型,這些模型可以被用於3D神經渲染器上,供開發人員控制自定義物件和變換背景。

Nvidia研究人員Jun Gao提到,因為這些訓練資料都是真實的圖像,而不是依賴典型的資料合成方法,讓人工智慧模型可以更廣泛地在真實世界中應用。


熱門新聞

Advertisement