在科技部「數位經濟技術創新研發與應用」專案下,清華大學電機資訊學院和iStaging愛實境合作,完成「智慧全景3D重建」研究,透過AI只要單張全景影像,就能重建出室內3D格局模型,未來可應用在房仲業,提供更具空間感的線上或VR沈浸看房體驗,旅宿服務平臺上也能讓消費者訂房前,預先觀看不同房間格局。
這項研究凝聚產學資源完成,由愛實境提供2500張室內全景圖片,結合清大電機資訊學院研究團隊開發的智慧全景3D重建技術,標榜不需要價格昂貴的專業全景相機,只要一般智慧型手機拍攝的單張室內全景影像,透過機器學習模型,不需要人工處理,就能重建室內3D格局模型。清大研究團隊今年6月將赴美國加州,準備在國際電腦視覺與圖形辨識研討會(CVPR)上發表。
清華大學電機工程學系副教授孫民表示,傳統室內全景瀏覽服務仰賴人工處理,在室內的定點拍攝全景影像,使用者只能瀏覽該定點的室內全景,雖然可結合多張全景影像,例如客廳、臥室、廚房等室內全景影像,讓使用者看到更多室內樣貌,但使用者在不同室內定點間切換,無法讓使用者在3D模型的虛擬空間中移動觀看。
他解釋智慧全景3D重建技術,就像小朋友折紙組合成立體的房屋一樣,研究人員先以人工標註方式,為2500張室內全景圖片標註天花板與牆壁、牆壁與牆壁、牆壁與地板,室內不同角落的折線,2500張全景影像中的8成標註圖片用於訓練機器學習模型,另2成用於測試模型辨識的準確度,如此便能訓練系統辨識室內全景影像,重建出室內3D格局模型。而透過這項智慧全景3D室內重建格局技術,只要單張室內全景影像,在視線沒有遮蔽的條件下就能重建室內3D模型,除了可以電腦在室內3D格局模型內移動,若搭配VR頭戴及控制裝置,還能帶來更沈浸的視覺體驗。
傳統室內3D建模需使用昂貴的Lidar測距裝置,以獲得室內的深度資訊,由人工方式完成室內3D模型建模,而清大的智慧全景3D重建技術強調只要一般智慧型手機拍攝單張室內全景,就能透過機器學習技術,重建室內3D場景。
不過,這項技術僅能以沒有視線遮蔽的單張室內全景影像,重建出室內場景的3D模型,例如客廳室內3D格局模型,無法重建被牆壁阻隔的臥室、陽臺等3D格局,清大也和台科大合作,研究拼接多張室內全景影像,如客廳、臥室、廚房等多張全景影像,重建出更完整的室內3D格局。
孫民表示,現在單張室內全景影像,經過人工標註訓練、測試後,和LayoutNet的技術相比,準確度提高將近15%。目前正在進行多室內全景影像重建,以重建出更完整的室內3D格局模型,未來還要讓室內的物件如桌椅、電視或傢俱,讓使用者能自由挪動,更全面3D體驗。
清大研究團隊和愛實境的合作,未來也能透過愛實境的AR、VR內容平臺,將這項技術擴展至海外市場。
熱門新聞
2024-12-02
2024-11-29
2024-12-02
2024-11-30
2024-12-02