臉書與空間資料廠商Matterport合作,公開了Habitat-Matterport 3D(HM3D)資料集,這是目前最大的室內3D掃描資料集,能夠促進社群在空間人工智慧應用的研究。目前HM3D免費對外開放,可用於學術與非商業研究上。

HM3D開源研究資料集相容於Habitat的3D掃描集合,含有1千個精確的縮放住宅空間和商業空間資料。Habitat是臉書的體現AI(Embodied AI)平臺,該模擬平臺提供研究人員逼真的3D環境,能用來訓練像是機器人等體現代理人。

電腦視覺和自然語言處理的人工智慧模型,通常能夠使用來自網際網路的文字、圖像、音訊和影片進行訓練,而具有實體或是虛擬化身的體現機器人,由於其智慧系統有不同的需求,因此無法使用這些資料進行訓練。

諸如家用機器人等體現機器人,要解決像是「我的鑰匙在哪?」、「幫我把桌上的筆電拿過來」這類問題與要求,臉書提到,這些任務需要人工智慧以人類的方式理解世界,並且與這個世界互動,需要具備的能力像是要以各種角度辨識物體、區分檯面和桌面的不同等。而為了訓練出這樣的機器人,需要利用大量逼真的3D空間進行模擬訓練。

但是能夠使用的3D資料很少,雖然2D圖像資料集在這幾年已經被積極的發展,可使用的圖像達到數十億張,但是3D空間資料集現在只有數十個建築物可用,阻礙了體現人工智慧的發展。而新的HM3D資料集可以大大補充現有的3D訓練資料集,推進體現人工智慧的研究。

HM3D資料集可用來訓練家庭機器人和人工智慧助理,使這些代理能夠理解現實環境的複雜性,辨識物體、房間、空間,或是學習導覽和遵循指令,像是要尋找放錯位置的物體這類複雜任務,體現人工智慧代理需要建構地圖,回憶觀察到的物體,並且理解語音和音訊線索,再執行諸如上下樓梯等複雜的運動控制。

臉書和Matterport合作來開源HM3D資料集,官方提到,這個資料集發布的目的,是要共同解決體現人工智慧發展所遇到的問題,透過資料來刺激技術創新。臉書未來會擴展這個資料集,加入來自更多國家室內空間的掃描,並且加入註釋,以方便物件檢索等進階任務,另外,他們也要使用這個資料集,來研究動態環境,包括空間中移動的人和寵物,也更貼近現實情況。


熱門新聞

Advertisement