臉書與Matterport共同發布可用於訓練家庭機器人的3D空間資料集

臉書與空間資料廠商Matterport合作，公開了Habitat-Matterport 3D（HM3D）資料集，這是目前最大的室內3D掃描資料集，能夠促進社群在空間人工智慧應用的研究。目前HM3D免費對外開放，可用於學術與非商業研究上。

HM3D開源研究資料集相容於Habitat的3D掃描集合，含有1千個精確的縮放住宅空間和商業空間資料。Habitat是臉書的體現AI（Embodied AI）平臺，該模擬平臺提供研究人員逼真的3D環境，能用來訓練像是機器人等體現代理人。

電腦視覺和自然語言處理的人工智慧模型，通常能夠使用來自網際網路的文字、圖像、音訊和影片進行訓練，而具有實體或是虛擬化身的體現機器人，由於其智慧系統有不同的需求，因此無法使用這些資料進行訓練。

諸如家用機器人等體現機器人，要解決像是「我的鑰匙在哪？」、「幫我把桌上的筆電拿過來」這類問題與要求，臉書提到，這些任務需要人工智慧以人類的方式理解世界，並且與這個世界互動，需要具備的能力像是要以各種角度辨識物體、區分檯面和桌面的不同等。而為了訓練出這樣的機器人，需要利用大量逼真的3D空間進行模擬訓練。

但是能夠使用的3D資料很少，雖然2D圖像資料集在這幾年已經被積極的發展，可使用的圖像達到數十億張，但是3D空間資料集現在只有數十個建築物可用，阻礙了體現人工智慧的發展。而新的HM3D資料集可以大大補充現有的3D訓練資料集，推進體現人工智慧的研究。

HM3D資料集可用來訓練家庭機器人和人工智慧助理，使這些代理能夠理解現實環境的複雜性，辨識物體、房間、空間，或是學習導覽和遵循指令，像是要尋找放錯位置的物體這類複雜任務，體現人工智慧代理需要建構地圖，回憶觀察到的物體，並且理解語音和音訊線索，再執行諸如上下樓梯等複雜的運動控制。

臉書和Matterport合作來開源HM3D資料集，官方提到，這個資料集發布的目的，是要共同解決體現人工智慧發展所遇到的問題，透過資料來刺激技術創新。臉書未來會擴展這個資料集，加入來自更多國家室內空間的掃描，並且加入註釋，以方便物件檢索等進階任務，另外，他們也要使用這個資料集，來研究動態環境，包括空間中移動的人和寵物，也更貼近現實情況。