臉書去年F8大會大秀AR/VR應用,尤其展示了多種在生活場景疊加圖片的AR技術,近日臉書AI研究院開源釋出了臉書AR技術的關鍵電腦視覺技術框架,物件辨識框架Detectron,可以快速在影片或圖片中辨識出物體,物件的形狀或邊緣,方便疊加影像。

該物件辨識框架是由Python撰寫而成,並用深度學習框架Caffe2 執行,其中導入了多個熱門的物件辨識演算法,像是Mask R-CNN、RetinaNet、Faster R-CNN、RPN、Fast R-CNN、R-FCN,還包含了過去臉書AI研究院多項研究計畫,Detectron能夠根據電腦視覺的任務,自動產生適合的模型。臉書AI研究院(FAIR)表示,Detectron的目標即是要提供物件辨識研究一個兼具品質和效能的程式,Detectron能夠彈性地支援快速導入和測試新研究,目前Detectron以Apache 2.0的開源框架於GitHub上釋出

臉書AI研究院專精於電腦視覺和機器學習的研究科學家Ross Girshick,在臉書貼文中宣布這項消息,他表示,Detectron的計畫從2016年7月開始,當時的目標就是要在深度學習框架Caffe2上,創造一個快速且具有彈性的物件辨識系統,後來進入預覽的開發階段,經過1年半後,Detectron已經成熟並可以支援FAIR多數的專案,包括Mask R-CNN 、Focal Loss for Dense Object Detection,透過Detectron,這些演算法可以給予電腦視覺相關的重要任務直觀的模型,像是實例分割(Instance segmentation))的方法,實例分割是要將每個物件貼上標示(Label),並切割出標示的物件輪廓,除此之外,Detectron對於一些視覺感知系統也會有很大的幫助。

在臉書AI研究院內部,Detectron已經用在多個專案中,像是Feature Pyramid Networks for Object Detection、Mask R-CNN、Detecting and Recognizing Human-Object Interactions、Focal Loss for Dense Object Detection、Non-local Neural Networks, Learning to Segment Every Thing和Data Distillation: Towards Omni-Supervised Learning。

而臉書AI研究院將Detectron開源的目的是,能夠讓FAIR的研究與大家分享,來加速全世界的研究成果,開源釋出Detectron,可以使研究社群重新創造FAIR的研究成果,也能與FAIR內部使用一樣的平臺,除了研究之外,臉書團隊也有利用Detectron,為不同的重要應用,訓練出客製化的模型,模型訓練完成後,即可透過輕量級且模組化的Caffe2部署於雲端、行動裝置,臉書期望Detectron能夠協助發展出下一代的物件辨識技術。

此外,Ross Girshick表示,臉書AI研究院也在模型動物園(Model Zoo)中,釋出超過70個已用Detectron訓練過的模型,提供開發者下載,來創造出自己的物件辨識系統。


Advertisement

更多 iThome相關內容