對於自主機器人來說,感知與理解周圍環境是其面對的一大挑戰。

適逢 ROS World 2021 大會,NVIDIA 宣布其為 ROS 開發者社群提供高效能感知技術的最新進展。這些計畫將加速產品開發以及提高產品效能,最終讓開發人員能夠更輕鬆地將最先進的電腦視覺及人工智慧 (AI)/ 機器學習 (ML) 功能,應用於 ROS 架構的機器人應用程式。

最新消息

  • 提供最高效能的即時立體測距解決方案,可作為 ROS 軟體包使用

  • NGC 上各項 NVIDA 推論深度神經網路 (DNN) 皆能作為 ROS 軟體包使用,其中包含影像分割和姿勢估計的範例

  • NVIDIA Isaac Sim 中的全新合成資料生成 (SDG) 工作流程,可為視覺 AI 訓練提供大規模生產品質等級的資料集

  • NVIDIA Isaac Sim 在 Omniverse 上對 ROS 提供開箱即用的支援能力正式推出 GA 版本,其為對開發者最友善的版本

NVIDIA Isaac ROS GEM – 最佳化的效能

Isaac ROS GEM 提供包含影像處理和電腦視覺的軟體包,其內含針對 NVIDIA GPU 和 Jetson 進行高度最佳化調整、並基於 DNN 架構的演算法。

出色的 GEM 立體視覺測距法最佳的準確度及經過最佳化調整的效能

當自主機器在環境中移動時,必須追蹤自己的位置。視覺測距法透過估算攝影機與其起始位置的相對距離,以解決這個問題。用於立體視覺測距的 Isaac ROS GEM 為 ROS 開發者提供這項強大的功能。

這個 GEM 為即時立體攝影機視覺測距解決方案提供了最高的精準度。在此可以參見按照廣泛使用之 KITTI 資料庫所提供的公開結果。除了極高的精準度,該 GPU 加速套件的運行速度也十分快。事實上,現在可以在 NVIDIA Jetson AGX Xavier 上,即時 (>60fps) 以 HD 解析度 (1280x720) 來運行 SLAM。

出色的 GEM DNN 推論能力 – ROS 開發人員可以取得 NGC 上的各種 DNN 推論模型

你可以使用 NVIDIA 在 NGC 上提供的任何推論模型,甚至可以透過 DNN 推論 GEM (一套 ROS2 軟體包) 提供自己的 DNN。亦可以使用 NVIDIA TAO 工具套件,對已預先訓練完成的模型進行調整,或最佳化自己的模型。

完成最佳化調整後,NVIDIA 的推論伺服器 TensorRTTriton 會部署這些軟體包。透過 NVIDIA 高效能推論軟體開發套件 (SDK) TensorRT 的節點,將達到最佳的推論表現。若 TensorRT 不支援所需的 DNN 模型,則應使用 NVIDIA Triton 來部署該模型。

GEM 以原生方式支援 U-NetDOPE。基於 TensorRT 的 U-Net 軟體包可用於從影像產生出語義分割遮罩。而 DOPE 軟體包則可用於對所有偵測到的物體估算其 3D 姿勢。

正式推出 NVIDIA Isaac Sim GA 版本

NVIDIA 將於 2021 年 11 月推出 Isaac Sim 的 GA 版本,將是目前為止對開發者最友善的版本。該版本在使用者介面、效能及有效的構建模組方面有諸多改善,因此將帶來更好的模擬以及更快的構建速度。此外,提升後的 ROS Bridge 和更多的 ROS 範例將強化使用者體驗。

此版本的更新項目 (2021.2 版本預計將於 2021 11 月推出)

  • 提高效能,減少記憶體使用量和啟動時間

  • 改善佔據地圖生成、URDF 匯入器

  • 全新環境包含大型倉庫、辦公室、醫院

  • 全新 Python 構建模組,用於與機器人、物體與環境連接

  • 改善 ROS/ROS2 Bridge、深度點雲、光達點雲的效能

  • 範例更新

  • 使用 ROS2 進行多機器人導航

  • 在 Jupyter 中具有域隨機化的 SDG

全新合成資料生成工作流程 Isaac Sim 建立生產品質等級的資料集

自主機器人需要大量且多樣的資料集,以訓練運行其感知堆疊的多個 AI 模型。想要從真實場景中取得這些訓練資料,得花上高昂代價,而在極端的情況下,還有發生危險的可能性。Isaac Sim 提供的全新合成資料工作流程,可以建立生產品質等級的資料集,以解決自主機器人在安全及品質方面的問題。

建立資料集的開發人員可以控制場景中的物體、場景本身、光線照明,以及合成感測器的隨機分佈。開發人員還能進行微調,以確保在資料集中有納入重要的極端情況。最後,這個工作流程支援版本和除錯資訊,以便能夠按照審計和安全目的精確複製資料集。

開始使用

瞭解如何開始使用 Isaac ROS。

前往 NVIDIA 在 ROS World 21 大會的虛擬攤位,觀看 Isaac 的相關技術簡報內容。

NVIDIA Isaac 資深產品經理 Liila Torabi 與部分全球最大型機器人模擬產品的開發人員,於 ROS 模擬工具小組議程中,討論模擬的過去、現在和未來。


熱門新聞

Advertisement