適逢 ROS World 2021 大會，NVIDIA 宣布其為 ROS 開發者社群提供高效能感知技術的最新進展。這些計畫將加速產品開發以及提高產品效能，最終讓開發人員能夠更輕鬆地將最先進的電腦視覺及人工智慧 (AI)/ 機器學習 (ML) 功能，應用於 ROS 架構的機器人應用程式。

Isaac ROS GEM 提供包含影像處理和電腦視覺的軟體包，其內含針對 NVIDIA GPU 和 Jetson 進行高度最佳化調整、並基於 DNN 架構的演算法。

當自主機器在環境中移動時，必須追蹤自己的位置。視覺測距法透過估算攝影機與其起始位置的相對距離，以解決這個問題。用於立體視覺測距的 Isaac ROS GEM 為 ROS 開發者提供這項強大的功能。

這個 GEM 為即時立體攝影機視覺測距解決方案提供了最高的精準度。在此可以參見按照廣泛使用之 KITTI 資料庫所提供的公開結果。除了極高的精準度，該 GPU 加速套件的運行速度也十分快。事實上，現在可以在 NVIDIA Jetson AGX Xavier 上，即時 (>60fps) 以 HD 解析度 (1280x720) 來運行 SLAM。

你可以使用 NVIDIA 在 NGC 上提供的任何推論模型，甚至可以透過 DNN 推論 GEM (一套 ROS2 軟體包) 提供自己的 DNN。亦可以使用 NVIDIA TAO 工具套件，對已預先訓練完成的模型進行調整，或最佳化自己的模型。

完成最佳化調整後，NVIDIA 的推論伺服器 TensorRT 或 Triton 會部署這些軟體包。透過 NVIDIA 高效能推論軟體開發套件 (SDK) TensorRT 的節點，將達到最佳的推論表現。若 TensorRT 不支援所需的 DNN 模型，則應使用 NVIDIA Triton 來部署該模型。

GEM 以原生方式支援 U-Net 及 DOPE。基於 TensorRT 的 U-Net 軟體包可用於從影像產生出語義分割遮罩。而 DOPE 軟體包則可用於對所有偵測到的物體估算其 3D 姿勢。

這項工具是將高效能 AI 推論納入 ROS 應用程式的最快方法。