适逢 ROS World 2021 大会，NVIDIA 宣布其为 ROS 开发者社群提供高效能感知技术的最新进展。这些计画将加速产品开发以及提高产品效能，最终让开发人员能够更轻松地将最先进的电脑视觉及人工智慧 (AI)/ 机器学习 (ML) 功能，应用于 ROS 架构的机器人应用程式。

Isaac ROS GEM 提供包含影像处理和电脑视觉的软体包，其内含针对 NVIDIA GPU 和 Jetson 进行高度最佳化调整、并基于 DNN 架构的演算法。

当自主机器在环境中移动时，必须追踪自己的位置。视觉测距法透过估算摄影机与其起始位置的相对距离，以解决这个问题。用于立体视觉测距的 Isaac ROS GEM 为 ROS 开发者提供这项强大的功能。

这个 GEM 为即时立体摄影机视觉测距解决方案提供了最高的精准度。在此可以参见按照广泛使用之 KITTI 资料库所提供的公开结果。除了极高的精准度，该 GPU 加速套件的运行速度也十分快。事实上，现在可以在 NVIDIA Jetson AGX Xavier 上，即时 (60fps) 以 HD 解析度 (1280x720) 来运行 SLAM。

你可以使用 NVIDIA 在 NGC 上提供的任何推论模型，甚至可以透过 DNN 推论 GEM (一套 ROS2 软体包) 提供自己的 DNN。亦可以使用 NVIDIA TAO 工具套件，对已预先训练完成的模型进行调整，或最佳化自己的模型。

完成最佳化调整后，NVIDIA 的推论伺服器 TensorRT 或 Triton 会部署这些软体包。透过 NVIDIA 高效能推论软体开发套件 (SDK) TensorRT 的节点，将达到最佳的推论表现。若 TensorRT 不支援所需的 DNN 模型，则应使用 NVIDIA Triton 来部署该模型。

GEM 以原生方式支援 U-Net 及 DOPE。基于 TensorRT 的 U-Net 软体包可用于从影像产生出语义分割遮罩。而 DOPE 软体包则可用于对所有侦测到的物体估算其 3D 姿势。

这项工具是将高效能 AI 推论纳入 ROS 应用程式的最快方法。