NVIDIA IsaacTeleop 是一个将 XR 手部追踪与运动控制器输入转化为机器人在仿真和真实环境中可执行动作的框架,其核心是基于图的 retargeting 引擎。本文以教程形式,在不依赖头显、OpenXR 运行时或模拟器的前提下,用 NumPy 从零构建全部输入,使每一步都能在普通 Colab CPU 上运行并输出计算结果。流程从定义各节点通用的类型系统开始,生成合成的手部与控制器数据,编写带实时可调参数的自定义 retargeter,并用其驱动内置的夹爪和 SE(3) retargeter。随后组合出完整计算图,每步输出一个动作向量,施加世界坐标系变换,逐步运行并演示状态机的暂停与终止,最终完成控制器到灵巧手的映射及可跨重启保留的参数调优。该教程展示了 IsaacTeleop 模块化的重定向架构,为机器人遥操作与动作生成提供了一条可复现、低门槛的实现路径。
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅