📖 AI 总结

本文介绍了一套围绕 NVIDIA Cosmos3-DROID 数据集构建的端到端流式机器人学习流程，其核心思路是在不下载 707 GB 完整数据集的前提下完成训练。作者首先解析 LeRobotDataset v3.0 的结构，从 info.json、任务元数据、episode 表和统计信息构建元数据图，再借助 HTTP 字节范围访问与 PyArrow 按需读取 Parquet 行组和列。随后将单条 episode 转换为状态-动作轨迹，分析关节运动、夹爪事件、笛卡尔末端路径和动作频谱，并通过基于 seek 的 PyAV/FFmpeg 仅解码所需的 AV1 视频片段。在利用数据集统计量归一化观测与动作后，构建 ACT 风格的 PyTorch 分块数据集并训练多模态行为克隆策略，最后通过开环 rollout 与时间集成动作块评估，报告各关节 MSE 和 R²，并保存策略检查点。该流程展示了在有限本地资源下高效利用大规模机器人数据集进行策略学习的可行路径。