实时LiDAR世界模型LidarVerse：单张H100上11 FPS，跨任务跨传感器通吃！
Into the LidarVerse: A Real-Time Unified LiDAR World Model Across Tasks and Sensors
📖 AI 总结
本文提出 LidarVerse，一个面向跨任务、跨传感器的实时统一 LiDAR 世界模型。针对现有 LiDAR 仿真中重建方法需逐场景优化、生成方法难以保持长时一致性的问题，作者将两类范式整合进统一的条件生成框架：通用分词器把 LiDAR 距离序列映射到共享潜空间，双向教师模型学习以 LiDAR 前缀、高清地图、持久空间缓存及可选文本为条件的通用接口，通过改变可用场景证据，同一模型即可充当新世界生成器、点云预测器或可泛化的重仿真器，无需逐场景优化。作者进一步将教师蒸馏为四步自回归因果学生模型，并维护滚动时间 K/V 缓存与世界对齐空间缓存，实现持久长时推演，在单张 H100 上达到 11 FPS 实时推理。该模型在三类评测协议的大多数指标上取得最优表现，分词器支持 32、64、128 线 LiDAR 并能泛化到未见扫描模式，表明生成式与重建式 LiDAR 仿真可在单一模型中统一实现。
🔑 关键词速览
| LidarVerse | 本文提出的实时统一 LiDAR 世界模型，可跨任务和传感器进行传感器仿真。 |
| 通用分词器 (Universal Tokenizer) | 将 LiDAR 距离序列映射到共享潜在空间的组件，支持多种线束和扫描模式。 |
| 双向教师模型 (Bidirectional Teacher) | 学习通用条件接口的模型，用于以 LiDAR 前缀、高清地图、空间缓存和文本为条件。 |
| 自回归因果学生模型 (Autoregressive Causal Student) | 从教师模型蒸馏得到的四步自回归模型，用于实时推理和长时程推演。 |
| 滚动时间 K/V 缓存 (Rolling Temporal K/V Cache) | 维护时间步键值对的缓存机制，支持持久的长时程推演。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅