📖 AI 总结

无问芯穹联合清华大学、上海交通大学正式开源具身智能端侧推理引擎APXInf，旨在解决具身模型从云端走向机器人本体部署时面临的延迟、算力与稳定性瓶颈。该引擎支持RTX 4090、Jetson Orin、Jetson Thor等主流平台，通过Pipeline、Graph、Kernel及量化等多层端到端优化，在Jetson Thor上将Pi 0.5 FP8的端到端推理延迟从278毫秒降至26毫秒以内，推理频率达38.46Hz，性能达到SOTA。架构上采用Rust构建极简运行时以保障内存安全与长期稳定，同时提供Python接口降低使用门槛，并面向Agentic Engineering流程设计，提升新模型接入与迭代效率。APXInf的开源为具身智能从概念验证走向规模化落地提供了关键的端侧推理基础设施。