📖 AI 总结

AReaL 2.0 是面向 Agent 自演进的在线强化学习基础设施，旨在解决生产环境中 Agent 无法持续变强的核心问题。传统 Agent 系统产生的交互轨迹、工具调用记录和用户反馈多用于日志分析，难以转化为训练数据闭环。该方案通过 Agent 轨迹协议、数据代理层和演进控制平面，将真实业务交互转化为可训练、可回放、可治理的学习轨迹，并借助微服务化 Agent-Compute 架构，使原有 Agent 无需重构即可接入 Online RL。在 Hermes Agent 和软件工程 Agent 场景中，方案支持大规模并发环境、异步训练与持续优化，推动 Agent 从一次性执行系统演进为持续学习系统。实践表明，Online RL 面临稳定性、奖励设计和优化对象定位等挑战，需结合离线评估、灰度发布与回滚机制，在学习速度与生产可靠性之间取得平衡。