📖 AI 总结

NVIDIA Dynamo 团队针对智能体（Agentic）推理负载提出会话感知的服务优化方案。文章指出，与单轮聊天不同，智能体会话通常包含大规模初始预填充、多轮重复模型调用以及并行运行的子智能体，且 KV 缓存在工具执行期间需保持驻留，导致大部分会话时间消耗在工具调用间隙。现有开源服务栈仍以单请求为单位进行路由、准入和缓存，缺乏会话概念。为此，Dynamo 引入统一的会话级标识符，将请求感知的基础设施升级为程序感知系统，从而实现会话感知路由、共享 KV 缓存索引以及跨 vLLM 和 SGLang 的编程式缓存迁移。该方案的意义在于，通过最大化上下文复用并提升并发会话承载能力，在满足延迟目标的同时更高效地服务智能体工作负载。