📖 AI 总结

Vast Data首席技术官Alon Horev指出，AI智能体的记忆需求正在给基础设施带来新压力。随着智能体运行时间延长并跨企业部署，其记忆不仅包括单次交互中的上下文，还需跨会话保留共享知识。在推理环节，长时间会话的KV缓存会占用大量GPU内存，一个50万token的会话可消耗GPU内存的十分之一到二十分之一。Vast采用分层存储方案应对：优先使用GPU内存，其次为同机CPU内存，最后是可存储PB级KV缓存的持久化介质，并由英伟达Dynamo软件进行调度。这一架构将推理视为分布式问题，使会话可在不同GPU间迁移，避免重复计算，同时兼顾企业智能体的治理与性能需求。