📖 AI 总结

文章围绕AI推理场景下KV Cache的存储与复用问题展开，指出缓存不应局限于单台服务器。核心发现是：MLPerf Storage v3.0新增KVCache测试项，标志着存储的职责从训练前的数据供给，延伸到推理过程中的运行时状态管理。文章以焱融科技为例，其F9000X三节点集群在3D U-Net测试中实现544GiB/s聚合带宽，并在Checkpoint 70B测试中读写带宽双项第一。但更关键的是，KV Cache跨请求复用面临三重挑战：内容匹配严苛、显存容量有限、节点间相互孤立。为此，焱融提出单机三级分层（显存、内存、本地SSD）及共享缓存一体机ContextBox，定位为G3.5层，通过DPU卸载与RDMA网络构建全局缓存池，填补本地SSD与传统持久化存储之间的空白。其意义在于，推理存储的竞争焦点正从单纯带宽转向状态匹配、跨机共享与全局调度的系统级能力。