📖 AI 总结

是石科技在2026 CCF全国高性能计算学术大会上发布TokenFleet分布式调度框架，聚焦请求路由、跨机房容量协同与混合负载治理，目标是提升GPU集群的有效Token产出。框架由三项技术组成：TokenPilot在选点时同时估算KV缓存复用收益与排队代价，实测使P95首Token延迟降低32.4%、P50降低71.3%；FleetMind综合模型可用性、实时容量与网络状态进行跨机房分流，减少容量错配；SLOMax按服务等级准入和分池排队，并以达标输出吞吐（Goodput）为优化指标，测算显示达标吞吐提高约29.4%，达标比例从约67%升至约86%。其意义在于把推理优化从单实例扩展到集群调度层面，为国产算力提高有效产出提供了可参考的路径，实际收益仍需结合具体负载验证。