📖 AI 总结

商汤大装置在Agentic时代Token需求千倍级增长的背景下，提出AI基础设施竞争正从算力规模转向高质量Token产能。文章援引数据称，2026年推理支出预计占AI IaaS总支出55%，2027年将升至59%。为此，商汤以PD分离为核心构建万卡级异构推理集群，让国产算力承担Prefill、高阶GPU承担Decode，并通过预留高端算力补位、节点角色动态切换等方式应对故障与资源闲置。测试显示，相同高端旗舰卡条件下整体Token吞吐量可提升至5倍。商汤还探索跨域PD分离与AF分离，后者有望带来单卡吞吐提升150%至200%、运营成本降低30%至40%。其核心思路是以服务质量和成本衡量推理价值，通过架构创新与异构协同提升效率。