📖 AI 总结

商汤大装置资深技术专家罗伟在2026全球AI芯片峰会上分享了异构混推的技术演进与实践。文章指出，随着Agent时代到来，推理需求已取代训练成为算力增长主引擎，长上下文、多轮对话和突发流量等负载特征对推理系统提出全新挑战。商汤大装置以Token、状态与时延预算为中心进行系统设计，日均Token服务量从2月的0.46万亿增长至8月的4.5万亿。其核心实践包括横向编排与纵向优化两条主线：横向通过统一资源画像实现不同算力的协同调度与动态角色分配，纵向深化模型、引擎、芯片三层优化以释放整条执行路径性能。技术演进方向则从固定P/D配比走向动态资源池化，并进一步迈向模块级资源池，以应对多模态与MoE模型的未来需求。