📖 AI 总结

在MaaS场景下，模型、硬件与请求工况频繁变化，传统依赖人工的部署调优与算子优化难以跟上生产负载节奏。阿里巴巴高级技术专家杨林枫在QCon上海站分享了一套面向MaaS生产场景的AI推理自动优化闭环：从给定卡型、模型和典型工况出发探索部署配置，基于实际运行Trace识别热门算子并判断算子融合策略，将生产工况经去重、清洗、脱敏和泛化后生成可复现Benchmark，再由Atrex Kernel Agent通过Agent Loop完成性能分析、代码生成、验证与持续优化，最终回接推理框架进行端到端回归与灰度验证。该实践支撑Qwen3.8登顶NVIDIA SOL-ExecBench FlashInfer算子优化榜首，并服务于阿里百炼MaaS大规模GPU集群。其核心价值在于将推理优化从人工经验驱动转向自动化闭环，同时揭示了工况采样、Agent过拟合、局部优化与端到端收益不一致等落地痛点。