📖 AI 总结

AMD发布FlyDSL，一种面向AMD MI350系列GPU的PyTorch后端，用户可通过现有算子API使用稠密与分组GEMM、融合多头注意力、MXFP8/MXFP4缩放GEMM、RMSNorm和TopK，无需调用自定义内核。基准测试显示，FlyDSL在BF16稠密GEMM上较ATen与Triton中较优者取得1.10倍几何平均加速，MXFP8和MXFP4分别较ATen提升1.58倍和1.68倍，分组GEMM较Triton提升1.20倍，RMSNorm较ATen提升1.17至3.66倍，小K TopK较ATen提升4.82倍。注意力内核作为AOTriton新后端发布，vLLM端到端测试中BF16、MXFP8、MXFP4整请求加速分别为1.13倍、2.04倍和3.01倍。FlyDSL通过布局代数显式控制线程与指令映射，适合架构特定模板优化，其收益在相关算子占模型运行时间较大时最为显著。