📖 AI 总结

文章揭示了AI本地部署性能不如官方版的核心原因：推理软件栈的微小差异即可改变模型输出。通过超过10万token的全量logit捕获测试，作者发现注意力后端切换、KV缓存量化精度和权重量化方案均能引发“Top-1翻转”现象，导致模型在关键位置选错token，甚至使工具调用失败。实验显示，INT4 KV缓存导致长上下文智商断崖式下跌，而英伟达官方NVFP4权重量化表现最差，Top-1翻转率逼近50%；相反，社区版INT8方案因保留BF16激活精度表现优异。此外，张量并行配置也会因NCCL跨卡归约数值差异影响结果。文章强调，本地部署环境包含734个依赖包，每个都可能引入未记录的行为差异，因此模型卡上的KL散度指标需谨慎解读，除非完整披露运行时环境与评估细节。