LLM替代人工评估机器翻译？两大标注方案实测：人和模型都被难住了！
Large Language Models for Machine Translation Quality Annotation: Humans and Models Are Both Challenged
📖 AI 总结
苹果研究团队在EMNLP发表的论文评估了大语言模型用于机器翻译质量标注的可靠性，比较了LLM与人类标注者在MQM和ESA两种评价体系下的一致性。研究覆盖70个语言对的长上下文测试集及WMT23、WMT25公开数据，考察了评分和错误跨度标注两方面。结果显示，LLM与人类的一致性在某些任务上超过人类标注者之间的一致性，但整体表现因标注方案、语言对和领域差异而波动显著，在多数场景下仍不可靠。研究还揭示双方各自的短板：人类在细粒度MQM标注和低资源语言对上表现吃力，LLM则难以处理细微错误、语言变体识别和错误跨度标注。作者据此指出，人机协作标注流程可能是提升可靠性的可行方向。
🔍 深度解读 换个视角，同一件事有不同答案
正在读取芙娘的解读…
📺 事件追更 2 条更新
LLM翻译评估不可靠性研究
一项针对大语言模型翻译评估的实测研究显示，在70个语言对的测试中，LLM作为翻译质量评估工具在多数场景下仍不可靠，引发对AI评估方法有效性的讨论。
- 2026-10-12 LLM替代人工评估机器翻译？两大标注方案实测：人和模型都被难住了！（本篇）
- 2026-10-09 实测70个语言对！LLM翻译评估竟在多数场景下仍不可靠
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅