小模型跑赢大模型！印尼语翻译让准确率飙升37.2个百分点
Does System One Transfer? Calibrated Typed-Decision Models, Label Budgets, and Translation for Indonesian Regional Languages
📖 AI 总结
该研究对校准型类型决策模型（即“系统一”模型）在印尼区域语言上的表现进行了预注册评估，填补了此类模型评测几乎完全集中于英语的空白。研究使用NusaX和NusaTranslation平行数据集，测试了商用Jev模型与开源Laya多语言模型。关键发现包括：Jev在词汇上更接近印尼语的句子上准确率更高，提供人工印尼语翻译可使其准确率提升最多37.2个百分点，且语言距离越远提升越明显；其期望校准误差未在区域语言上恶化，但错误排序能力下降。重新训练的模型在10种NusaX区域语言中的9种需要超过500条标注才能匹敌零样本Jev。置信度门控级联策略将Jev最不确定的10%至30%决策路由至本地IndoBERT或大语言模型，可匹配或超越较优系统，并降低24%至77%的API成本。与六个商用大模型对比，五个准确率高出4至14个百分点，但API成本高出数百倍。研究公开了预注册、代码及全部预测结果。
🔑 关键词速览
| System One | 指校准的类型化决策模型，能在单次前向传播中快速输出标签和概率，成本远低于大型语言模型。 |
| Jev | 一个商业的类型化决策模型，在印度尼西亚地区语言的情感分析任务中表现出较高的零样本准确率。 |
| NusaX | 一个包含12种印度尼西亚地区语言的平行情感分析测试集，用于评估模型的多语言性能。 |
| Expected Calibration Error (ECE) | 衡量模型预测概率与实际准确率之间差异的指标，值越低表示校准越好。 |
| Confidence-gated cascade | 一种级联策略，将模型低置信度的决策路由到更强大的模型（如IndoBERT或LLM）以提高整体性能。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅