🔥 今日值得一读
SANE自动生成评判器专属测试，验证通过量超JRH 3.7倍，还能揪出专业性与毒性领域的评分缺陷！
SANE: Automated Scorer-Specific Metamorphic Testing for LLM Judges
👨💼 主理人解读 · 为什么值得关注
可自动为你的LLM评判器生成针对性测试用例，验证其评分是否稳定可靠，适合搭建评测流水线时使用。
📖 AI 总结
该论文提出SANE，一个基于智能体的框架，用于对LLM评审器（LLM judges）进行自动化蜕变测试。现有测试工具依赖人工编写的扰动配方，难以覆盖特定评审器的评分标准。SANE根据评审器规范、实现和代表性输入，先识别其特有评分能力，再自动生成扰动配方及预期分数关系，并提供与评审器无关的验证框架，检验配方是否符合评审意图、测试用例是否实现配方并支持预期关系。在五个领域中，SANE生成的经校验测试族数量为Judge Reliability Harness（JRH）的3.7倍，端到端有效性相当，且在专业性和毒性等JRH未检出缺陷的领域均能发现评审器不足。在忠实性方面，SANE的测试套件对11个评审模型的排序与人工标注的FaithBench表现高度一致（Spearman rho=0.852），而JRH仅为0.100。该工作将评审器特定测试配方的构思纳入自动化流程，提升了LLM评审器可靠性评估的覆盖范围与有效性。
🔑 关键词速览
| LLM judges | 大型语言模型评判器，指使用 LLM 对文本或模型输出进行评分和评估的系统。 |
| metamorphic testing | 蜕变测试，一种通过检查输入变化与输出变化之间预期关系来验证软件正确性的测试方法。 |
| perturbation recipes | 扰动配方，指对输入进行特定修改的规则或模板，用于测试评判器对变化的响应。 |
| scorer-specific capabilities | 评分器特定能力，指每个评判器根据其评分标准所应具备的独特评估功能。 |
| Spearman rho | 斯皮尔曼等级相关系数，衡量两个变量排序之间相关性的统计指标，值越接近1表示一致性越高。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅