🔥 今日值得一读
LLM评估虚高？perturber无状态服务一次只加一个扰动，11族68种全复现！
perturber: A Stateless Service for Semantics-Preserving Text Perturbations
👨💼 主理人解读 · 为什么值得关注
开发者可用它给评测数据加可控扰动，检验模型在真实噪声输入下是否稳定，避免干净基准高估鲁棒性。
📖 AI 总结
本文介绍了一个名为 perturber 的无状态服务与 Python 库，旨在解决大语言模型评估中因测试数据过于干净而高估模型鲁棒性的问题。现实中输入往往带有扰动，且这些保持语义的变体经常改变模型输出，因此需要可复现、可移植的扰动工具。现有工具多与基准测试框架耦合，难以作为通用变换层复用。perturber 每次调用仅施加一个语义保持扰动，内置涵盖 11 个家族、共 68 种扰动的目录，通过单一原语实现，组合交由调用方链式调用，从而保证服务与库输出一致。该工作评估的是工具本身的正确性、可复现性与成本，并逐项测量每种扰动的语义保持程度，而非假定其成立。演示还提供实时试验场、可检视目录及一键复现评估。
🔑 关键词速览
| perturber | 本文提出的无状态服务和 Python 库，每次调用施加一个保持语义的文本扰动。 |
| 语义保持扰动 | 改变文本表面形式但不改变其含义的变换，用于测试模型鲁棒性。 |
| 无状态服务 | 不保存调用间状态的服务，每次请求独立处理，确保可复现性和一致性。 |
| 扰动族 | 按类型划分的扰动类别，本文目录包含 11 个族共 68 个扰动。 |
| 可复现评估 | 通过一条命令即可重复运行的评估流程，保证结果在不同环境下一致。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅