🔥 今日值得一读
三语对话事实核查基准来了！12万轮次+390小时音频，覆盖英俄哈语，ASR降级挑战全曝光！
TRILOGUE: A Trilingual Spoken Dialogue Fact-Checking Benchmark with Evidence and Paired Audio
👨💼 主理人解读 · 为什么值得关注
提供多语口语核查基准，可测试系统在对话与ASR噪声下的鲁棒性，推动端到端研究。
📖 AI 总结
该论文提出了TRILOGUE，一个大规模三语种（英语、俄语和哈萨克语）口语对话事实核查基准数据集。该数据集包含近1.2万段对话、18.7万个轮次和390小时配对音频，并附有ASR转录文本和词级时间戳对齐，其中俄语和哈萨克语部分包含约5000个人工录音文件。TRILOGUE支持三项任务：声明可核查性检测、基于源文章的证据检索和声明验证，并设计了仅声明、金标准证据和检索证据三种输入模式。基线实验表明，ASR错误导致的文本退化仍是挑战，跨语言迁移在哈萨克语上表现尤为困难，而引入检索到的源证据可显著缩小与金标准证据验证之间的性能差距。该基准填补了多语言口语对话事实核查资源的空白，为端到端评测提供了基础。
🔑 关键词速览
| TRILOGUE | 一个三语（英语、俄语、哈萨克语）口语对话事实核查基准数据集，包含配对音频和轮次级标签。 |
| Fact-checking | 事实核查，即验证声明真实性的过程，通常涉及证据检索和声明验证。 |
| ASR (Automatic Speech Recognition) | 自动语音识别，将口语转换为文本的技术，其错误可能影响下游任务。 |
| Check-worthiness detection | 核查价值检测，判断对话中的声明是否值得进行事实核查。 |
| Cross-lingual transfer | 跨语言迁移，指在一种语言上训练的模型或方法应用于其他语言的能力。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅