语言模型越流畅越容易胡说？句法修辞加料反降准确率，纯文本预测不连贯更准！
Does Linguistic Structure Enrichment Enhance Coherence Assessment? Not With Current Architectures
📖 AI 总结
该研究探讨了在文本中融入句法和修辞等语言结构信息能否提升语言模型对语义连贯性的评估能力。实验结果表明，加入结构信息后模型准确率反而下降，原因是这些额外信息与当前语言模型的架构在结构和句法上不兼容，纯文本输入表现更优。为验证连贯性评估的实际价值，作者还在一个巴西虚假信息数据集上进行了零样本实验，发现文本连贯性可作为检测误导性内容的有效代理指标。这项工作的意义在于，它揭示了当前架构下语言结构增强对连贯性评估的局限性，同时为利用连贯性分析识别虚假信息提供了新的思路。
🔑 关键词速览
| 连贯性评估 | 评估文本在逻辑和语义上是否连贯、流畅的任务。 |
| 不连贯预测 | 预测文本中是否存在逻辑矛盾或语义断裂的任务。 |
| 句法和修辞信息 | 文本的语法结构信息以及修辞关系（如因果、对比等）信息。 |
| 零样本实验 | 在不提供任何训练样本的情况下，直接让模型执行任务。 |
| 巴西虚假信息数据集 | 一个包含巴西葡萄牙语虚假信息的语料库，用于检测误导性内容。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅