新工具FakeSpotter不判真假,靠“结构指纹”识别病毒式虚假信息,短文本F1达0.788!
FakeSpotter: A content and strategy agnostic Viral Misinformation Detection Tool
arXiv CL (cs.CL) 安全对齐论文方法 🕐 09-18 12:00

📖 AI 总结

FakeSpotter是一种不依赖具体内容与传播策略的病毒式虚假信息检测工具,旨在解决传统检测方法依赖真假二元分类或历史样本训练、难以应对新型误导性叙事的问题。该工具不直接判定文本真伪,而是通过测量虚假信息的结构性指纹来估算其病毒式传播风险,其框架覆盖语言、叙事、逻辑与批判性思维等维度,结合重复性大语言模型评估与领域专用逻辑回归分类器,分别处理短文本和长文本。在包含764条来自社交媒体和FakeNewsNet标注文本的语料上,FakeSpotter在留出测试集上取得短文本0.788、长文本0.793的宏F1分数。其解释层通过特征分数、信号一致性和警示指数提供可解释输出,并可用于社会聆听。研究表明,识别虚假信息的结构性指纹有助于实现早期、可解释且有人工监督的潜在病毒式虚假信息评估。

🔑 关键词速览

FakeSpotter一种与内容和策略无关的病毒式虚假信息检测工具,通过测量文本的结构性指纹来评估风险。
结构性指纹虚假信息在语言、叙事、逻辑和批判性思维等维度上表现出的可量化模式特征。
宏 F1 分数一种评估分类模型性能的指标,计算每个类别的 F1 分数后取未加权平均值。
逻辑回归分类器一种用于二分类的统计模型,此处针对短文本和长文本分别训练以进行虚假信息风险评估。
警示指数FakeSpotter 解释层输出的一个综合指标,用于提示文本可能具有的病毒式虚假信息风险程度。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅