心理健康AI模型翻车真相：词汇干扰让准确率暴跌7.2%，新框架TSS精准揪出元凶！
The Divergence Hypothesis: Unmasking Lexical Interference and Label Bias in Mental Health NLP
📖 AI 总结
该研究提出“分歧假说”，指出计算心理健康（CMH）分类器在分布偏移下性能下降，根源在于人工标注与远程监督管道奖励了不同的语言信号。作者开发了TSS（三流压力探针）诊断框架，将文本分解为词汇字符n-gram、形态句法通道和心理语言学风格通道三个维度。基于四个英文数据集（N=12,906）的实验发现显著的词汇干扰效应：在人工标注数据上加入词汇特征会使Macro-F1平均下降0.072（p<10⁻⁴），但在自动标注数据上无此现象。研究还提出从计量经济学改编的差异中差异统计量DoD用于标签源审计，核心估计值为0.0374（95% CI [0.0097, 0.0651]）。干预掩蔽实验表明风格通道在破坏内容词后仍保留95-99%性能，说明其不依赖词汇表层形式。该框架定位为诊断审计工具，旨在泛化声明前识别标签源特定的捷径学习。
🔑 关键词速览
| TSS (Triple-Stream Stress probe) | 三流压力探针，一种多通道诊断框架，用于分解文本并分析不同语言特征对模型性能的影响。 |
| DoD (Degree of Divergence) | 分歧度，一种基于差异中差异的统计量，用于审计标签来源并检测模型在不同数据源上的表现差异。 |
| Lexical interference effect | 词汇干扰效应，指添加词汇特征到风格通道时，在人工标注数据上导致性能下降的现象。 |
| Distant supervision | 远程监督，一种自动标注方法，利用外部知识库或规则生成标签，但可能引入噪声。 |
| Macro-F1 | 宏平均F1分数，计算每个类别的F1分数后取平均，用于评估多分类模型的性能。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅