Emo-Jev免训练框架:概率推理挑战大模型,情感分类准确率直逼67.28%!
Emo-Jev: Probabilistic Reasoning for Emotion Classification with Jev
arXiv CL (cs.CL) 重要 论文方法大模型 🕐 今天 12:00

📖 AI 总结

该研究提出Emo-Jev,一个无需训练的框架,探索Jev这一以概率决策替代自由文本生成的语言理解接口在文本分类中的推理能力。框架包含两种实现:Emo-Jev-D将分类任务拆解为原子判断并组合其概率得出预测;Emo-Jev-SC则从多角度构建判断路径并聚合为共识决策。作者在涵盖情感分析、情绪识别、讽刺检测和幽默检测的八个数据集上进行评估,对比直接Jev分类与五种前沿大模型在输入输出及思维链推理下的表现。结果显示,标准Jev平均宏F1为62.93%,低于最强基线大模型的67.28%,但延迟更低、成本普遍更少。该工作为概率式语言接口在分类任务中的适用性提供了实证参考。

🔑 关键词速览

Jev一种语言理解接口,针对输入和预定义问题返回概率性决策而非自由文本回答。
Emo-Jev本文提出的无需训练的框架,用于情感分类,包含分解和自洽两种实现。
Emo-Jev-DEmo-Jev 的分解实现,将分类任务分解为原子判断并组合其概率得到最终预测。
Emo-Jev-SCEmo-Jev 的自洽实现,从互补视角构建多条判断路径并聚合预测形成共识决策。
macro-F1一种分类评价指标,计算每个类别的 F1 分数后取宏平均,适用于类别不平衡场景。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅