三轨模型开发集0.734，官方赛仅0.517，LLM评判器一个规则错误竟改28个预测！
BAIBAICHUCHU at the NTCIR-19 FinArg-3 Task: When Is Maximum Possible Profit Predictable from Investor Text?
📖 AI 总结
本文介绍了BAIBAICHUCHU团队参加NTCIR-19 FinArg-3社交媒体子任务的研究，目标是根据投资者文本对帖子按最大可能利润（MPP）排序。团队采用词汇特征、经FinArg-2预微调的MacBERT排序器和LLM评判器组成的三路集成方法，开发集分组评估得分0.734，但官方最佳成绩仅为0.517，全部十二次提交结果介于0.4598至0.5402之间。事后审计发现，评判器对看跌帖子错误套用了只做多规则，修正后虽不改变准确率，却使开发集准确率从0.680降至0.622，说明存在特定市场状态下的语义捷径。研究进一步将排序分解为方向性文本、波动率与时间跨度及成对边际，发现发帖前波动率按观察期缩放后与MPP代理指标相关（Spearman ρ=0.320），能正确排序61.4%的不等结果对，而迁移文本几乎无预测力。作者据此指出，评估应综合考虑文本、市场状态、历史波动率、时间跨度和配对构成等因素。
🔑 关键词速览
| MPP (Maximum Possible Profit) | 最大可能利润，用于对投资者帖子进行排序的评估指标，考虑帖子的立场（看涨/看跌）和潜在收益。 |
| MacBERT | 一种基于 BERT 的中文预训练语言模型，通过掩码语言模型改进，适用于中文自然语言处理任务。 |
| FinArg-3 | NTCIR-19 中的金融论证任务，专注于从投资者文本中提取和评估金融论点。 |
| Spearman ρ | 斯皮尔曼等级相关系数，衡量两个变量之间单调关系的非参数指标，取值在 -1 到 1 之间。 |
| running-extremum model | 运行极值模型，用于预测价格路径中极端值（如最大值或最小值）的统计模型，常用于金融波动性分析。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅