仅给模式，基础模型JSON有效率从0%飙到91.3%！LoRA微调金融任务最高提升69.4个百分点
FinVector-Market-4B: A Controlled Study of LoRA Adaptation for Structured Financial Tasks
📖 AI 总结
本研究以Qwen3.5-4B为基础模型，采用秩为16的LoRA在2.2万条样本的语料上进行结构化金融任务适配，并在同一600例基准上对基础模型与适配模型在隐式和显式JSON模式契约下进行对照评估。结果显示，仅提供JSON模式即可将基础模型的JSON有效率从0%提升至91.3%；在匹配的显式提示下，FinQA答案精确匹配率由14.7%升至40.0%，计算器表达式正确率由48.0%升至82.7%，情景分支标签一致率由20.1%升至89.5%，蕴含方向一致率由52.4%升至87.2%。事后策略评分审计表明，此前报告的宏平均F1下降源于标签集合变化，在相同三个目标类别下基础模型为77.4%、适配器为83.1%。研究同时指出文件重叠与计算器目标不一致对泛化结论构成限制，说明紧凑的金融领域适配在匹配提示下可带来超出输出格式学习的显著任务增益，但增益受评估任务分布与提示契约约束。
🔑 关键词速览
| LoRA | 低秩适配（Low-Rank Adaptation），一种参数高效微调方法，通过注入低秩矩阵来适配大模型，减少训练参数量。 |
| JSON-schema contract | JSON 模式契约，指定 JSON 输出必须遵循的结构和约束，用于确保模型输出格式的规范性。 |
| FinQA | 一个金融问答数据集，包含需要数值推理的金融问题，常用于评估模型在金融领域的问答能力。 |
| macro-F1 | 宏平均 F1 分数，计算每个类别的 F1 分数后取算术平均，用于评估多分类模型的整体性能。 |
| prompt contract | 提示契约，指在评估中使用的提示格式和约束条件，确保不同模型在相同输入条件下进行比较。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅