LLM野火评估：加个SQL工具，准确率从16%飙到88%！
AI4Fire: Evaluating Large Language Models on Wildfire Tasks
📖 AI 总结
这篇论文提出AI4Fire评估框架，系统考察大语言模型在野火管理任务中的实际表现。研究对六个核心模型在五项野火任务上进行零样本测试，并设置“裸测”与“有据”两种条件对比，另扩展测试29个模型。文献调研覆盖138项相关研究，未发现兼具该模型阵容、任务覆盖与配对设计的先例。三项主要发现：一是当外部工具直接携带答案时，接地辅助效果显著，如只读SQL工具将数据库准确率从最高16%提升至至少88%；二是简单规则难以被超越，没有核心模型能胜过直接沿用当日人力配置的基线，两个开源权重模型多倾向复制历史同期中位数，预测效果更差；三是公开数据集存在隐患，某火险列可完美区分留出集，67帧航拍画面因热红外最大值截断而被误标为阴燃或无火。研究公开了提示词、回答、评分、代码及调研记录。
🔑 关键词速览
| Large Language Models (LLMs) | 大型语言模型，指具有大量参数的深度学习模型，能够生成文本、回答问题等。 |
| Wildfire Tasks | 野火任务，指与野火管理相关的具体任务，如烟雾检测、火灾危险评估等。 |
| Grounding | 基础支撑，指在任务输入之外提供额外的任务特定信息以辅助模型决策。 |
| Zero-shot | 零样本，指模型在没有针对特定任务进行微调的情况下直接进行推理。 |
| Holdout | 保留集，指在模型评估中未用于训练的数据子集，用于测试模型泛化能力。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅