大模型地理数据需求测评新基准，GPT-5.4 Thinking仅66.67%全对！
GeoFitBench-LLM: A Benchmark for Assessing Large Language Models' Capabilities in Geospatial Data Requirements Elicitation for Geo-Analytic Tasks
📖 AI 总结
本文介绍了一个名为GeoFitBench-LLM的基准测试，旨在评估大语言模型在自然语言地理分析请求中推断所需数据集、支撑资源和约束条件的能力。该基准围绕时空关系推理和语义锚定两个维度构建，并将真实需求编码为固定的、与数据提供方无关的模式，以支持可复现的评估。研究对七个模型在最小提示条件下进行了测试，结果显示识别必要资源通常可以实现，其中GPT-5.4 Thinking表现最佳，在66.67%的请求中完整找出了全部资源；但准确指定数据的适用性仍然更为困难，且随着推理需求增加难度进一步上升。该工作填补了GeoAI系统评估中忽视地理数据需求获取环节的空白，对提升地理分析任务中模型资源检索的可靠性具有参考意义。
🔑 关键词速览
| GeoFitBench-LLM | 本文提出的基准测试，用于评估大语言模型从自然语言地理分析请求中推断所需数据集、支撑资源和约束条件的能力。 |
| 地理空间数据需求获取（Geospatial Data Requirements Elicitation） | 从自然语言表达的地理分析任务中识别并明确所需数据集、资源及约束条件的过程。 |
| 时空关系推理（Spatio-Temporal Relational） | 基准测试的一个推理维度，要求模型理解和推理地理实体在空间与时间上的关系。 |
| 语义落地（Semantic Grounding） | 基准测试的另一个推理维度，要求模型将自然语言中的概念映射到具体的地理空间数据资源与属性上。 |
| 适用性规范（Fitness-for-Use Specification） | 对数据资源是否适合特定地理分析任务进行属性级约束描述与判断的过程。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅