参数模式定生死！36万MCP工具实测：LLM选工具先看参数结构
Which Metadata Matters for LLM Tool Selection in MCP? Evidence from Controlled Factor-Level Interventions
📖 AI 总结
这项研究探讨了在模型上下文协议（MCP）系统中，元数据如何影响大语言模型的工具选择。作者分析了367174个MCP工具的元数据，发现功能相似的工具在参数模式上存在显著差异。通过跨五个模型和五项任务的受控干预实验，每次仅改变一个元数据因素（服务器名、工具名、描述或参数模式），并结合条件逻辑回归控制位置效应，研究得出：参数模式变化引发的选择偏移最大且最一致，模型倾向于分离的顶层参数而非分组或复合形式；解释参数的描述也能提升被选概率，而名称影响较弱且不稳定；当请求明确要求某种参数结构时，所有模型都会选择兼容工具。这表明参数模式不仅决定工具如何被调用，还影响其是否被选中，对MCP开发者和评估者而言，模式设计与工具排序会直接影响实际调用的实现。
🔑 关键词速览
| Model Context Protocol (MCP) | 模型上下文协议，一种让LLM从元数据中选择和调用工具的标准化框架。 |
| Parameter Schema | 参数模式，定义工具接受的参数名称、类型和组织结构的元数据。 |
| Conditional Logistic Regression | 条件逻辑回归，一种用于分析配对或匹配数据的统计方法，此处用于估计位置调整后的效应。 |
| Metadata Interventions | 元数据干预，通过受控实验改变特定元数据因素以观察其对工具选择的影响。 |
| Tool Selection | 工具选择，LLM根据元数据从可用工具中挑选一个工具进行调用的过程。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅