📖 AI 总结

本文介绍了苹果研究团队提出的Agent Seer系统，旨在解决AI智能体评估中测试场景构建的瓶颈问题。传统方法依赖人工构造场景，既需要深度领域知识，又难以扩展且无法适应API的快速演变。Agent Seer的核心洞察在于，工具规范本身（如函数名、自然语言描述和参数模式）已蕴含足够的语义信息，可自动合成逼真的评估场景，无需人工干预或实时工具执行。该系统从单个MCP规范出发，通过富化原始模式、生成带评分场景及扩展为多轮对话，实现了高准确率的工具调用和对话连贯性。在七个跨领域MCP规范上的评估显示，该管线在小中型规范上实现完整工具覆盖，并发现参数模式复杂度是影响质量的主要因素，而参数值准确性是主要失败模式。这一研究为动态、可扩展的AI智能体评估提供了新路径。