该研究针对智能体AI在业务自动化中日益流行但缺乏适用性评估的问题,通过一个需保持运算符优先级语义的1000道算术表达式基准,系统比较了七类方法:原生函数调用、REST、SOAP、MCP微服务架构、大模型直接作答(Groq云API及五个本地Ollama模型)以及由本地模型调用MCP工具的智能体系统。结果显示,确定性方法准确率达100%且延迟可忽略;大模型直接作答最高准确率仅92.9%,延迟超过原生函数调用的22000倍;借助MCP工具的最佳智能体准确率提升至99.9%,但延迟约为基线的近百万倍。这表明大模型方法不适合精确算术计算,作者据此提出一个依据准确率与吞吐需求选择架构的决策框架,并建议按任务类型探索多种架构而非采用大模型一刀切方案。
| Agentic AI | 智能体人工智能,指能够自主感知环境、做出决策并采取行动以完成特定目标的人工智能系统。 |
| REST | 表述性状态转移,一种基于HTTP协议的软件架构风格,常用于构建Web服务。 |
| SOAP | 简单对象访问协议,一种基于XML的协议,用于在分布式环境中交换结构化信息。 |
| MCP | 模型上下文协议,一种用于连接大型语言模型与外部工具和数据源的开放协议。 |
| Function Calling | 函数调用,大型语言模型的一种能力,允许模型根据用户请求调用预定义的函数或工具。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅