🔥 今日值得一读
最强CLI智能体协作得分仅37.6%，REALCLI揭穿任务完成假象！
RealCLI: Toward a Unified Evaluation of Human-Agent Collaboration for CLI Agents
📖 AI 总结
该论文提出RealCLI，一个面向命令行界面（CLI）智能体的配对基准，旨在统一评估任务执行效果与人机协作质量。针对现有基准假设用户指令固定不变、或仅评估任务结果而忽略运行时协作的问题，RealCLI构建了涵盖五个维度、22个子维度和51个交互场景模板的协作评估框架，并提供两种配对模式：EXEC模式一次性给出完整任务规格，COLLAB模式则通过脚本化用户逐步提供信息、纠正、约束修改与授权决策。评测显示前沿智能体存在明显能力缺口，最佳配置平均得分仅49.2%，联合协作得分峰值仅37.6%，表明任务有效性与协作质量严重背离，模型在可引导性、信任校准和安全边界管理方面持续表现不佳。该基准为衡量和推进协作型CLI智能体提供了严谨、可复现的基础。
🔑 关键词速览
| REALCLI | 本文提出的配对基准，用于在真实命令行任务上统一评估任务执行与人类-智能体协作质量。 |
| CLI agents | 命令行界面智能体，指通过命令行交互执行任务的AI智能体。 |
| human-agent collaboration | 人类与智能体协作，指在任务执行过程中人类与AI智能体之间的交互与合作。 |
| steerability | 可引导性，指智能体根据用户反馈或指令调整行为的能力。 |
| trust calibration | 信任校准，指用户对智能体能力的信任程度与智能体实际可靠性之间的匹配程度。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅