把上千条智能体轨迹压成7-43个状态的FSM,预测准确率暴涨,失败提前预警!
Automata from Agent Traces: Failure and Next-Step Prediction
arXiv AI (cs.AI) 重要 Agent论文方法安全对齐 🕐 08-26 12:00

📖 AI 总结

该研究提出了一种将LLM智能体的多步操作轨迹压缩为紧凑有限状态机(FSM)的方法,以解决智能体行为结构不透明的问题。在12个公开数据集上,生成的FSM仅含7至43个状态,能以不低于0.997的适应度重放保留数据,且跨数据划分保持近乎一致的拓扑结构,构建耗时仅毫秒级。该结构同时服务于两个预测目标:在下一步预测中,基于FSM状态的上下文在所有匹配数据集上均优于Agent Workflow Memory基线;在失败预测中,基于状态的 behavioral 特征在保留数据上AUROC最高达0.94,在线监控器可从部分轨迹中区分失败与成功运行,实现提前终止。研究发现行为拓扑更多由部署框架而非LLM本身塑造,为安全审计和运行时监控提供了与模型无关的结构化基础。

🔑 关键词速览

LLM-based agents基于大型语言模型的智能体,能够执行多步任务
Finite-State Machine (FSM)有限状态机,一种数学模型,用于表示系统在不同状态间的转换
Trace corpus轨迹语料库,收集智能体执行任务的记录集合
Agent Workflow Memory智能体工作流记忆,一种用于预测下一步动作的现有方法
AUROC受试者工作特征曲线下面积,衡量分类模型性能的指标
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅