人类才是AI技能库的守门人?873次提交揭秘:62%编辑竟有AI合著!
Who Maintains Agent Skills? A Longitudinal Study of Human-Governed, AI-Assisted Skill Maintenance
arXiv CL (cs.CL) 重要 #Agent#技能维护#人机协作 🕐 09-09 12:00

📖 AI 总结

该研究通过纵向分析五个公共AI技能仓库的完整提交历史,考察了终身学习型LLM代理中技能维护的实际过程。研究覆盖2025年10月至2026年6月间的873次提交、143个技能文件及254次实质性后期编辑,并采用预注册的治理、操作和触发证据编码手册进行分类。主要发现有三点:其一,所有实质性编辑均由具名人类账户完成或合并,其中62%带有AI共同作者标记,但各仓库间差异显著;其二,这些编辑属于真正的策展行为,审计样本显示多数编辑改变了技能内容,操作以增补和修正为主;其三,预注册的规则相似性编码轴未通过可靠性检验,表明从提交产物中可靠编码该特征仍是开放问题。研究公开了语料库、编码手册、挖掘脚本及回放协议,结论指出当前公共技能维护更像人类主导、AI辅助的循环过程,而非自主流水线,未来自动化策展系统需在此框架内运作并接受评估。

🔑 关键词速览

Lifelong LLM agents终身学习的大语言模型智能体,指能够在长时间部署中持续学习和适应变化的AI系统。
Skill artifacts技能工件,如SKILL.md文件,用于描述和存储AI智能体可复用的能力。
Skill curation技能策展,指对技能工件进行修正、扩展和整合的管理过程。
Pre-registered codebooks预先注册的编码手册,指在分析前就定义好的分类和编码标准,以确保研究可靠性。
Rule-likeness规则相似性,指编辑内容是否符合可编码为明确规则的程度,用于评估技能维护的自动化潜力。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅