LLM智能体上下文越大越烧钱还降智，追加指令可能越加越糟！
Curating Always-Loaded Context for LLM Agents: A Capacitated Assortment Model with Censored Feedback
📖 AI 总结
本文研究LLM智能体在每次会话开始时加载的固定上下文文件（如CLAUDE.md）的优化问题。由于文件中每个token在会话的每一轮都会被重复计费，且文件增大会导致性能下降，作者将上下文策展建模为带容量约束的选品问题：指令消耗有限的注意力容量，新增指令不会提升其他指令的遵从度，而保留的指令则带来每会话的固定成本。研究证明，无论候选指令数量多少，最优文件规模存在上界；且将所有具有正独立价值的指令全部追加，其净价值可能远劣于选择最优子集。反馈具有截断特性：已加载指令的利弊可观测，而未加载指令仅在其缺失造成损害时才产生反馈。在此设定下，删除被智能体忽略的指令可能不可避免地移除有用指令，作者刻画了添加指令前应收集的证据量，并在人工审核每期只能检查有限编辑次数时给出了遗憾界。实证表明，来自真实上下文文件的无关规则会降低语言模型的遵从度。
🔑 关键词速览
| 容量受限的选品问题 | 在有限资源（如 token 预算）下，从候选集合中选择一个子集以最大化总收益的优化问题。 |
| 删失反馈 | 反馈信息不完整，仅当缺失的指令造成损害时才能观察到其缺失带来的影响。 |
| LLM 智能体 | 基于大语言模型构建的、能够自主执行任务或与环境交互的智能系统。 |
| 上下文策展 | 对智能体加载的上下文文件进行管理和优化，以平衡信息量与性能开销。 |
| 遗憾 | 在线决策中，实际累积收益与事后最优决策累积收益之间的差距。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅