📖 AI 总结

Keenable AI 开源了 NEEDLE，一个实时搜索基准测试工具，旨在解决传统静态基准因数据泄露或模型记忆导致评估失效的问题。NEEDLE 的核心特点是动态重建查询集：新闻类查询每小时从 RSS 和 Google Trends 更新，金融、学术、法律等专业查询每日从 SEC、arXiv 等权威源生成，覆盖新闻、日常、专家、深尾和法律五大场景。该工具以 Python CLI 形式提供，支持在本地或 CI 环境运行，通过统一的协议对 15 种搜索 API 进行评测，并使用“终极”聚合引擎作为评分基准，确保结果反映整个领域的实际检索能力。其开源性质保证了可复现性，为搜索智能体的性能评估提供了更真实、防作弊的解决方案。