开源权重模型性能媲美闭源最强，成本却不到十分之一！
Unconstrained CTI-REALM with Open-Weights
📖 AI 总结
本研究在CTI-REALM基准上比较了开放权重模型与闭源前沿模型在安全检测任务中的表现，共评测了26个模型（19个开放权重、7个闭源），采用统一的测试框架、评分器和LLM评审组。核心发现是：在给予足够交互轮次的前提下，开放权重模型能够达到最强闭源模型的水平，而成本不到后者的十分之一。研究还指出，该基准对代理消息数量的限制构成混淆因素——任务一旦触及上限，所有检查点均记零分，包括此前已通过的部分，因此原有限制下的结果部分反映的是模型能否按时完成，而非真实能力；放宽限制后，被截断的模型得以恢复，最高奖励由开放权重模型获得。此外，价格与能力并不对应，奖励相近的模型成本可相差一个数量级以上。作者还引入阶段级指标，通过实际执行检测查询并对照答案评判提交内容，发现不同模型在不同阶段各有所长，提示应按阶段路由至最优模型，而非依据总分选择单一模型。研究同时报告了各模型的token生成量，发现用于思考的输出占比与奖励并无关联。
🔑 关键词速览
| CTI-REALM | 一个评估语言模型智能体将威胁情报报告转化为检测规则的基准测试。 |
| Open-Weights | 指模型权重公开可获取，允许用户自行运行和审计的模型。 |
| Closed Frontier Models | 指由商业公司开发、不公开权重且通常通过API访问的最先进模型。 |
| Telemetry Store | 存储系统运行时产生的监控和日志数据的数据库，用于安全检测。 |
| Stage-Level Metrics | 针对工作流中每个阶段单独评估性能的指标，而非仅关注最终结果。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅