LLM云服务运营指纹曝光！26个月3.3万案例，OpEmbed让模型选择不再只看跑分
Beyond Capability Benchmarks: Learning Operational Fingerprints of LLM Cloud Services from Production Incident Metadata
📖 AI 总结
本文提出了一种名为 OpEmbed 的框架，用于从生产环境的支持工单元数据中学习 LLM 云服务的“操作指纹”，以弥补传统能力基准在反映部署后运营行为方面的不足。该框架在不使用案例文本的前提下，将模型-时间窗口聚合为八通道操作签名，并通过时间对比学习、跨视图重建和代际序正则化学习低维表示。基于 Google Cloud 26 个月中涵盖 7 个 LLM 家族的 33,000 多个生产支持案例的评估，OpEmbed 能恢复可解释的家族及版本级结构，在留一模型预测中优于非学习基线，在早期数据有限时依然有效，并支持跨模型故障类型迁移。文章还总结了在模型接入、支持就绪评估和运营监控中应用该工具的实践经验。
🔑 关键词速览
| OpEmbed | 一种从支持案例元数据中学习LLM云服务运营指纹的框架。 |
| operational fingerprint | 描述模型部署后运营行为特征的紧凑表示。 |
| temporal contrastive learning | 一种利用时间序列数据中的对比关系进行表示学习的方法。 |
| cross-view reconstruction | 通过不同视角的数据重建来增强表示学习的技术。 |
| generational-ordinality regularization | 一种正则化方法，利用模型代际顺序信息约束表示学习。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅