OpenAI于10月22日将其Decisions API模型全面开放,正式进入快速、低成本决策模型市场。该市场由前OpenAI研究员创立的TypeSafe率先开辟,其Jev模型作为“超级分类器”,能在给定选项中快速做出选择并给出置信度,已在多种工作流中替代大语言模型,速度更快、成本显著降低。OpenAI并未专门训练决策模型,而是基于ChatGPT Luna调整推理速度与成本,将响应时间从1至3秒压缩至100至180毫秒。Box、Datadog、Ramp、Speak等早期客户已用其替换原有模型以提升吞吐量,Speak称操作间隔从1.4秒降至0.13秒。目前业界对何为优秀决策模型尚无共识,基准测试的参考价值也受到TypeSafe CEO质疑,实际效果仍需按具体工作负载试用判断。
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅