LLM推理也能实时拍卖!换掉基础URL,供应商竞价,买家只付最低价
Architect Launches Liquid Inference, a Real-Time Auction for LLM Inference
MarkTechPost 重要 算力商业化大模型 🕐 今天 16:53

📖 AI 总结

Architect Financial Technologies 推出了 Liquid Inference,一个面向大语言模型推理的实时拍卖式路由器。其核心机制是:每当有请求发出,所有报价该模型的供应商即展开竞价,满足买方规则的最低报价获胜,买方按此价格付费。开发者只需替换基础 URL,无需改动代码,即可让供应商在价格上竞争。买方可以设置单任务成本上限、首 token 时间限制、最低吞吐量,以及区域、数据留存和供应商白名单等约束条件。该产品由一家运营 AX 永续合约交易所的交易公司打造,其思路是将金融交易所的双边价格发现机制引入推理市场。账户持有者还能查看实时订单簿和成交记录,这种市场数据透明度在 LLM API 领域较为罕见。该产品支持与 Claude Code、Cursor 等主流智能体编程工具直接兼容,并提供免费注册和推荐奖励。

🔍 深度解读 换个视角,同一件事有不同答案

正在读取芙娘的解读…
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅