📖 AI 总结

Liquid AI 发布实时推理引擎 RIPL（Real-time Inference Pipeline），专为延迟敏感的实时请求场景设计，可在端到端完整生成响应的情况下将延迟控制在 50 毫秒以内，并在持续峰值流量下保持稳定。该引擎支持 230M 至 2.6B 参数的 LFM2.5 系列模型，运行于 NVIDIA H100、H200、B200 及 RTX PRO 6000 等企业级 GPU。据其自测数据，RIPL 的 p95 延迟比基于 vLLM 的 Qwen3.5 低 5.6 至 28.4 倍，其中 LFM2.5-1.2B 在 256 输入、128 输出条件下实现 155.8 毫秒 p95，而 Qwen3.5-0.8B 为 4431 毫秒。不过，较长请求下 50 毫秒目标未能达成，最差情形仅提升 5.6 倍。RIPL 的意义在于让搜索排序、欺诈检测、支付授权等毫秒级路径也能采用生成式模型，而不必退回传统模型。