📖 AI 总结

Redis 推出 LangCache，一项完全托管的语义缓存服务，部署在应用与模型之间，通过语义而非精确文本匹配来识别相似提问，并直接返回已存储的回答。其核心价值在于解决生产环境中同一意图被反复以不同措辞提问、却每次都被当作全新请求计费的问题。与仅复用前缀 KV 状态、仍需完整生成的前缀缓存不同，LangCache 将缓存置于模型之外并存储生成结果本身，命中时无需再调用模型。Redis 报告称，该服务可将 LLM API 成本降低最多 90%，缓存命中响应速度比重新查询模型快最多 15 倍。LangCache 目前以公开预览形式在 Redis Cloud 上线，通过 REST API 及 Python、JavaScript SDK 访问，预览期间功能可能调整。