📖 AI 总结

Google Cloud 发布 llm-d 1.0，这是其分布式推理栈的首个稳定版本。该项目由Red Hat、IBM、Google Cloud、CoreWeave和NVIDIA于2025年共同发起，现为CNCF沙箱项目，采用Apache 2.0许可，拥有来自25个以上组织的500多名贡献者。llm-d 1.0是Kubernetes原生的开源层，可将vLLM或SGLang模型服务器整合为统一资源池，支持NVIDIA、AMD、Intel GPU及Google TPU，主要面向自托管智能体和强化学习负载。据Google公布的基准测试，在1.7万节点多区域GKE部署上，借助缓存感知路由、分层KV缓存卸载和预填充/解码分离，Ironwood TPU编码任务的中位首令牌时间缩短逾85%，吞吐量提升2.4倍；但强化学习时间切片仅将加速器利用率提升至70%以上，仍约有30%闲置。1.0版新增多租户服务质量、稳定v1 API、零停机升级及智能体感知服务等能力，重点在于保障生产环境的可靠运行。