📖 AI 总结

这篇文章针对语音与实时智能体场景下的推理API延迟问题，提出了以“首字段时间”（TTFT）为核心的基准评测框架。文章指出，TTFT虽是衡量推理API的关键起点，但并非终点——对语音智能体而言，真正影响用户体验的是“首句时间”（TTFS），因为语音合成必须等待完整句子才能输出音频。作者将一次语音交互的延迟预算分解为四个环节：语音识别（STT）约100-200毫秒、大语言模型推理（LLM）约300-500毫秒、语音合成（TTS）约100-200毫秒、网络传输约50-150毫秒，并综合得出端到端目标应控制在700毫秒至1.2秒之间。文章强调，仅优化TTFT而忽视生成速度（每秒token数）无法带来流畅的对话体验，必须同时关注两个指标。这一分析为开发者选择语音推理API提供了更全面的评估视角，有助于构建真正具有实时感的语音交互系统。