📖 AI 总结

StartLux 开源了专为决策模型 StartLux-Decision 设计的推理引擎 Prism，与 DeepSeek 开源的 DeepInfer 一道，显示国产大模型技术栈正从模型训练向专用推理系统延伸。Prism 针对决策任务只需在有限候选项中计算概率、而非逐 Token 生成长文本的特点重构计算流程：输出层仅对有效候选计算分数，避免完整词表开销；将共享同一材料的多个问题组织为树状结构复用公共上下文；并通过确定性计算保证相同请求在不同并发与 GPU 数量下输出逐位一致。在单张 H200 上，其推理速度达 vLLM 方案的 1.2 至 5.3 倍，同一材料回答三问的场景从 92.9 毫秒降至 17.4 毫秒，短问题场景约 2.8 倍加速；12,351 次决策测试平均准确率 92.94%，与 BF16 原始精度的 92.97% 基本持平。该引擎支持 TP/DP 组合部署，兼顾低延迟与高吞吐，对工单分类、风险评估、文档审核等共享上下文的多判断业务具有降低单位推理成本的潜力。