📖 AI 总结

LinkedIn 公布了其 AI 职位搜索背后的多教师蒸馏训练基础设施，核心目标是将大型教师模型的知识压缩至一个 6 亿参数的紧凑排序模型中，以支撑快速迭代。为突破教师模型实时服务带来的性能瓶颈，LinkedIn 基于开源引擎 SGLang 构建了定制框架，同时支持在线与离线两种蒸馏模式：在线模式下通过异步客户端和多节点本地教师副本将蒸馏提速 3 倍并保持低延迟；离线模式则预计算教师输出并存储于 HDFS 或 NFS，消除实时服务开销。配合 LiGer 内存优化、多节点训练、FSDP2 及 H200 集群等一系列工程优化，整体训练速度提升约 8 倍。该 6 亿参数学生模型将职位搜索 NDCG@10 从 0.7583 提升至 0.9432，推理吞吐量从每 GPU 每秒约 290 条提升至 2000 条以上，目前已投入生产，为美国用户的自然语言职位搜索提供支持。