📖 AI 总结

IBM 的 Spyre 是一款面向企业级推理场景的数据流 AI 加速器，主要部署于 IBM Z、LinuxONE 和 Power 系统。本文介绍了 IBM torch-spyre 团队如何将 Spyre 打造为 PyTorch 的原生设备：通过 PrivateUse1 机制赋予 Spyre 独立的设备标识，利用 PyTorch 分配器让张量常驻 device="spyre"，借助流和运行时事件实现跨流的依赖排序，并保留 FX 图在 Inductor 编译路径中。硬件层面，Spyre 拥有 32 个核心、环形高带宽互连、每核 2MB 本地暂存器及最高 128GB LPDDR5 内存，数据以 128 字节为单位在两级存储间搬运，因此布局与对齐直接影响访存效率。该集成使即时执行与编译执行共用一条路径，降低了启动开销，让开发者能以熟悉的 PyTorch 代码调用 Spyre 硬件。