📖 AI 总结

NVIDIA 发布了个人 AI 路由器（PAIR），这是一个开源虚拟推理路由器，旨在解决多智能体工作流中本地推理请求的调度瓶颈。在多智能体场景下，单个用户请求可能分解为数十个独立模型调用，若全部指向单一本地引擎，会导致队列拥塞，而同一网络中的其他设备（如 RTX 工作站、DGX Spark 或 Mac）却处于闲置状态。PAIR 通过 mDNS 自动发现网络中的兼容设备，并以六位 PIN 码完成配对，随后使用 mTLS 加密节点间通信。其核心设计是不引入新的集群 API，而是代理智能体已使用的 Ollama 和 LM Studio 兼容接口，使现有智能体框架无需改动即可将请求分发至不同节点执行。PAIR 现已作为公开测试版（v0.1.1）发布，提供 Windows、macOS 和 Linux 安装程序，源代码以 Apache 2.0 许可托管于 GitHub。该工具的意义在于，它不替代推理引擎，而是优化现有资源的利用率，让本地 AI 推理在多设备环境中实现更高效的负载均衡。