NVIDIA发布了TensorRT Model Connect(TRTMC)的公开预览版,这是一个Apache-2.0许可的项目,旨在简化从Hugging Face或本地检查点到TensorRT推理的流程。用户只需两个命令即可完成端到端转换,无需中间ONNX导出步骤。构建过程生成带版本号的.bundle文件,通过原生C++任务API运行,推理时无需PyTorch参与。NVIDIA在2026年7月29日的GB300快照中,支持76个模型家族的105个发布配置文件。该工具的核心价值在于大幅降低部署复杂性,提升推理效率,适合生产环境中的高性能需求。
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅