AI API 开发工具
NVIDIA TensorRT
访问官网- 产品简介
- NVIDIA TensorRT 是一个 SDK 生态系统,用于在 NVIDIA GPU 上优化和部署高性能深度学习推理。
- 收录时间
- 2026/11/17
- 价格类型
- 免费增值
- 官方信息
- 官网、公司与支持信息 ↗

产品概览
NVIDIA TensorRT 是什么?
NVIDIA TensorRT 是一套工具生态系统,帮助开发者实现高性能深度学习推理。它包括推理编译器、运行时和模型优化,可为生产应用提供低延迟和高吞吐量。该生态系统包括 TensorRT SDK、TensorRT LLM、NVIDIA Model Optimizer 和面向 NVIDIA RTX 的 TensorRT。TensorRT 基于 NVIDIA CUDA 并行编程模型构建,使用量化、层与张量融合以及内核调优来优化在主流框架上训练的神经网络模型。它与 PyTorch、Hugging Face、ONNX 和 MATLAB 集成,并支持部署到数据中心、工作站、笔记本电脑和边缘设备。TensorRT-LLM 在 GitHub 上免费提供,TensorRT Model Optimizer 在 NVIDIA PyPI 上免费提供。NVIDIA AI Enterprise 提供 90 天免费许可证,用于生产评估。
如何使用 NVIDIA TensorRT
- 1
下载 TensorRT SDK
从 NVIDIA 官方开发者网站下载 TensorRT SDK,或从 NGC 目录拉取 TensorRT 容器。
- 2
优化你的模型
使用 TensorRT 的推理编译器和 NVIDIA Model Optimizer,对在主流框架上训练的模型应用量化、层与张量融合以及内核调优。
- 3
与你的框架集成
使用 Torch-TensorRT、ONNX 解析器或 MATLAB GPU Coder,将 PyTorch、Hugging Face、ONNX 或 MATLAB 中的模型导入 TensorRT。
- 4
部署和扩展
使用 NVIDIA Dynamo 和 Triton Inference Server(包含 TensorRT 作为后端)将优化后的模型部署到数据中心、工作站、笔记本电脑和边缘设备。
NVIDIA TensorRT 核心功能
用于深度学习模型的推理编译器和运行时
量化、层与张量融合以及内核调优优化
用于大语言模型推理的 TensorRT-LLM
用于量化、剪枝和蒸馏的 NVIDIA Model Optimizer
面向 RTX GPU 推理的 TensorRT for RTX
与 PyTorch、Hugging Face、ONNX 和 MATLAB 集成
部署到数据中心、工作站、笔记本电脑和边缘设备
使用 NVIDIA Dynamo 和 Triton Inference Server 进行部署和扩展
NVIDIA TensorRT 使用场景
优化深度学习模型,实现低延迟、高吞吐量的生产推理
在 NVIDIA GPU 上加速大语言模型推理
通过量化压缩模型,用于实时服务和嵌入式应用
将推理部署到数据中心、工作站、笔记本电脑和边缘设备
在应用安装或首次运行时为 RTX PC 构建推理引擎
NVIDIA TensorRT 常见问题
NVIDIA TensorRT 是一套工具生态系统,帮助开发者实现高性能深度学习推理,包括推理编译器、运行时和模型优化。
该生态系统包括 TensorRT SDK、TensorRT LLM、NVIDIA Model Optimizer 和面向 NVIDIA RTX 的 TensorRT。
TensorRT 直接与 PyTorch 和 Hugging Face 集成,提供 ONNX 解析器,并通过 GPU Coder 与 MATLAB 集成。
TensorRT 使用量化、层与张量融合以及内核调优技术来优化推理。
TensorRT-LLM 在 GitHub 上免费提供。
TensorRT Model Optimizer 在 NVIDIA PyPI 上免费提供,GitHub 上还有示例和配方。
可以使用现有基础设施获得免费许可证,在生产环境中试用 NVIDIA AI Enterprise 90 天。
文档可在 https://docs.nvidia.com/deeplearning/tensorrt/ 获取。
NVIDIA TensorRT 官方信息
- 公司
- NVIDIA
- 官网
- https://developer.nvidia.com/tensorrt
- 文档
- https://docs.nvidia.com/deeplearning/tensorrt/
- 联系
- https://developer.nvidia.com/contact
NVIDIA TensorRT 价格方案
官方开发者页面检查于 2026-11-09。软件下载免费;硬件、云计算和商业支持另行收费。NVIDIA AI Enterprise 提供 90 天评估,而非永久免费的企业许可证。
TensorRT Model Optimizer
用户评价
NVIDIA TensorRT 用户评论
暂无评论。
