✳ainav.

AI API 开发工具

NVIDIA TensorRT

访问官网
产品简介
NVIDIA TensorRT 是一个 SDK 生态系统,用于在 NVIDIA GPU 上优化和部署高性能深度学习推理。
收录时间
2026/11/17
价格类型
免费增值
NVIDIA TensorRT 截图
NVIDIA TensorRT 网站预览

产品概览

NVIDIA TensorRT 是什么?

NVIDIA TensorRT 是一套工具生态系统,帮助开发者实现高性能深度学习推理。它包括推理编译器、运行时和模型优化,可为生产应用提供低延迟和高吞吐量。该生态系统包括 TensorRT SDK、TensorRT LLM、NVIDIA Model Optimizer 和面向 NVIDIA RTX 的 TensorRT。TensorRT 基于 NVIDIA CUDA 并行编程模型构建,使用量化、层与张量融合以及内核调优来优化在主流框架上训练的神经网络模型。它与 PyTorch、Hugging Face、ONNX 和 MATLAB 集成,并支持部署到数据中心、工作站、笔记本电脑和边缘设备。TensorRT-LLM 在 GitHub 上免费提供,TensorRT Model Optimizer 在 NVIDIA PyPI 上免费提供。NVIDIA AI Enterprise 提供 90 天免费许可证,用于生产评估。

如何使用 NVIDIA TensorRT

  1. 1

    下载 TensorRT SDK

    从 NVIDIA 官方开发者网站下载 TensorRT SDK,或从 NGC 目录拉取 TensorRT 容器。

  2. 2

    优化你的模型

    使用 TensorRT 的推理编译器和 NVIDIA Model Optimizer,对在主流框架上训练的模型应用量化、层与张量融合以及内核调优。

  3. 3

    与你的框架集成

    使用 Torch-TensorRT、ONNX 解析器或 MATLAB GPU Coder,将 PyTorch、Hugging Face、ONNX 或 MATLAB 中的模型导入 TensorRT。

  4. 4

    部署和扩展

    使用 NVIDIA Dynamo 和 Triton Inference Server(包含 TensorRT 作为后端)将优化后的模型部署到数据中心、工作站、笔记本电脑和边缘设备。

NVIDIA TensorRT 核心功能

用于深度学习模型的推理编译器和运行时

量化、层与张量融合以及内核调优优化

用于大语言模型推理的 TensorRT-LLM

用于量化、剪枝和蒸馏的 NVIDIA Model Optimizer

面向 RTX GPU 推理的 TensorRT for RTX

与 PyTorch、Hugging Face、ONNX 和 MATLAB 集成

部署到数据中心、工作站、笔记本电脑和边缘设备

使用 NVIDIA Dynamo 和 Triton Inference Server 进行部署和扩展

NVIDIA TensorRT 使用场景

  • 优化深度学习模型,实现低延迟、高吞吐量的生产推理

  • 在 NVIDIA GPU 上加速大语言模型推理

  • 通过量化压缩模型,用于实时服务和嵌入式应用

  • 将推理部署到数据中心、工作站、笔记本电脑和边缘设备

  • 在应用安装或首次运行时为 RTX PC 构建推理引擎

NVIDIA TensorRT 常见问题

NVIDIA TensorRT 是一套工具生态系统,帮助开发者实现高性能深度学习推理,包括推理编译器、运行时和模型优化。

该生态系统包括 TensorRT SDK、TensorRT LLM、NVIDIA Model Optimizer 和面向 NVIDIA RTX 的 TensorRT。

TensorRT 直接与 PyTorch 和 Hugging Face 集成,提供 ONNX 解析器,并通过 GPU Coder 与 MATLAB 集成。

TensorRT 使用量化、层与张量融合以及内核调优技术来优化推理。

TensorRT-LLM 在 GitHub 上免费提供。

TensorRT Model Optimizer 在 NVIDIA PyPI 上免费提供,GitHub 上还有示例和配方。

可以使用现有基础设施获得免费许可证,在生产环境中试用 NVIDIA AI Enterprise 90 天。

文档可在 https://docs.nvidia.com/deeplearning/tensorrt/ 获取。

NVIDIA TensorRT 官方信息

公司
NVIDIA
官网
https://developer.nvidia.com/tensorrt
文档
https://docs.nvidia.com/deeplearning/tensorrt/
联系
https://developer.nvidia.com/contact

NVIDIA TensorRT 价格方案

免费增值

官方开发者页面检查于 2026-11-09。软件下载免费;硬件、云计算和商业支持另行收费。NVIDIA AI Enterprise 提供 90 天评估,而非永久免费的企业许可证。

TensorRT-LLM

$0USD / 免费软件

    TensorRT Model Optimizer

    $0USD / 免费软件

      查看官方价格 ↗

      用户评价

      NVIDIA TensorRT 用户评论

      读者评价

      暂无评论。

      分享你的 NVIDIA TensorRT 使用体验

      登录后可发表评论。审核通过后,显示名称、评分及评论内容将公开,每个账号对同一工具只能评价一次。

      你的评分