✳ainav.

AI API 开发工具

NVIDIA Dynamo

访问官网
产品简介
开源、低延迟、模块化的推理框架,用于在分布式 GPU 集群上服务生成式 AI 模型。
收录时间
2026/11/22
价格类型
免费
NVIDIA Dynamo 截图
NVIDIA Dynamo 网站预览

产品概览

NVIDIA Dynamo 是什么?

NVIDIA Dynamo 是一个开源、低延迟、模块化的推理框架,用于在分布式环境中服务生成式 AI 模型。它通过智能资源调度和请求路由、优化的内存管理以及无缝数据传输,在大型 GPU 集群上扩展推理工作负载。Dynamo 支持开源推理引擎,包括 SGLang、TensorRT LLM 和 vLLM,并通过在 GPU 之间解耦推理阶段、路由请求以避免冗余计算,以及通过数据缓存将 GPU 内存扩展到经济高效的存储层级,简化分布式服务。它构建在 NVIDIA Triton Inference Server 之上,面向运行大规模模型服务的开发者和 ML 平台团队。可通过开源 GitHub 仓库和官方文档访问。

如何使用 NVIDIA Dynamo

  1. 1

    查阅文档

    阅读 NVIDIA Dynamo 官方文档,了解架构、部署选项和支持的后端。

  2. 2

    从 GitHub 下载

    从官方 ai-dynamo/dynamo GitHub 仓库获取开源 Dynamo 项目。

  3. 3

    选择推理引擎

    为您的服务工作负载选择受支持的开源推理引擎,例如 SGLang、TensorRT LLM 或 vLLM。

  4. 4

    跨 GPU 部署

    在 GPU 集群上配置分布式服务,包括解耦的预填充和解码阶段、请求路由和内存管理。

NVIDIA Dynamo 核心功能

开源、低延迟、模块化的推理框架

跨 GPU 集群的智能资源调度和请求路由

优化的内存管理和无缝数据传输

支持 SGLang、TensorRT LLM 和 vLLM 推理引擎

跨 GPU 的解耦预填充和解码阶段

通过数据缓存将 GPU 内存扩展到经济高效的存储层级

构建在 NVIDIA Triton Inference Server 之上

NVIDIA Dynamo 使用场景

  • 在分布式环境中服务生成式 AI 模型

  • 在大型 GPU 集群上扩展推理工作负载

  • 大规模运行混合专家推理模型

  • 使用 vLLM、SGLang 或 TensorRT LLM 部署开源 LLM 推理

NVIDIA Dynamo 常见问题

它是一个开源、低延迟、模块化的推理框架,用于在分布式环境中服务生成式 AI 模型。

它支持开源推理引擎,包括 SGLang、TensorRT LLM 和 vLLM。

它在 GPU 之间解耦推理阶段,路由请求以避免冗余计算,并通过数据缓存将 GPU 内存扩展到经济高效的存储层级。

该开源项目可从 NVIDIA Dynamo 页面链接的官方 ai-dynamo/dynamo GitHub 仓库获取。

官方文档位于 docs.nvidia.com/dynamo/latest/。

它构建在 NVIDIA Triton Inference Server 之上,这是一个标准化 AI 模型部署和执行的开源软件。

NVIDIA Dynamo 官方信息

公司
NVIDIA
官网
https://developer.nvidia.com/dynamo
文档
https://docs.nvidia.com/dynamo/latest/
联系
https://developer.nvidia.com/contact

NVIDIA Dynamo 价格方案

免费

NVIDIA Dynamo 本身是开源的,可从 GitHub 免费下载。NVIDIA AI Enterprise 将在未来版本中包含 Dynamo 用于生产推理,它是单独的商业产品,提供 90 天免费试用许可证;本页面未说明其具体价格。检查日期:2026-11-19。

NVIDIA Dynamo(开源)

0

开源、低延迟、模块化的推理框架,用于在分布式 GPU 集群上服务生成式 AI 模型,可在 GitHub 上获取。

  • GitHub 上的开源软件,附带端到端示例
  • 支持 SGLang、TensorRT LLM 和 vLLM 后端
  • SLO Planner、KV-aware Router、NIXL、KV Block Manager、Grove、AI Perf

查看官方价格 ↗

用户评价

NVIDIA Dynamo 用户评论

读者评价

暂无评论。

分享你的 NVIDIA Dynamo 使用体验

登录后可发表评论。审核通过后,显示名称、评分及评论内容将公开,每个账号对同一工具只能评价一次。

你的评分