NVIDIA Dynamo(开源)
开源、低延迟、模块化的推理框架,用于在分布式 GPU 集群上服务生成式 AI 模型,可在 GitHub 上获取。
- GitHub 上的开源软件,附带端到端示例
- 支持 SGLang、TensorRT LLM 和 vLLM 后端
- SLO Planner、KV-aware Router、NIXL、KV Block Manager、Grove、AI Perf
AI API 开发工具

产品概览
NVIDIA Dynamo 是一个开源、低延迟、模块化的推理框架,用于在分布式环境中服务生成式 AI 模型。它通过智能资源调度和请求路由、优化的内存管理以及无缝数据传输,在大型 GPU 集群上扩展推理工作负载。Dynamo 支持开源推理引擎,包括 SGLang、TensorRT LLM 和 vLLM,并通过在 GPU 之间解耦推理阶段、路由请求以避免冗余计算,以及通过数据缓存将 GPU 内存扩展到经济高效的存储层级,简化分布式服务。它构建在 NVIDIA Triton Inference Server 之上,面向运行大规模模型服务的开发者和 ML 平台团队。可通过开源 GitHub 仓库和官方文档访问。
阅读 NVIDIA Dynamo 官方文档,了解架构、部署选项和支持的后端。
从官方 ai-dynamo/dynamo GitHub 仓库获取开源 Dynamo 项目。
为您的服务工作负载选择受支持的开源推理引擎,例如 SGLang、TensorRT LLM 或 vLLM。
在 GPU 集群上配置分布式服务,包括解耦的预填充和解码阶段、请求路由和内存管理。
在分布式环境中服务生成式 AI 模型
在大型 GPU 集群上扩展推理工作负载
大规模运行混合专家推理模型
使用 vLLM、SGLang 或 TensorRT LLM 部署开源 LLM 推理
它是一个开源、低延迟、模块化的推理框架,用于在分布式环境中服务生成式 AI 模型。
它支持开源推理引擎,包括 SGLang、TensorRT LLM 和 vLLM。
它在 GPU 之间解耦推理阶段,路由请求以避免冗余计算,并通过数据缓存将 GPU 内存扩展到经济高效的存储层级。
该开源项目可从 NVIDIA Dynamo 页面链接的官方 ai-dynamo/dynamo GitHub 仓库获取。
官方文档位于 docs.nvidia.com/dynamo/latest/。
它构建在 NVIDIA Triton Inference Server 之上,这是一个标准化 AI 模型部署和执行的开源软件。
NVIDIA Dynamo 本身是开源的,可从 GitHub 免费下载。NVIDIA AI Enterprise 将在未来版本中包含 Dynamo 用于生产推理,它是单独的商业产品,提供 90 天免费试用许可证;本页面未说明其具体价格。检查日期:2026-11-19。
开源、低延迟、模块化的推理框架,用于在分布式 GPU 集群上服务生成式 AI 模型,可在 GitHub 上获取。
用户评价
暂无评论。