✳ainav.

guides

如何在试点前评估 AI 软件工程智能体

一份基于文档的仓库或云端编码智能体试点指南:隔离环境,从非敏感仓库开始,并要求人工审查每一处差异。GitHub Copilot 官方文档要求增加第二名审查者,且不会自动运行 Actions。Codex 仅依据官方文档描述,未实际调用。

如何在试点前评估 AI 软件工程智能体

软件工程智能体与在你编辑器中补全一行的助手不是同一款产品,也与拉取请求审查机器人不是同一款产品。你在这里评估的智能体会接收一项任务,在隔离环境中工作,然后返回一份仍需人工阅读的差异。跳过最后这项要求、或在第一天就授予新供应商访问生产 monorepo 权限的团队,买到的是运营风险而非速度。

这份基于文档的指南于 2026 年 11 月 10 日(亚洲/上海)审阅。我们没有调用 Codex、启动编码 CLI,也没有对任何仓库运行任何智能体。描述来自当天打开的 Devin、GitHub Copilot、Codex 和 Jules 官方文档。关于可合并拉取请求的营销话术是供应商声明,不是跳过审查的理由。本文不涉及漏洞利用、漏洞创建或绕过安全控制。

三项互斥的编码工作,外加一条必需的审查路径

日常 IDE 辅助——行内补全、聊天和编辑器内智能体模式——已在日常编码中的 Cursor vs GitHub Copilot vs Trae中涵盖。对差异发表评论的审查机器人是第三项工作,已在AI 代码审查中的 Qodo vs GitHub Copilot vs Cursor中涵盖。那些已发表的文章在这里是边界,而不是同一张表中的额外行。

云端或仓库级编码智能体的核心组合是 Devin、GitHub Copilot(具体指官方编码或云端智能体,它位于同一工具 ID 下)、Codex 和 Jules。GitLab Duo Agent Platform、Amazon Q Developer 和 Kiro 是真实产品,但此处未对其评分,因为本次审阅未第一手打开它们的官方智能体文档。

无论供应商是谁,你都应坚持的流程是:限定范围的问题、在隔离环境中工作、一份差异或拉取请求,以及合并前强制人工审查。该顺序是一项控制措施,而不是对上述三项互斥工作的排名。

三项互斥编码工作的示意图——IDE 日常助手、仓库或云端编码智能体、审查机器人——以独立列展示,仅在智能体工作下显示一条必需的人工审查路径。

AINav 基于官方文档绘制的原创示意图。来源:Devin、Devin 环境、Devin 密钥、GitHub:审查 Copilot 输出、GitHub Copilot 风险与缓解措施、Introducing Codex、Jules 入门、Jules 环境。非官方截图,也非测试结果。

Devin:自有机器中的云端工程师,仍然是一个拉取请求

Devin 的官方产品页面描述了一个“自主软件工程师”,它可以在云端或你的机器上运行,使用自己的浏览器进行测试,并一直工作到“PR 准备好合并”。官方环境文档更具操作性:在你连接源代码管理并授予仓库访问权限后,Devin 在 Linux VM 中运行,可选 Windows 或 macOS 快照。官方密钥指南称密钥在组织、个人、仓库或会话范围内加密;建议使用专用服务账户;并且你不应将密钥放入 blueprint YAML、设置命令或已提交的 .env 中。TOTP 是为 Devin 专用账户描述的,而不是为个人双因素设置描述的。

把“准备好合并”这句话当作营销。你仍然要审查 PR。Devin 还销售单独的 Review 产品,包括官方文档中描述的 Autoapprover,它能够发布可能满足分支保护要求的真实批准。那是另一项工作,而且在敏感仓库上如果它取代人工,就是一个危险的默认设置。产品网站上的企业营销包括与模型供应商的零数据保留和可选的私有网络;请在合同中确认这些条款,而不仅仅是在主页上。

本次审阅未从第一手官方定价表获取公开标价,因此此处不列出。

GitHub Copilot 的编码智能体:分支限制与第二名审查者

GitHub Copilot 已经是日常 IDE 助手。本次评估中的功能是官方编码或云端智能体,它接收一个问题并打开拉取请求。官方风险与缓解措施指出,只有具有写入权限的用户才能触发该智能体;该智能体仅限于拉取请求分支或新的 copilot/ 分支,并受现有分支保护限制;它不能将自己的 PR 标记为就绪、批准或合并。如果仓库已经要求一次批准,那么以应用身份打开的 PR 需要额外一次批准。官方审查指南很直接:像审查任何其他贡献一样彻底审查 Copilot PR;在需要批准时,分配用户的批准不算数——必须由另一名审查者批准;Copilot 推送时 Actions 工作流不会自动运行;你应检查更改,尤其是 .github/workflows/ 下的更改,并且只有在检查后才使用“Approve and run workflows”。

这些控制措施与智能体本身一样,都是购买价值所在。请从官方 GitHub 账单页面为你的组织规划席位和 GitHub AI 额度;本次审阅不重述目录计划费率。

Codex 和 Jules:官方智能体产品,仅依据文档审阅

Codex 在此作为有文档记录的 OpenAI 产品讨论。本文未调用它。

OpenAI 于 2025 年 5 月 16 日发布的 Introducing Codex 文章描述了一个位于隔离环境中的云端软件工程智能体,该环境预加载了仓库,能够编写功能、回答代码库问题、修复缺陷并提出拉取请求,并可选使用 AGENTS.md 指导。同一篇文章告诉用户在集成和执行之前手动审查并验证所有智能体生成的代码。该页面本身标记了该发布文章的部分内容已过时——包括截至 2025 年 6 月 3 日的任务期间互联网访问,以及后来关于团队工作流的说明。不要将 2025 年研究预览推广或 token 相关表述当作当前定价或网络策略。请重新查阅 OpenAI 当前的 Codex 文档,了解云端任务、网络和 ChatGPT 计划权益现在如何运作。

Jules 是 Google 的官方编码智能体,文档记录为实验性。官方入门页面称它与 GitHub 集成,在虚拟机中工作,在其中克隆你的代码、安装依赖并修改文件,并且你可以在代码更改前审查和批准计划。它会在仓库根目录查找 AGENTS.md。官方环境文档描述了安全、短生命周期的 Ubuntu VM、可选设置脚本以及用于后续任务的环境快照。仓库访问权限是你选择的授权;从非敏感仓库开始。

从一次性仓库开始的试点

使用非敏感仓库、限定范围的权限,以及非生产凭据的密钥。然后检查六件事:

  1. 工作匹配度。如果你主要想要编辑器中的补全,请参阅日常编码文章。如果你主要想要对人类 PR 的评论,请参阅代码审查文章。
  2. 环境与访问。确认隔离 VM 或分支模型、智能体可以看到哪些仓库,以及网络路径是否可接受。
  3. 密钥。即使在其他工具上也遵循 Devin 风格的官方规则:专用服务账户、已提交文件中无密钥、不将个人 2FA 设备交给智能体。
  4. 必需的人工审查。保留分支保护。不要让自动批准者在重要仓库上取代人工。对于 Copilot,规划第二名审查者,并且不要自动运行工作流更改。
  5. 差异允许触及的范围。尤其是 CI、IaC 和依赖文件。
  6. 权益。席位、额度和计划捆绑因供应商和账单周期而异。阅读当前官方计划页面;不要假设目录费率或 2025 年发布价格仍然适用。

如果智能体可以访问生产密钥、如果差异未经人工即合并、如果唯一可用的仓库是敏感的,或者如果官方网络和保留条款仍不明确,请停止试点。

这项购买适合谁,谁应另寻他处

本评估面向希望获得有文档记录的隔离编码智能体、并愿意审查每一处差异的工程团队。

它不适合只需要 IDE 补全或审查评论机器人的团队,也不是跳过代码审查、安全审查或仓库访问设计的方式。

常见问题

如果供应商说 PR 准备好合并,我们可以合并吗? 不可以。官方 Copilot 文档要求彻底审查,并且在需要批准时,需要分配者以外的审查者。官方 Codex 发布指南要求手动审查所有智能体生成的代码。Devin 自己的文档仍然描述拉取请求工作流。

这里列出的 GitHub Copilot 与 IDE 助手是同一个吗? 它是同一个目录工具。本文评估该 ID 下的官方编码或云端智能体,而不是行内补全工作。

你们通过运行 Codex 测试过它吗? 没有。Codex 仅依据官方文档描述。本次审阅未调用任何 Codex 产品、编码 CLI 或智能体。

为什么省略 GitLab Duo、Amazon Q Developer 和 Kiro? 因为本次审阅未第一手打开它们的官方智能体文档。省略不是排名。

相关工具