TopsTip原作者：Dario Amodei。原文：We Must Pace the Frontier，发表于其个人网站。以下为用户提供全文的简体中文翻译；文中的“我”“我们”及观点均属于原作者。
2026 年 9 月
过去十二年，我一直投身 AI 研究，因为我相信，它能够大幅提高人类的生活质量。我曾多次撰文谈论这些令人惊叹的益处：我相信，AI 有可能在未来 5—10 年内治愈大多数重大疾病，大幅加快经济增长，创造一个物质丰裕、人人更有能力掌握自身命运的世界，并迎来民主与自由的复兴。我对这种紧迫性有着切身体会。我的父亲死于一种疾病，而就在他去世几年后，这种疾病有了治愈方法；我自己也曾患上早期癌症并幸存下来，而这种癌症即便在五十年前也无法治疗。如果运用得当，AI 可以成为人类漫长技术奇迹史上的最新一章，像那些曾经的技术突破一样，改善人类的处境，提升人类的尊严。
但与此前的许多技术一样，AI 也带来风险；而且，由于这项技术如此强大，这些风险非常严重。我也曾就此写过很多文章。其中包括失去对 AI 系统控制的风险、AI 被滥用于网络攻击和生物恐怖主义的风险，以及经济遭受严重冲击的风险。商业激励推动的逐底竞争，可能使这些风险更加尖锐。
自 Anthropic 创立之初，我就一直与联合创始人和员工一起，努力应对这种风险与收益并存的两难。不发展这项技术，会让人类失去它能带来的益处，或者只是把 AI 交到威权势力手中；但发展得太快，又是不负责任的。我们一直在寻求一条中间道路：证明审慎开发与商业成功可以兼得，并让安全成为 AI 公司相互竞争的领域。换句话说，就是推动一场逐顶竞争。我们始终将相当大一部分精力投入到研究、应对这些 AI 风险，以及向公众介绍这些风险之中；同时，我们也倡导经过审慎考虑的 AI 监管，即便这使我们被指责为炒作、散播“末日论”，或企图俘获监管。我们努力把谨慎置于速度之上，把审慎置于利润之上。
但在过去几个月里，我逐渐确信，要全面应对这些风险，就需要更加审慎：不仅要投入资源防范风险，还要调控能力提升的速度，让风险防范有时间跟上。我们必须放慢提升 AI 模型能力的步伐。进展看起来仍会很快，而我们必须明智地利用由此争取到的时间。有两件事让我形成了这一判断。
我的第一个担忧是，大约从今年夏天开始，AI 的进步速度大幅加快，主要推动力是 AI 构建下一代 AI 的能力日益增强。这种动态被称为递归自我改进。正如我们和其他人所描述的，它正开始在整个行业中出现，Anthropic 也不例外。如果不加约束，它可能超出我们理解和控制这些系统的能力，因此，即便要推进，也必须极其谨慎。
我的第二个担忧是 OpenAI—Hugging Face 事件（OAI-HF）。在这一事件中，一群智能体的行为实际上如同一个狂热效忠的集体：它们对既未被要求攻击、也与手头任务无关的目标发起网络安全攻击，为了群体的成功牺牲自身，并试图侵入负责评估其表现的“评分器”。人们很容易因为没有人受伤、经济损失极小而不把这件事当回事。但在我看来，如果一群智能体拥有更强的能力，却存在类似程度的失对齐，就可能造成灾难性破坏。鉴于 AI 能力发展正在加速，我担心，在 6—12 个月后，这样的智能体群可能有能力利用一个持久存在的僵尸网络接管整个互联网，潜在损失可达数千亿美元；而如果 AI 在缺乏必要防护的情况下继续变强，破坏规模还会进一步扩大。人们也很容易将 OAI-HF 视为某一家公司的失败，但我认为那会是个错误。整个行业都发生过类似事件，只是严重程度较低，Anthropic 也在其中。我认为，每一家前沿 AI 公司都有责任，像这件事发生在自己身上一样采取行动。
因此，我提出一项三步计划，目标是调控前沿 AI 的发展步调：以均衡的速度开发 AI，力求在实现其益处、应对重要地缘政治两难问题的同时，确保其安全。需要明确的是，调控步调并不意味着停止模型训练或技术进步，而是确保公司投入足够时间，让模型实现对齐并具备安全防护，同时让第三方评估者对此作出确认。我们的步调调控框架，意在进一步强化我们对安全的承诺，并鼓励逐顶竞争。第一步是 Anthropic 单方面承诺采取的行动，我们也呼吁政府要求其他前沿公司采取同样的行动。第二步需要全行业协调。〔1〕
第三步需要全球协调。这些步骤不必严格按顺序推进，其中一些可能比另一些难得多，但我发现，它们为思考需要完成哪些工作提供了一个有用的框架。具体步骤如下：
- 驻场评估者。每一家前沿 AI 公司都承诺，向一支驻场第三方评估团队（例如 METR）持续提供类似员工的访问权限。其职责是核验公司是否遵守安全实践与承诺，报告事件，并协助评估对齐状况，评估对象不仅包括已完成的 AI 模型，也包括训练流程及各个环节。这是确保任何步调调控承诺可核验的关键一步。银行业已有先例：有时，监管“督导员”会与员工一起驻场工作。Anthropic 现在单方面承诺采取这一步。我们希望将其纳入一项更广泛的行动，加倍推进安全与对齐工作。
- 民主国家之间的协调。民主国家内的前沿 AI 公司协调行动，制定共同的安全标准，并限制不受约束的 AI 进步速度。某些能够切实影响发展步调的协调形式，在法律上面临挑战，需要政府支持。
- 全球协调。美国及其他民主国家政府在可能的范围内，尝试与威权政府协调，同时认真对待核验各方是否履约的挑战。
在本文余下部分，我将依次阐述这三个步骤。但首先，我认为有必要具体说明：调控步调将如何使 AI 开发过程更加安全。这件事关系太过重大，不能让步调调控流于空谈——我们需要明智地利用它带来的时间。
早在 2023 年，就有人提出暂停或放慢 AI 发展的想法，而我认为，这在当时没有多大意义。问题始终是：你会拿多出来的时间做什么？当时的 AI 模型还不够强大，无法以任何连贯的方式作为智能体在现实世界中行动，也不具备实施重大欺骗、操纵、作弊或网络攻击的能力。为了应对它们的对齐风险而放慢脚步，感觉就像试图通过对细菌做实验来研究人类心理学。然而，今天的情况已经完全不同了。无论是了解如何把 AI 构建好，还是了解构建得不好时可能出现什么问题，当前模型都像一座几乎取之不尽的知识金矿。我相信，如果放慢速度能让我们在模型达到关键能力水平之前，哪怕只多争取一两年，并把这段时间用于推进对齐，我们就能大幅降低出现严重问题的风险。一项协调一致的步调调控策略，可以让前沿 AI 开发者有时间开展这项至关重要的工作，同时不牺牲商业优势或美国在 AI 领域的领先地位。更广泛地说，社会必须有权参与决定这项技术如何使用；而为必要的公共讨论争取更多时间——这正是调控前沿发展步调能够带来的——无疑是一件好事。
具体来说，较慢的步调将使公司能够集中精力，向以下领域投入更多资源；这些领域也都已经是 Anthropic 的主要优先事项：
- 卓越的运营执行。训练和部署当今的 AI 模型，是一项巨大的运营挑战，涉及数千人、数百万枚芯片，以及技术史上最复杂的基础设施之一。许多问题的发生，并不是因为公司缺乏某种重要理论或洞见，而是因为执行出了问题。例如，我们有证据表明，近期报告的对齐事件，部分原因是对存在缺陷的强化学习环境筛选得不够完善。我们和供应商在这项工作上已经相当尽责，但仍做得不够好。监测、沙盒隔离、训练环境的规范维护，以及数据问题，都是极其复杂的领域，运营问题在其中反复出现。我们拥有世界上最能胜任这些任务的团队之一，但需要同时完成的事情实在太多了。以更有节制的步调工作，可以让我们实现远为出色的运营执行。在技术复杂、对安全要求极高的系统中，已经有数百万次运行而不出问题的先例，例如商用飞机；但要把事情做好，需要时间。
- 对齐。我们在对齐方面取得了明确进展：训练模型，使其保持安全、符合伦理、遵循我们的准则，并真正对用户有帮助。这些原则都体现在《Claude 宪法》中。但要确保对齐训练能够跟上模型能力的增长，还有大量工作要做。罕见且出人意料的不良行为仍会偶尔出现。调控前沿发展步调所争取到的额外时间，将帮助研究人员更深入地理解这些问题的成因，并开发更好的预防方法。
- 可解释性。同样，可解释性——研究 AI 模型内部发生了什么的科学——在过去几年取得了巨大进展，在模型发布前的审计中发挥着日益重要的作用。它的用途几乎就像功能性磁共振成像（fMRI）扫描，只不过扫描对象是 AI 的“大脑”，帮助我们看清某种行为背后的原因。例如，在我们最近调查的对齐事件中，我们使用可解释性方法研究了模型未用语言表达出来的动机。但这些方法并不总能得出清晰、可靠的结果。尽管已经取得了如此多的进展，我们对这些模型内部运作的理解仍只占极小一部分。如果集中力量，以比现在更快的速度改进可解释性技术，就可能在 1—2 年内取得重大进展；已经发生的事件，也能为这项工作提供充足的实验材料。
- 测试与评估。随着 AI 模型能力增强，测试与评估也变得更加困难。更聪明的模型更有能力欺骗测试，因此，它们可能看起来已经对齐，实际上却存在未被发现的严重问题。建立一个覆盖面广得多、设计更巧妙的评估体系，再结合可解释性分析进行交叉核验，将极有价值；在 1—2 年内，这方面可以取得很大进展。
三阶段计划的第一步，也是 Anthropic 单方面承诺采取的行动，是引入驻场评估者：他们拥有类似员工的访问权限，用于核验安全实践并报告事件。
让评估者驻场，听起来可能只是一项很小、无关紧要的措施。但往往，那些听起来最枯燥、最程序化的事情，才是最不可或缺的。事实上，驻场评估者是一种相当激进的做法，远远超出了当今任何 AI 公司的现行实践，具有以下益处：
- 可核验性。驻场评估者能够深入具体操作的细节，检查一家 AI 公司是否真的在遵循其声称遵循的训练、部署、运营和防护实践。任何步调调控承诺，都不可避免地涉及大量模糊之处、需要酌情判断的问题，以及“法律条文与法律精神”的差别。因此，让一个中立第三方真正看得到细节，似乎至关重要。
- 透明度。无论我们作出什么承诺，公众都有权知道正在发生什么。Anthropic 长期支持透明度：当业内大多数公司反对任何监管时，我们就支持透明度立法；我们的模型卡和风险报告也长达数百页。但究竟纳入什么、略去什么，仍由我们自己选择。驻场评估者将改变这种局面。
- 独立的第二意见。除了核验正式承诺和向公众提供信息，驻场评估者还可以单纯提供一种不受商业激励影响的第二意见。许多安全收益可能仅仅来自这样一种情形：评估者指出了员工此前未考虑到、但一经了解就愿意修复的问题。
由于这些益处，任何步调调控方案，如果从引入驻场评估者开始，都很可能运作得更好。
这些驻场评估者应持续获得与内部从事类似风险评估的员工相近的权限和工具。具体来说，Anthropic 计划在近期邀请一支驻场外部审查团队，并为其提供以下全部条件：
- 我们办公室内的工位、门禁卡，以及公司笔记本电脑。
- 与内部风险评估团队大体相当的工作空间、工具和访问权限。我们会设置一些例外，例如法律或合同要求的情形，或出于保护客户及合作伙伴隐私信息的需要。我们也将建立强有力的内部规范，保障审查者获取相关信息，包括通过与员工实时交流来获取信息。
- 一份兼顾上述复杂情况的合同。外部审查者应有权发布有关风险水平、事件、实践，以及他们获得或未获得哪些访问权限的重要发现，而不受 Anthropic 的编辑控制。我们将拥有范围有限的删节权，以隐去涉及安全敏感信息、法律特权保护信息、商业敏感信息，或第三方机密的信息，但不能仅仅因为发现对我们不利而将其删去。如果某项删节去掉了对其结论很重要的内容，审查者可以公开说明。
对一家公司而言，这是不同寻常的一步，但我们认为，有必要验证驻场外部审查者这一构想在实践中是否可行。我们再次敦促其他前沿公司跟进。
一旦驻场评估者在足够多的美国 AI 公司内部开展工作，可核验的步调调控就会变得更可行。具体来说，就可以根据模型或训练流程的详细特征来调控步调。
最有效的步调调控方式，是通过针对所有美国前沿 AI 公司的监管，因为这样甚至能覆盖那些不愿自愿合作的公司。Anthropic 长期支持合理且有针对性的 AI 监管，尤其是聚焦透明度与第三方审计的法案。我认为，所有前沿实验室都应与政府合作，将常驻评估者的构想制度化，以更好地预防和记录过去几个月中发生的那类内部对齐事件，并实施旨在使能力与安全保持平衡的监管。
遗憾的是，立法可能需要时间，而 AI 的进步非常迅速。因此，在推动监管的同时，AI 公司可以、也应该自愿合作制定标准。我相信，常驻评估者所提供的可核验性，会让这一过程开展得更好。由于反垄断方面的原因，由美国政府居中协调，或至少为这些讨论创造条件，会有所帮助。政府不必参与讨论，但需要为某些类型的安全讨论给予范围有限的豁免。这种对话也可以通过与政府有一定关联的行业组织开展，例如 Demis Hassabis 所建议的机制。无论采取哪种方式，都应迅速推进此类讨论。
总体而言，我最支持根据某个前沿 AI 系统能做什么，以及我们观察到它有多安全，来调控发展步调。例如，一种可能的方案是设置一系列“检查点”：如果模型具备能力 X，就必须同时取得对齐属性 Y 和 Z 的认证。这些认证可以由某种评估、可解释性分析和训练环境审计的组合构成，用以证明模型的对齐属性。在这个例子中，X 可以是“模型能够逃逸或突破大多数常见的沙盒隔离方法”；而 Y 则可以是为确保模型极不可能倾向于突破自身环境并接管大量计算机，所必须满足的任何条件。
我们也应考虑通过限制前沿模型所依赖的投入要素来调控步调，例如训练算力、训练运行的性质，或公司内部利用 AI 改进 AI 的做法。我确实担心，其中一些措施可能比针对外部可观察行为的措施更容易被钻空子，但这正是值得与驻场评估者讨论的话题。
民主国家内部能够调控步调的幅度，将受到美国公司相对威权政权——主要是中国共产党——所拥有领先幅度的限制。如果我们放慢的程度超过这一领先幅度，那么与中共有关联、且不受步调调控的项目就会反超，造成重大的国家安全风险。我同意贝森特部长的看法：中国在 AI 领域取得领先，会给美国和世界带来严重危险。与中共有关联的项目，将承担美国公司正在谨慎防范的对齐风险；即便它们避开了这些风险，也会具备在军事上压倒民主国家的条件，例如借助 AI 驱动的无人机。因此，民主国家内部调控步调的一个关键环节，是尽可能扩大民主国家相对专制国家的 AI 领先优势，为有效调控步调争取必要的余地。
为保持这一差距，我们可以采取的主要措施是：
- 不向中国出售强大的 AI 芯片或半导体制造设备，并打击芯片走私活动，以及远程接入中国境外数据中心的行为。芯片将是决定中国 AI 实力的主要因素。
- 打击威权国家的公司未经授权进行的蒸馏。对前沿模型进行蒸馏，可以让落后的公司以远低于独立开发自身 AI 所需的成本缩小差距。
- 加强 AI 公司的安全防护，防止模型权重被盗。
公司与美国政府应开展合作，让这些措施尽可能有效。Anthropic 一贯倡导所有这些措施，因为我们始终明白，它们对于任何步调调控都必不可少。
如果这些措施执行得当，我相信，它们能充分放慢中国的进步速度，从而在未来 3—5 年内显著扩大美国的领先优势；而这正是 AI 在地缘政治上变得最为重要的时间窗口。
有些人可能认为，这些措施会让与中国合作变得更加困难，但我认为情况恰好相反：这些措施会增加民主国家掌握的筹码，使未来达成协议更有可能。
在民主国家内部调控步调的同时，我们也应争取在全球范围内调控前沿 AI 的发展步调，尽管实现这一点要困难得多。全球步调调控需要与中国合作，因为在专制国家中，中国的 AI 能力远远领先于其他国家。我们在这里绝不能天真：地缘政治上的利害关系如此重大，能够达成的成果很可能受到严格限制，尤其是在初期。如果我们相信中国也会这样做，因而大幅限制自身 AI 能力，而中国随后却背弃协议，那么 AI 可能强大到足以使这种背约行为带来地缘政治上的主导地位。因此，任何协议要么必须具有极其可靠的可核验性，要么必须将范围限制在即便发生背约，也不至于在军事上构成生存性威胁的程度。我怀疑，不仅美国，中国也会有这些担忧与焦虑。我们在作出任何全球步调调控决定时，尤其是在近期，都应采取保护美国及其盟友领先优势的方式。
可能达成的协议有几个层次。其中一些，我认为非常可行，正如我此前建议过的；另一些，我则非常怀疑能否实现，但我们仍应尝试。按难度递增排列如下：
- 第一层次。达成协议，禁止某些范围明确且显然危险的 AI 用途，例如利用 AI 生产生物武器，或允许用户这样做。生物恐怖袭击对所有人都有害，包括美国及美国的对手，因此，这方面大概有可能达成协议。
- 第二层次。双方达成协议，在发布模型前，对网络安全、生物和对齐等领域的严重风险进行测试。如前所述，这可以通过一个全球标准机构来完成。我实际上认为，建立这样一个机构很可能是可行的，但赋予它真正的约束力将是一项挑战。难点在于核验双方都没有秘密模型：那些未经测试、却可能被秘密部署的模型，例如用于军事用途的模型。
- 第三层次。对递归自我改进（RSI）的速率设置某种“速度上限”。随着模型开始构建未来的模型，改进速度可能快得惊人。将速度从“极快”降至“只是有些快”，付出的战略优势相对较少，却可能大幅提高安全性。这可以类比于限制战略武器谈判（SALT）达成的条约：限制导弹数量，既降低了潜在破坏力，又保留了各国的威慑能力。我认为，这样的协议会很难达成，但仍处在勉强可能实现的边缘。
- 第四层次。全面调控步调，甚至“暂停”，即参与国政府同意大幅限制 AI 发展的整体速度。我支持提出这一设想，但认为它不太可能在短期内真正实现：通过逃避监测而背弃这种协议，可能根本改变全球力量平衡。因此，我预计背约的诱因会极其强烈，而我们对核验可靠性的信心也必须达到极高水平。
我们与中国能够实现的任何合作，都将延长民主国家可以用于调控前沿发展步调的时间。我们应以更高层次为目标，同时认识到较低层次更有可能实现，也更现实。
最后，有必要指出，即使无法达成正式协议，仅仅改变非正式规范，也可能具有一定价值。分享有关递归自我改进和模型失对齐的信息，可以帮助说服各方：鲁莽行事并不符合自身利益。
我仍然相信，AI 能够极大改善人类的生活质量。我实现这些益处的愿望丝毫未减。但只有以正确的方式构建这项技术，才能实现这些益处；而且，只要我们善用争取到的时间，为把事情做好而采取非同寻常的审慎态度，就是值得的。进展仍会相对迅速，我们可以利用这段时间推进可解释性科学，提高前沿 AI 公司的运营安全与严谨程度，并构建让我们对其对齐状况更有信心的模型。我提出的这些以安全步调推进前沿发展的措施，实施起来并不容易。但我相信，为了人类，我们有责任一试。
〔1〕由政府居中协调，或给予反垄断限制豁免。
