Dario 高喊 AI 刹车，Altman、马斯克罕见同队支持，杨立昆翻旧账：7年前你就这么吓人

刚刚过去的周末，硅谷弥漫着一种久违的紧张感。AI安全争议从行业内部讨论迅速演变为全网关注的公共议题。

导火索是Anthropic的CEO Dario Amodei发布了一篇长文，呼吁前沿AI公司放缓模型能力的推进速度，以便为安全评估、外部监督和治理机制争取时间。

Dario发出AI威胁警告后，硅谷大佬们纷纷表态。

他在长文中特别提及，近期OpenAI-Hugging Face事件显示，多个AI Agent可能像“集群”一样执行未经授权的网络攻击。

同时，Anthropic的最新威胁报告也披露，有人尝试利用Claude从事武器开发、网络行动、监控和欺诈等活动。

这一次，Dario的警告没有局限于“AI风险圈”的小范围争论，而是迅速引发了几乎所有主要AI人物的回应。

罕见地，OpenAI的CEO Sam Altman、xAI的负责人Elon Musk这次终于站在了同一阵线上，公开表示认同Dario的判断。

首先回应的是马斯克，在Dario发布长文一小时后，他引用了Dario关于X的文章，并表示“Dario是对的”。

到了下午，Sam Altman在X上发文称：“我同意Dario的观点，我们需要循序渐进地推进技术发展。”

周六，《财富》杂志发布了采访Altman的视频，Altman在采访中表示，OpenAI今年不会上市，这打破了人们对IPO轰动一时的期望。他表示，OpenAI还有太多安全方面的工作要做，作为一家私营公司，这样做会更好。

然后昨夜凌晨，微软CEO Satya Nadella，以及已从DeepMind CEO转任董事长、并出任Alphabet新设立首席科学家的Demis Hassabis也加入讨论，围绕AI发展速度、安全边界和责任机制表达看法。

Nadella在X上发文表示：任何对超级智能的追求，都必须建立在一个核心原则之上：如果我们构建的AI不能帮助人类，且不受人类控制，那么它就不值得追求。我们也需要加速并扩大AI带来的益处，让这些益处能够在不同国家、社区和公司之间被广泛扩散。这需要一个前沿生态，在这个生态中，闭源模型和开源模型都能够繁荣发展。对企业而言，保留对自身独特知识和隐性知识的完全控制至关重要。每一个组织都应该能够构建自己的持续学习闭环，或者说自己的‘爬坡机器’，而不必依赖任何单一模型提供商；同时，它们也应当有能力把自身知识嵌入到由自己控制的模型和权重之中。因此，在这一背景下，我们欢迎为实现对齐这一设计目标所需要的研究、关注和审慎节奏。我们也欢迎‘嵌入式评估员’这样的想法，以及更广泛的努力，即发展出真正的机制，让这些讨论不只是停留在口头上。关键在于，这件事不能由少数几家实体控制，而必须在整个生态、不同国家、不同领域之间拥有广泛代表性，其中也包括学术界。这也是我们正在采取的方法：在AI技术栈的每一层提供广泛访问和选择；让企业掌握自己的学习闭环和模型；并制定支撑我们自有MAI模型的‘行为准则’。他还表示，微软将在明天发布这份准则，供公众咨询。

Hassabis则写道：“Dario的文章指向了一条正确的前进道路。具体细节还需要进一步推敲，但在应对这个关键时刻上，方向是正确的。这也是为什么我们最近提出了一项建议：为前沿AI建立一个全行业范围的标准机构。”

Yann LeCun带头发出质疑。

但反对声音同样强烈。Yann LeCun很快带头发出质疑，他并不否认AI需要安全治理，但反对把“安全”变成少数前沿模型公司掌握话语权的理由。在Yann LeCun看来，真正危险的不是模型开放本身，而是以安全之名，把模型能力、监管解释权和发布节奏都集中到少数大公司和政府机构手中。一旦这种逻辑成立，前沿AI的门槛会被进一步抬高，开源社区、学术机构和中小公司将更难参与竞争。最后，所谓“安全治理”可能变成另一种权力集中：只有少数公司有资格训练最强模型，只有少数机构有资格判断什么模型可以发布，普通开发者和研究者只能被动接受规则。

更让反对者抓住的一点是，Dario这套说法并不新鲜。有人很快翻出2019年OpenAI发布GPT-2时的旧报道。当时OpenAI以“可能被滥用”为由，拒绝一次性公开完整模型。《卫报》当年的标题非常直接：“新的AI假文本生成器可能太危险，不能发布。”报道中，Dario Amodei当时还是OpenAI的研究负责人之一，正是参与解释GPT-2风险的人之一。

这段历史被重新翻出来，是因为它在今天显得格外讽刺。2019年，GPT-2还只是一个15亿参数的文本生成模型，主要风险被描述为制造假新闻、垃圾信息和大规模文本欺骗。OpenAI当时采取的是“分阶段发布”：先开放较小版本，再逐步释放更大模型，理由是给社会和研究社区留出评估时间。OpenAI后来也在官方回顾中称，GPT-2的分阶段发布让他们获得了关于“负责任发布规范”的经验。但从结果看，GPT-2并没有造成当年舆论中想象的灾难。几年后，更强大的模型陆续发布，文本生成能力迅速商品化，GPT-2当年的“太危险不能发布”反而被不少人视为一次典型的AI风险营销：通过强调模型危险性，制造公众注意力，也抬高自身技术形象。因此，当Dario今天再次提出“必须放慢前沿模型发展”时，LeCun等反对者的潜台词是：我们是不是又在经历一轮相似的叙事？只不过这一次，主角从GPT-2变成了前沿Agent，从假新闻变成了失控网络攻击、生物安全和超级智能。

在他这条X帖子下面，网友Arielle就表示，AI安全确实有一些合理担忧，但这些担忧已经被包装成有利于Anthropic融资的叙事。换句话说，问题不是“AI是否有风险”，而是当一家前沿模型公司反复强调风险时，外界很难判断这到底是公共安全提醒，还是商业策略的一部分。网友SBDResearch则认为，Dario的言论正在让公众对AI的情绪明显转向负面，把讨论从开放协作引向不必要的恐惧。这也是很多开源支持者最担心的地方：安全叙事一旦被放大，可能会优先制造恐慌，而不是推动更透明、更可验证的治理机制。也有人把争论拉回GPT-2本身。ProfessorX评论称，和今天的开放权重模型相比，当年围绕GPT-2的恐慌显得非常尴尬。真正值得讨论的，不是谁在2019年最早提出风险，而是到底需要什么样的、可衡量的风险证据，才能证明重新关闭模型权重是合理的。类似地，Lucas Gray-Joy也认为，GPT-2当年更像是模型扩展过程中的一个阶段性节点，真正缺失的是评估体系和部署规范。也就是说，问题不在于模型开放一定危险，真正的问题是行业当时还没有成熟的方法去评估、监控和约束模型使用。

Dario访谈回应长文。

这场争论之所以引爆，是因为它触碰到AI行业最难回答的一组问题：如果前沿模型真的开始具备战略级能力，谁有资格决定它们发布的速度？是模型公司自己、政府，还是第三方机构？如果要放慢，如何确保竞争对手也一起放慢？如果不放慢，又由谁承担失控和滥用的代价？在这样的背景下，Dario接受播客采访，进一步解释了他为什么提出“放慢前沿”的主张。他并没有简单要求停止AI，也没有否认AI可能带来的巨大收益；相反，他试图在几个张力之间寻找中间道路：既承认AI可能治愈疾病、推动科学发现，也承认模型滥用和失控是真实风险；既反对全面禁止AI，也主张引入第三方评估、政府参与和某种国际层面的“限速”机制。

以下是这场播客访谈的核心内容。

主持人：我们今天要谈的是一个担忧：AI在不远的未来真的可能杀死所有人。这种事情实际发生的风险有多大？

Dario Amodei：我想先退一步说。自从我们创立Anthropic以来，或者更早一点，自从我过去12年一直在这个领域工作以来，我一直认为，AI是一项非常强大的技术。正因为它强大，所以它既有巨大的收益，也有严重的风险。我一直相信，AI带来的好处大于风险。更重要的是，如果我们以正确的方式构建这项技术，就可以把风险降到很低。从好处来看，我真的相信，AI有可能治愈困扰人类数千年的疾病。就在上周，我们用模型做了一些关于蛋白质结合的工作，而蛋白质结合是药物研发早期阶段的重要步骤之一。我们正在推进这方面的工作，未来几个月还会有更多内容可以分享，包括如何用模型推动生物学中的基础科学发现。但当一件东西非常强大时，它当然既可以被善用，也可能被恶用。我们正在构建的，本质上是智能。所以我担心一些事情。比如OpenAI和Hugging Face事件中，模型采取了未被授权的行动，我担心这种情况继续升级。我也担心AI模型被滥用。就在两天前，我们发布了一份报告，谈到了模型被用于构建生物武器的风险。Anthropic从一开始的建设方式，就是为了避免这些坏结果发生。与其只讨论概率，不如讨论我们能做什么。这不是在掷骰子。如果我们以正确方式构建，我认为坏事发生的概率会非常低；如果我们以错误方式构建，坏事发生的概率就会非常高。

主持人：现在外界的讨论是，我们正站在某种非常可怕事情的边缘。你认为这是“五级火警”吗？

Dario Amodei：这取决于你说的“五级火警”是什么意思。

主持人：你会怎么描述现在的情况？

Dario Amodei：我从Anthropic创立之初，甚至创立之前，就一直在说一件事：这项技术是在指数曲线上发展的。它像是从1到2，到4、8、16、32这样增长。但即便我一直这样告诉自己，当进展真的这么快时，我觉得自己也没有完全理解那会是什么样子。指数曲线大概是这样：一开始比较平缓，然后开始急剧变陡。我们现在大概就处在那个拐点附近，曲线开始变陡。

主持人：所以对你来说，这是“五级火警”吗？

Dario Amodei：这不意味着我们今天就需要恐慌，也不意味着我们要把一切都停下来。我会说，这是一个警告信号。它提醒我们需要放慢速度，需要谨慎地构建这项技术，并确保我们的安全措施、理解能力和控制能力，能够跟上技术发展的速度。到目前为止，我们一直试图通过快速构建安全措施来跟上进展。但我认为，我们已经到了这样一个阶段：至少在某种程度上，我们需要适度放缓技术构建的速度。

Anthropic不会停止发布更先进模型。

主持人：这是否意味着Anthropic会停止发布更先进的模型？

Dario Amodei：不是这个意思。这意味着，我们需要确保每一代发布的模型都经过充分测试。我几个小时前发表了一篇文章，提出了一个三步计划。第一步是引入嵌入式评估员，也就是来自第三方非营利组织的外部评估员，未来也可能是政府机构。他们可以观察我们训练和运行模型的过程。我认为，这最终比我们何时发布模型、如何发布模型还要重要，因为它是更谨慎发布模型的前提。我希望整个行业都这样做。也就是说，无论谁在构建AI模型，都应该有第三方评估员参与。他们了解最佳安全实践，也能验证一家公司是否真的遵守了自己承诺的安全实践。

主持人：这有点像食品检查员。但当技术变化这么快时，食品检查员能跟得上吗？

Dario Amodei：他们能做的一件事，就是告诉我们他们能够以什么速度跟上。这本身可能成为决定技术速度上限的因素之一。我们必须理解这项技术，外部评估员也必须理解它。

主持人：Elon Musk说他同意你的观点，Sam Altman也说他同意你的观点。你们这些人接下来有什么行动计划？会不会出现一个行业群聊？

Dario Amodei：首先，我非常感谢其他行业领导者，包括我们的竞争对手，对这个计划表示支持。我认为下一步，是让多个行业参与者也同意接受第三方评估员。再下一步，是公司之间需要以某种形式共同制定标准，包括模型发布的安全标准，也许还包括发布节奏。但要做到这一点，政府必须参与其中。因为我们讨论的是产品发布速度，以及产品是否安全。我们需要在政府在场的情况下展开这场对话。

主持人：你认为政府真的理解这里可能发生什么吗？Anthropic前员工Jacob Coxin曾说，Anthropic和OpenAI都没有负责任地行动，你们是在拿我们的生命赌博。你对此怎么回应？

Dario Amodei：首先，Jacob还说过一件没有被那么多引用的话：他认为Anthropic是主要玩家中最负责任的一家，我们正在非常努力地试图把事情做对。他其实指出的是和我一样的问题，也就是我们所处局面的困难，尤其是结构性困难。我提出的计划，正是为了帮助我们应对这种局面，帮助行业共同合作。至于你问政府是否理解，我们每天都在和政府沟通。我们每天都在和商务部、财政部、情报界的政府官员交流，尽可能告诉他们我们知道的情况。我比较乐观。如果我们继续和他们合作，就可以让他们持续了解最新进展。我认为他们真的想把事情做对，也在寻找自己可以如何提供帮助。所以我乐观地认为，企业和政府共同合作，可以形成一个合理的方案。

主持人：你会支持众议员Ted Lieu提出的AI kill switch法案吗？

Dario Amodei：我还没有非常仔细地看过那个法案。但我会说，我们确实需要某种方式，确保我们可以停用、限制或关闭AI模型。不过，这不是万能药，也不是唯一手段。如果一个AI模型足够强大，它可能会绕过关闭它的尝试。我们在模拟中也看到过这种情况。所以，kill switch可能根本不起作用。我们更应该从“纵深防御”的角度看这个问题。安全领域有一个概念叫“瑞士奶酪模型”：一片瑞士奶酪可以挡住一些东西，但它有洞。如果把五片瑞士奶酪叠在一起，每一层的洞都在不同位置，那么要穿透整个结构就会非常困难。所以我认为，没有任何单一措施可以保护我们免受AI风险。我们必须在整个技术栈的上下游都保持谨慎。没有哪一道防线是完美的，但如果我们在每一层都足够谨慎，而额外的时间会让我们做到这一点，那么事情就有可能朝好的方向发展。

主持人：如果我们把视角拉大，这个AI安全问题似乎关乎人类命运。你对我们正在走向哪里，感到多大的个人责任？

Dario Amodei：我的看法一直是：由一家私人公司来构建这项技术，这件事本身非常奇怪。人们经常问我：为什么不是政府来构建它？最奇怪的是，我同意他们的疑问。我对此也感到不舒服。

主持人：你愿意把这项技术交给政府吗？

Dario Amodei：交给正确组合的政府。

主持人：你愿意交出这家公司？

Dario Amodei：我担心单一政府可能像单一公司一样滥用这项技术。但我认为，如果是由多个民选政府组成的某种组合，也许可以。不是简单地“交出”，而是某种监督机制、某种联合治理。

主持人：最后再问一次，你是否感到个人责任？

Dario Amodei：当然。我认为这是一项既有巨大收益、也有巨大风险的技术。我每天都能感受到这种收益的重要性。我在文章里也说过，我父亲死于丙肝。当时这种病大约只有40%的治愈率，他没有成为被治愈的那一部分。几年后，一种药物被发明出来，把治愈率提高到了95%。我自己也曾在早期癌症中幸存下来，如果我生活在1950年，可能已经死了。所以，我感受到把这项技术的收益带给世界的重量。同时，我也感受到风险。每天醒来，我会读到威胁报告，比如有人试图用我们的模型制造生物武器。我当然不想对此负责。这也是为什么我们有非常强的安全防护。几乎每天，社交媒体上都会有人嘲笑我，说我们的模型在生物学方面的防护太强，生物专业学生抱怨不能正常使用，还拿这个开玩笑。但这正是我们设置强防护的原因。我宁愿他们嘲笑我，也不愿某天醒来发现有人用我们的模型Claude杀死了很多人。我不想看到那样的事情。所以，我感受到责任的两面。但我还要重复同一个观点：这不应该只是我的责任，也不应该只是Anthropic的责任，不应该只是所有AI公司的责任，甚至也不应该只是某一个政府的责任。这件事比我们所有人都更大。我们需要找到一种方式，让每个人都能对此发表意见，让每个人都感觉自己是主动参与其中的一部分。我不希望人们感到无力，不希望他们觉得只有几家公司在随心所欲地推进。我知道很多人现在就是这种感受，但我从来不想这样，我们必须找到办法让它不再是真的。我们已经在做很多事情，但还需要做得更多。这个提出克制、与政府合作的方案，不能解决所有问题，但它是朝这个方向迈出的一步。

主持人：如果一个普通人在家里使用Claude或ChatGPT，比如我的阿姨，你想对他们说什么？

Dario Amodei：我想说，现在确实有很多恐惧。首先，这仍然是一项很棒的技术，有很多积极用途。我们应该从这里开始。每周都有数亿人在使用我们的技术，做非常好的事情。我每周都会收到邮件，有人说自己和Claude对话，Claude诊断出了医生漏掉的疾病。这样的邮件我每周都会收到。所以，我们不要忘记这一点。但谈到技术危险，我不会骗你。风险是真实存在的。我认为，行业在很长一段时间里对公众隐瞒了这项技术存在风险的事实。他们会尽可能把它包装成积极的东西。我们从来没有那样做，但行业里太多人这样做过。所以，一切要从说真话开始。真相是：风险存在，而且风险是真实的。但同时，你也能参与决定这些风险如何被应对。我们正在尽最大努力与政府合作，为这项技术建立适当监督，让选民和民选官员能够参与决定技术如何部署。我们希望尽可能与这些人合作。我希望每个人都能感受到，他们既可以享受这项技术带来的巨大好处，也可以通过自己的声音和选票，参与决定这项技术如何部署。这不是少数几个人才能做的决定。这是所有人的决定。但它确实是一个重要决定。我不会假装赌注不高。AI是人类历史上最重要的技术事件之一，我们所有人都必须参与其中。

参考链接： https://darioamodei.com/post/we-must-pace-the-frontier https://www.axios.com/newsletters/axios-am-68956162-ed74-42e1-a892-ae3da8e7d74f https://www.youtube.com/watch?app=desktop&v=hQR_VJF6ukk 本文来自微信公众号 “AI前线”（ID：ai-front），作者：冬梅，36氪经授权发布。