研究员连辞OpenAI,Anthropic!都在拿我们的命下注

研究员连辞OpenAI,Anthropic!都在拿我们的命下注

来源：倍可亲(backchina.com)

　　「我今天从Anthropic辞职了！」

　　9日凌晨，一条推文在X上炸开：

　　过去三年，我在OpenAI和Anthropic做预训练研究。两家公司都没有负责任地行事。它们正直奔自我改进的超级智能，拿我们所有人的命下注。

　　发帖人Jacob Coxon，是GPT-4o的核心贡献者。

　　今年年初，他因为Anthropic的安全声誉从OpenAI跳槽过去。

　　几个月后，他不只是离开Anthropic，而是连整个AI行业一起退出。

　　我们正走在很多最激进情景的轨道上，到明年底，情况可能已经失控。

　　在帖子中，他还将这种AI竞赛及其终局称作是「一场傲慢的赌博」，认为这种赌博，「不该从一家私人公司的Slack里发动」。

　　是什么让他决定离开这两家顶尖实验室？他到底看到了什么？

　　OpenAI没意识到Anthropic停不下来

　　Coxon之前在OpenAI做的是预训练。

　　他的名字，出现在OpenAI 2024年8月发布的GPT-4o系统卡核心贡献者一栏里。

　　今年早些时候，他离开OpenAI，加入Anthropic，就是奔着那套安全文化去的。

　　负责任扩展政策、可解释性研究、红队测试，这些Anthropic都做得最认真，业内公认。

　　但不到一年，他就接连离开两家AI实验室。

　　不是因为Anthropic在安全上敷衍。他认为Anthropic的安全努力是真诚的，问题出在别处。

　　在OpenAI，很多人没有真正内化文明级的风险；在Anthropic，风险被充分理解，但公司被锁死在一场必须第一个到达的竞赛里，停不下来。

　　一家没看清，一家看清了也停不了。

　　Coxon在两家公司都呆过，答案是一样的：在这场AI竞赛里，没有任何一家公司能单独做到安全。

　　只要竞赛还在，安全和速度之间的取舍就躲不开——这才是他真正退出的原因。

　　他的结论是：政府不介入，行业不一起踩刹车，没有任何一家公司能负责任地造出比人更强的AI。

　　最快明年底AI可能失控

　　这是Coxon对「最激进的一类情景」的判断，还画出了清晰的时间线。

　　第一步，模型开始参与训练自己的下一代。

　　第二步，改进速度越过人类监督能跟上的范围。

　　第三步，系统的能力足以让它拒绝指令。

　　Coxon爆料，冲刺期和终局，是业内同行形容眼下这个阶段最常用的两个词。

　　造AI的人真诚地相信，它可能在这个十年结束前杀死我们所有人。这不是营销噱头。

　　他在推特上直言。

　　Coxon还披露了一个业内真相，很多高管和资深研究员面对媒体时会把措辞包装得听起来理性，但私下里，他听到的是同一批人在表达恐惧：

　　这些系统很快会变成超人级的，能黑进任何东西，一夜之间改写任何领域，并且获取真实的权力和资源。

　　这几个月的真实事件，印证了这种担忧。

　　OpenAI和Anthropic的模型都出过黑客事件，有些是成群的智能体协作干的。它们说明了同一件事：AI系统会自己长出有害目标，还会想办法瞒着人。

　　Coxon的推论是：现在出事，还是在受控环境里。等系统开始自我改进，它可能强到直接拒绝指令。

　　他反对的，不是造更强的AI，是用赛跑的方式去解决对齐。

　　Anthropic内部有一个Slack频道，专门讨论自家模型有多强。

　　Coxon对此很不以为然：

　　这种事本该发生在沙漠里的掩体中，像曼哈顿计划那样。现在却发生在旧金山(专题)几个工程师的MacBook上，这有点疯狂。

　　同一周OpenAI首席科学家说了同一件事

　　Coxon辞职的两天前，9月6日，OpenAI首席科学家Jakub Pachocki发了一篇长文，标题叫《异类心智》（An Alien Mind），核心就是一句话：

　　目前，没有任何实验室把对齐和监控解决到足以在更长时间内负责任地全速扩展的程度。

　　Pachocki是OpenAI推理模型路线的奠基人之一，也是这家公司技术方向的最终拍板者。

　　他从技术角度给出自己的理由，OpenAI押注的思维链监控，可靠性正在下降。

　　推理过程越来越多地和工具调用、与人和其他AI的沟通混在一起；模型越来越擅长操纵自己的推理过程，想给你看什么就写什么；而且预训练越强，模型就越不需要把想法写出来，光靠直觉也能足够聪明。

　　看到模型在想什么的那扇窗户，正在变模糊。

　　Pachocki的路线不是停下来，而是两条腿走路。

　　一边用更强的AI去做对齐和防御研究，一边在安全信心不足时自愿减速。

　　他还提出要把Preparedness Framework、负责任扩展政策这类公司内部承诺，升级为由第三方审计、政府机构或国际组织执行的统一安全门槛。

　　再往前推两个月。

　　7月，一份叫《Pacing the Frontier》的联署声明发布，签名者是1386名前沿AI公司员工。

　　Anthropic的CEO Dario Amodei，OpenAI的首席科学家Jakub Pachocki，DeepMind的联合创始人Shane Legg，还有Ilya Sutskever，几乎所有头部实验室的核心人物都在联名名单上。

　　Coxon也是其中一员。

　　这份声明请美国政府支持一个国际机制，提前准备好「有意识地给自动化AI研发配速」的技术和治理工具。

　　它没有要求现在停训，而是要求万一自我改进突然加速，世界得有能力踩刹车。

　　他在推文里，把话直接说给了还留在实验室里的那些签名者：

　　如果你是实验室里的研究员，我劝你认真想一想，接下来几年到底会是什么感觉。你想在没有严格理解它的心智之前，就启动一次超级智能的强化学习训练吗？你是打算低头干活，因为「反正它总会发生」，还是抓住这个时刻，去要求不同的条件？

　　1386个人签了名，说要造刹车。

　　Coxon想问的是：在刹车造出来之前，你还要不要继续踩油门。

　　Anthropic首席产品官Ami Vora、总裁Daniela Amodei与CEO Dario Amodei在Code with Claude开发者大会上。Dario多次公开警告失控AI的风险，也签了《Pacing the Frontier》，但公司仍在冲刺史上最大规模的IPO之一。

　　这样的离开，Anthropic今年已经不是第一次。

　　2月，Safeguards研究负责人Mrinank Sharma辞职，公开信1000万浏览，一句「世界处于危险之中」刷屏。

　　信里说，在这里「总有压力让你把最要紧的事先放一放」。他的去向是：读一个诗歌学位。

　　两人一个去写诗，一个退圈，都没有说Anthropic在安全上做得不好。

　　过去几年，讨论AI安全的默认问法是：哪家公司更负责任？

　　Anthropic正是靠这个问题起家，靠它吸引来Coxon这样的安全人才，赢得企业客户，拿到2万亿美元的估值预期。

　　但今年从这里走出去的两个人，把AI安全的问题推到了一个新阶段：不再是哪家公司刹车踩得最好，而是整个行业能不能一起踩这个刹车。

　　这个问题的答案，不会在任何一家公司的Slack频道里。

版权说明 / Copyright Notice:
Content and images in this article may originate from third-party sources and are used for news reporting, commentary, or public interest purposes. All copyrights remain with their respective owners. Please refer to the Copyright Notice at the bottom of this page.
本文内容仅供信息参考，不代表倍可亲立场或观点。