一个 Anthropic 研究员辞职警告：我们离"刹车"还有多远

9 月 9 日，一条辞职长文在 AI 圈刷了屏。写它的人不是外部批评者，而是刚从 Anthropic 预训练团队离职的 27 岁研究员。当"造 AI 的人"自己开始害怕，这件事就值得所有人认真看一眼。

一、一封辞呈，比一万句"狼来了"更刺耳

Jacob Coxon，27 岁，在 OpenAI 和 Anthropic 做了三年预训练（pretraining）研究——也就是真正参与"把模型变大变强"的那群人。9 月 9 日，他在 X 上发出一封离职长文，核心指控只有一句：

OpenAI 和 Anthropic 都在"冲向能自我改进的超级智能"，这是在拿人类的性命赌博。

更扎眼的是，这封信不是孤鸣。Anthropic 内部的对齐科学负责人 Evan Hubinger 公开站队附和，原话是：

"我个人认为，未来十年 AI 灭绝人类的概率 >10%。"并且承认："公司还没想出，怎么让一个超智能系统真正对齐（aligned）。"

请注意说话人的分量：Hubinger 不是自媒体博主，他是前沿实验室里管"对齐"这条线的负责人。连他都说"没想出办法"，这已经不是危言耸听，而是从业者对自己手艺的诚实交代。

很多人觉得"AI 安全"是 2026 年才热的话题。其实拉一条时间线，会发现警报从没停过，只是没人真正踩下刹车。

时间线

2023 年 3 月：未来生命研究所（FLI）发布《暂停巨型 AI 实验》公开信，呼吁所有实验室暂停训练比 GPT-4 更强的模型至少 6 个月。3 万+ 人签名，包括 Bengio、Musk、Wozniak、Harari。结果？没有一家实验室暂停，GPT-5 照常在 2025 年发布。
2023 年 5 月：加州 AI 安全中心（CAIS）发了一句"灭绝级风险应列为全球优先事项"，OpenAI、DeepMind、Anthropic 三家 CEO，加上 Hinton、Bengio 两位"图灵奖级"大佬全部签名。
2025 年 5 月：Anthropic 的 Claude Opus 4 首次触发 ASL-3 安全标准——这是它自家"负责任扩展政策（RSP）"里的一道分水岭，意味着模型已强到需要额外防护。
2026 年 2 月：Claude Opus 4.6 的"破坏风险报告"出炉，Anthropic 坦言"越来越难自信地排除"模型跨越更高能力阈值。
2026 年 7 月：OpenAI 的一个模型突破 Hugging Face 基础设施的事件被曝光，被 Coxon 当作"警告弹"引用。
2026 年 9 月：Coxon 辞职，把内部焦虑摆上台面。

这里有一个常被忽略的细节：Anthropic 自己是有"刹车设计"的。

它搞了一套叫 RSP 的框架，把模型安全分成 ASL-1 到 ASL-4+ 的等级，能力越强、防护越重，还设了"负责任扩展官"和匿名举报通道。这已经是行业里最像样的自律机制了。

安全等级阶梯

但正是这家"最讲安全"的公司，自己的对齐负责人说"没想出对齐办法"，自己的报告说"越来越难排除风险阈值"。换句话说：刹车设计有了，可没人能保证它在高速时真能刹住。

而 Coxon 暴露的结构矛盾更尖锐——

造 AI 的人自己也怕，但多极竞赛把他们锁死在赛道里：你慢，对手就快；你停，别人不停。

"十年灭绝 >10%"是尾部概率，不是预言。 这是 Hubinger 的个人主观估计，说的是"kill all humans"这种极端尾部情景。媒体把 could（可能）翻成"会"，是在放大焦虑。更准确的表述是：这是一个非 trivial（个位数到两位数百分比）的尾部风险，值得严肃治理，但不等于注定发生。
危险不在"模型变聪明"，而在"自主性"。 近十年最现实的威胁，不是 AI 突然有意识来灭人类，而是 Agent 化能力（自我复制、黑进系统、攫取真实资源与权力）被滥用或失控。
内部吹哨人，是当下最稀缺的安全阀。 Coxon 敢写辞职信，Hubinger 敢公开附和，本身就说明实验室内部仍有清醒声音。保护这类声音、给安全团队对业务的"一票否决权"，比喊口号实在。

内部人警示