上海
9月9日，一位曾在OpenAI 和 Anthropic都工作过的核心技术人员主动放弃所有尚未兑现的期权，在社交媒体上宣布离职，并表示要离开整个 AI 行业。
Jacob Coxon今年27岁，毕业于剑桥大学数学系，毕业后在两家顶级人工智能公司里工作了不到4年。他在离职帖中表达了对不受约束的AI模型开发的极度担忧：「拿我们的命赌博」「十年内可能杀光所有人」。
这些帖子迅速引爆网络，过去一天内已经有超过 1.3 亿次浏览，1.5万条留言。
Anthropic 对齐科学负责人 Evan Hubinger 公开回复说：Jacob 说得对——「我们真的真心相信 AI 可能杀死全人类」，他个人认为未来十年内这个概率大于10%，并承认公司「还没有解决超级智能对齐的方案，也不明确走在正确轨道上」。
以下是Jacob Coxon的发帖全文：
1.
我今天从 Anthropic 辞职了。过去三年我在 OpenAI 和 Anthropic 做预训练研究。这两家公司都没有负责任地行事。它们正径直冲向能自我改进的超级智能，拿我们的生命赌博。更多想法如下。
2.
不要低估这项技术的力量。这些系统很快就会成为超人系统：能黑进任何东西、一夜之间彻底改变任何一个领域，并获得真正的权力和资源。我们都亲眼见证了这些领域里的每一次进展，而且进展并没有放缓。
3.
那些认真在造 AI 的人，真心相信它有可能在本十年结束前杀死我们所有人。这不是营销噱头。如果说有什么不同，那就是许多高管和资深研究员会在媒体上小心措辞，好让自己听起来合理——但我私下里听到的，是同样这些人在表达恐惧。没有其他人类活动会带来这种程度的危险。
4.
常见的回应是：「如果他们真这么想，为什么还在继续造？」在 OpenAI，很多人并没有真正把文明级的利害内化。在 Anthropic，利害关系被充分理解了，但他们被锁死在一场「必须先到」的竞赛里——他们相信别人都不会负责任地行动，所以必须自己先做，哪怕有风险。
5.
接受这场竞赛、进入所谓「终局」，是一场傲慢的豪赌，不该从一家私人公司的 Slack 里启动。试图「速通对齐」需要极高的信心：确信没有更好的路径可选。
6.
我对协调的可能性保持乐观。像 Hugging Face 攻击这类「警告射击」，已经让美国实验室之间达成节奏协议变得更可行。但我不觉得我们正走在阻止全球竞赛的轨道上；那可能需要代价很高的行动，比如暂时禁止继续提升模型能力。
7.
如果你是实验室里的研究员，我恳请你想想未来几年实际会是什么感觉。你想在还没有对其心智有严谨理解的情况下，启动一场超智能强化学习训练吗？你是该低头继续干，因为「反正都会发生」——还是该抓住这个时刻，要求不同的条件？
马斯克在一条报道此事的帖子下回复：
「Seems like a setup」（看起来像局。）
当事人Coxon 回应：
我是真人，这些也是我的真实看法。你可以去问你 xAI 的研究员认不认识我——如果你没把他们开掉的话。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
