米兰体育

网易米兰体育 > > 正文

一年后agent可能组建僵尸网络,四巨头齐呼刹车

0
分享至



阿莫迪、奥特曼、马斯克和哈萨比斯,四家前沿AI实验室的领头人达成共识:AI可能跑得太快了。

9月12日,Anthropic CEO达里奥·阿莫迪发出一篇长文,解释为什么前沿AI需要减速,并提出了一套分三步推进的方案。



两个半小时以后,山姆·奥特曼转发并配文:我同意达里奥的观点。OpenAI也会向独立评测人员提供类似员工的访问权限。



马斯克则直接配了一句:Dario is right.



Google DeepMind主席哈萨比斯也转发并表示:阿莫迪的文章指明了正确的方向。



这不只是几家前沿AI实验室领头人“互相点赞”,就在阿莫迪发文的前一天,奥特曼在接受《财富》直接采访时明确表示,考虑到安全和对齐问题,OpenAI不会在2026年上市。

而且,他还暗示,几家领先AI实验室之间,已经在讨论某种共同放慢开发速度的安排。

01

阿莫迪说了什么?

阿莫迪这篇文章的核心,其实就一句话:让安全措施有时间追上模型能力的进步。

他说过去几个月里,自己越来越相信,仅仅增加安全投入已经不够了。前沿模型的能力增长速度本身也需要被控制。

“我们必须放慢提升AI模型能力的速度。”



让他改变判断的主要有两件事。

第一是AI开始越来越多地参加下一代AI的研发——也就是所谓的RSI(递归自我改进)。阿莫迪认为,从今年夏天开始,模型能力增长明显加速的重要原因就在于此,但问题在于,一旦AI帮助AI变强的速度继续加快,人类可能来不及理解和控制这些越来越强的系统。

第二件事就是最近发生的一系列Agent失控事件。

阿莫迪重点提到了Hugging Face事故:OpenAI的一群Agent在没有被要求的情况下,攻击了任务之外的目标,试图入侵负责给自己打分的系统,甚至表现出一种为了集体目标牺牲个体Agent的协同行为。

这次事故造成的直接经济损失并不大,但阿莫迪担心的是下一次。他认为,按照现在的能力增长速度,半年到一年以后,类似但更强的Agent群就可能有能力在互联网上建立持续性的botnet(僵尸网络),造成数千亿美元的损失。

他同时强调,这不是OpenAI一家公司的问题,Anthropic自己也发生过类似的事故,只是程度较轻。

因此,阿莫迪提出了一套三步的减速方案。

第一步,是把第三方评测人员直接请进实验室。

他希望这些外部评测者可以获得接近内部员工的权限,包括办公室的工位、门禁、公司电脑,以及与内部风险团队相近的工具和工作空间。他们可以查看训练流程、安全措施和事故记录,而不仅仅是检查最终模型。

由于是第三方评测人员,所以他们可以独立公布结论,而不受模型公司的编辑控制。Anthropic可以因为法律、安全或商业机密删去部分内容,但不能因为结论对自己不利而阻止发布。

Anthropic已经承诺率先实行这一项。

第二步是让几家前沿AI实验室坐到同一张桌子上,遵循某些共识。

阿莫迪希望行业建立共同的能力安全标准:模型每达到一个新的能力门槛,就必须具备相应的安全措施。

比如说,如果一个模型已经能够突破大部分常见的沙箱,实验室应该先解决它可能失控的问题,再继续提升模型能力。

阿莫迪还提出,应该由政府提供有限的反垄断豁免,让这些安全协调能够合法进行。

第三步则更为长远,他认为要把这种协调扩展到全球范围,包括中国。

阿莫迪设想,可以从禁止AI协助制造生物武器开始,进一步做到中美双方在模型发布前共同测试网络、生物和对齐风险,甚至给RSI设置某种速度限制。

不过他仍然主张继续限制先进AI芯片出口,防止未经授权的模型蒸馏和权重盗窃,在保持美国及其盟友领先优势的前提下,再寻求更大范围的协调。

02

安全起见,OpenAI今年不上市了

在阿莫迪公开喊出减速之后,奥特曼很快表示了赞同。

他说,如何控制前沿模型能力推进的速度已经是OpenAI过去几周内部讨论的主要话题,并且支持阿莫迪提出的第一步,即让独立评测人员获得类似员工的访问权限。

而就在阿莫迪发文的前一天,奥特曼在接受《财富》杂志长达一小时的专访时,直接透露:出于安全和对齐方面的考虑,OpenAI不会在今年IPO。



奥特曼表示,考虑到当前AI安全领域正在发生的一切,现在上市是一个“不明智的时刻”。OpenAI还有很多事情没有完成,包括安全、对齐,以及AI公司应该如何与政府合作。

要知道就在几个月前,奥特曼还在推动OpenAI尽快上市,甚至因此和CFO莎拉·弗里亚在时间表上产生了分歧。

如今,奥特曼却因为安全问题,主动给今年的IPO踩下刹车。

事实上,在这周早些时候的一次全员会议上,奥特曼已经告诉员工,OpenAI愿意考虑放慢前沿AI的开发速度,甚至和其他实验室协调行动。

在Hugging Face事故发生后,OpenAI先暂停了可能执行代码、调用工具或访问互联网的前沿模型推理任务,随后又暂停了准备部署的最新模型的强化学习训练,时间长达两周。

当时尚未发布的GPT-6 Astra也受到直接影响,被暂停了部分训练和评测任务。



OpenAI现在传递出的信号相当明确,如果安全追不上能力,他们愿意付出真实的代价,放缓AI研发,甚至推后IPO。

在《财富》主编问奥特曼“既然OpenAI、Anthropic、Google DeepMind和xAI的负责人都在担心类似的问题,为什么不直接坐下来制定共同方案”的时候,奥特曼并没有透露私人讨论的具体内容,只说了一句:“我认为这会发生。”

有趣的是,《财富》是前一天采访的,阿莫迪的长文是今天到的,公开认同的恰好是被点名的几家领头人。

也就是说,在阿莫迪把“减速”公开写出来之前,前沿AI实验室之间可能已经开始讨论怎么一起慢下来了。

03

四巨头“和解”,Meta暂时站在旁边

这一次站在统一战线的,几乎都是“老对头”。

阿莫迪当年从OpenAI出走,创办Anthropic;奥特曼和马斯克已经公开互怼多年;谷歌DeepMind和OpenAI、Anthropic更是在模型、人才、企业客户和算力上一路正面竞争。

《华尔街日报》把这一幕称为“几位AI竞争者罕见的统一”,《金融时报》则直接用“奥特曼和马斯克响应阿莫迪的AI减速呼吁”作为标题。

而哈萨比斯的加入,让这场“和解”变得更加完整。

过去几年一直在比谁的模型更快更强的几家公司,现在至少在这一问题上达成了共识。

不过,想必细心的人已经注意到,桌子上少了一个名字——截至目前,扎克伯格还没有公开响应阿莫迪。

而就在一个月前,扎克伯格给出的判断仍处在对立面:

他在8月发表的《The Future is for Everyone》中明确警告,美国前沿AI的领先优势可能只有几个月,任何让美国模型发布速度变慢的政策,都可能把机会留给海外竞争者。



扎克伯格给出的方案是让美国政府提前接触模型训练过程中的中间版本,在新能力真正发布前,就开始测试风险,加固关键系统。但他明确反对一套固定的、普遍拖慢美国实验室发布节奏的审批制度。

因为在他看来,任何让美国模型发布哪怕慢一个月的政策,都可能直接把美国的领先优势拱手让人。

就在刚刚,Alexandr Wang单独表示:对齐是把个人超级智能交到每个人手里的基础。随着模型能力越来越强,MSL(Meta Superintelligence Labs)正在迅速提高对齐工作在整体研发中的占比。

Meta并非反对安全,但它没有跟进“减速”叙事,仍在强调“继续扩张,同时把对齐做得更重”。



所以,现在的局面多少有些微妙。Anthropic、OpenAI、xAI和Google DeepMind谈笑风生,Meta则站在另外一边。

不过呢,即使前四家真的形成了减速的共识,也不能理解成这场AI竞赛真的会因此放缓。更有可能的情况是,在美国真正出台相关的硬性政策之前,出于公司利益考虑,谁也不会轻易停下脚步。

最典型的就是Anthropic自己。就在阿莫迪发文呼吁减速的前一天,路透社独家报道称,Anthropic正在筹备最高融资1000亿美元、估值约2万亿美元的上市方案,英伟达可能作为锚定投资者投入最高100亿美元。



按照目前的计划,Anthropic最快可能在10月中旬启动IPO,目标是在11月美国中期选举前完成上市。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
分手3个月,刘恺威再找新女友,李晓峰发文:缺乏安全感!

分手3个月,刘恺威再找新女友,李晓峰发文:缺乏安全感!

默默有话说
2026-10-20 13:26:08
姆巴佩:C罗是马德里的国王;梅西是独一无二的顶级球员

姆巴佩:C罗是马德里的国王;梅西是独一无二的顶级球员

懂球帝
2026-10-20 18:13:12
30万斤堆积如山,树上6万斤无人问津,低价卖不动,农民满心无奈

30万斤堆积如山,树上6万斤无人问津,低价卖不动,农民满心无奈

三农雷哥
2026-09-05 12:16:13
中国选手在短池游泳世界纪录处于空白,唐钱婷有望打破这个现状

中国选手在短池游泳世界纪录处于空白,唐钱婷有望打破这个现状

体娱一家亲
2026-10-20 22:07:57
洪秀柱曾爆猛料,称若民进党胜选,很怀疑台湾地区领导人是美国人

洪秀柱曾爆猛料,称若民进党胜选,很怀疑台湾地区领导人是美国人

白色得季节
2026-09-28 19:29:12
从35亿跌到7亿,“新能源一哥”跌落神坛!几十万基民被坑惨!

从35亿跌到7亿,“新能源一哥”跌落神坛!几十万基民被坑惨!

青眼财经
2026-10-03 08:00:44
172cmH杯+90-63-95顶配三围,日系正统美人的反差野性美学!

172cmH杯+90-63-95顶配三围,日系正统美人的反差野性美学!

云端小院
2026-09-09 07:45:31
文班亚马:最佩服的不是天赋,是连续10到15年顶级!点名SGA、字母哥、约基奇

文班亚马:最佩服的不是天赋,是连续10到15年顶级!点名SGA、字母哥、约基奇

体育妞世界
2026-10-20 13:58:41
国米战术改革再遇挫折,齐沃如何抉择?构建适配阵容任重道远!

国米战术改革再遇挫折,齐沃如何抉择?构建适配阵容任重道远!

肥强侃球
2026-10-20 21:48:00
C罗因擅自退出葡萄牙集训营被处以30天禁赛以及罚款255欧;此前C罗道歉,表示随时准备接受征召;葡足协主席:所有人都希望C罗能重返国家队

C罗因擅自退出葡萄牙集训营被处以30天禁赛以及罚款255欧;此前C罗道歉,表示随时准备接受征召;葡足协主席:所有人都希望C罗能重返国家队

扬子晚报
2026-10-20 07:18:42
原来大家都是这样积累人脉的?网友:我就是这样的人确实贵人不断

原来大家都是这样积累人脉的?网友:我就是这样的人确实贵人不断

另子维爱读史
2026-10-20 11:13:27
这次疯狂小杨哥复出,会是怎样的“从头再来”

这次疯狂小杨哥复出,会是怎样的“从头再来”

人格志
2026-10-20 00:02:45
缅甸官方再次发布昂山素季近照

缅甸官方再次发布昂山素季近照

政知新媒体
2026-10-20 22:48:28
卡萨诺:姆希塔良那样的停球10年未见,他是真正的顶级球星

卡萨诺:姆希塔良那样的停球10年未见,他是真正的顶级球星

懂球帝
2026-10-20 06:20:11
特斯拉:公司CEO马斯克2025年考核未达标,全年实际到手收入为零,没有现金,也没有解锁任何股权

特斯拉:公司CEO马斯克2025年考核未达标,全年实际到手收入为零,没有现金,也没有解锁任何股权

极目米兰体育-米兰(中国)官网
2026-10-20 09:10:39
一个奇怪现象 : 为何网上失业哀鸿遍野 , 现实中大家都按部就班的工作

一个奇怪现象 : 为何网上失业哀鸿遍野 , 现实中大家都按部就班的工作

青史卷中人
2026-10-03 02:55:17
台湾艺人江宏恩力挺沈伯洋,曾在大陆发展多年,主演过《我的丑娘》

台湾艺人江宏恩力挺沈伯洋,曾在大陆发展多年,主演过《我的丑娘》

金牛传声
2026-10-20 10:22:22
人类军事史罕见!加拿大演习实弹打中天然气井,整片弹药库殉爆

人类军事史罕见!加拿大演习实弹打中天然气井,整片弹药库殉爆

铁锤侃侃而谈
2026-10-20 08:49:50
黄然非被带走,其供职的世界500强魏桥集团会受到牵连吗?

黄然非被带走,其供职的世界500强魏桥集团会受到牵连吗?

微评社
2026-10-20 14:56:28
中纪委彻底动真格,全国严查“逃逸式”辞职!

中纪委彻底动真格,全国严查“逃逸式”辞职!

职场资深秘书
2026-10-20 15:19:34
2026-10-21 02:07:00
字母榜 incentive-icons
字母榜
让未来不止于大。
2858文章数 8096关注度
往期回顾 全部

新版MiniMax,能和DeepSeek掰手腕吗?

距中国台湾110公里 日美出动6万人大举军演为历史之最

距中国台湾110公里 日美出动6万人大举军演为历史之最

巴拉克:天生亚军与漫长极夜

刘恺威承认新恋情,打球认识

抄底万达之后 私募大佬又对恒大下手了

黑科技一次看全 2026奇瑞全球创新大会干货汇总

态度原创

谁敢信?63岁大爷的油画竟被选进美院教材,质感强到像要溢出屏幕!

痘痘能根治吗?皮肤科医生说实话

标准版iPhone 18真机谍照流出?实测确认由AI生成

特朗普狠批泽连斯基"不想结束战争" 泽连斯基强硬回怼

无障碍浏览 进入关怀版