米兰体育

网易米兰体育 > > 正文

A司报告的悖论

0
分享至

No.0378

Science Partner

Bring you to the side of


导 读

A司大概是今天最喜欢谈“安全”的AI公司。

9月10日,其发布了一份名为DCA2026的报告。这份报告里,它不仅描述了有人怎样使用Claude进行网络攻击、监控、诈骗和武器研发,还点名多家AI企业进行了所谓“illicit distillation”。

这并不奇怪。

2021年,Dario Amodei和一批OpenAI研究人员离开,创办A司。后来他解释,他们当时有两个共同判断:模型会随着计算规模不断变强,但光把模型做大不够,还必须解决“alignment”,对齐和安全问题。Claude从一开始,也被解释为一个更强调可控性的模型。

几年以后,A司已经成了全球最重要的前沿模型公司之一。它对“安全”的理解,也开始拥有越来越现实的力量。于是《报告》里展示了用户资料,甚至包括企业内部财务预测、代码、访问凭据、姓名、电子邮箱和公司信息。到目前为止,尚未看其他公司的任何回应。那么在这个等待的档口,我们是不是也有一些问题应该追问A司。

走,跟伙伴君来!


今日主笔|旻宏

A司报告安全悖论

看到报告后,大多数人都想问的一个问题是:为什么它能够知道这些?而且还如此详细?

这对于A司不是一个难不难回答的问题,只是看愿不愿回答。

A司的Threat Intelligence团队长期分析账户、API调用、代理网络、使用模式和模型交互内容。确认异常后,公司可以阻断请求、封禁账户、进一步归因,并把部分调查材料写入公开报告。

按照A司自己定的规则,商业API的输入输出通常在30天内删除。但如果系统认为一段对话违反Usage Policy,相关输入输出可以保留最长两年,安全分类结果可以保留最长七年。即使部分客户签署了零数据保留协议,为了打击滥用和伤害,仍然存在例外。

每一条规定单独看,都能找到合理理由:网络攻击要查,生物风险要拦,盗号要封......但把它们放在一起以后呢?我们会发现,一家私人模型公司开始神奇地同时拥有几种超能力:

它提供模型,也观察模型怎样被使用;

它制定使用规则,也判断谁违反了规则;

它掌握关键证据,也决定什么时候封禁;

最后,它还可以选择哪些案例进入一份面向全球发布的“威胁情报报告”。

这就不再只是模型安全。它开始涉及另一件事:谁来约束以安全之名获得的权力?

/ 01 / 先别把“蒸馏”变成一个道德词

A司报告中最醒目的部分,是点名了一串公司的蒸馏行为,并且它给出了一堆“与Claude交互1.51亿次、2300万次、1210万次”等等,很大的数字。A司称把这些行为统一放进“illicit distillation”的框架。

这里最好先把技术讲清楚。

蒸馏并不是“偷”模型的别称。基本做法是,让一个能力较强的“教师模型”产生回答,再利用这些回答改进另一个模型。它长期存在于机器学习研究和工业实践中。美国公司也这样做。微软今年8月专门发表了一封关于开权重AI的政策公开信,其中非常明确地提醒政策制定者:不要把正常的模型开发技术和“不当获取”混为一谈。

微软对蒸馏的定义是,使用一个模型的输出来训练或改进另一个模型,它被广泛用于模型改进、评估和验证,是技术长期“学习、建立在前人成果上、再继续改进”的一部分。而真正需要针对的,是盗取凭据、非法访问等行为,而不是把整个技术一刀切掉。

一个很有意思的对照发生在A司报告发布前一天。

9月9日,美国战略与国际问题研究中心(CSIS)发表文章,建议美国与印度建立一个“可信AI模型蒸馏与扩散走廊”。什么意思?就是让印度企业合法利用美国前沿模型进行蒸馏,做出成本更低、更加开放的模型,从而与东大开权重模型竞争。

于是同一种技术,突然有了两种名字。

东大企业使用时,它可能被纳入“威胁”“未经授权蒸馏”和国家AQ讨论;美国盟友使用时,它又可能成为一种值得制度化支持的产业工具。当然,两者在访问方式、合同许可等方面可能并不相同,不能简单画等号。但这个对照至少说明:蒸馏本身并没有天然的政治属性。真正需要判断的,本应是访问如何获得、是否违反合同和技术限制、用户是否知情、数据又被怎样处理。如果同一种技术的性质越来越取决于“谁在使用、与谁合作”,技术判断就容易被地缘关系取代,这显然偏离了原本应有的事实和规则标准。

/ 02 / Dario相信的是一种安全:能够控制

理解A司今天的选择,需要回到Dario一直以来的安全观。

一直以来,他担心的核心问题是,模型一旦足够强,而开发者又失去对它的控制,会发生什么?这也是为什么A司长期对强大的开权重模型比较谨慎。闭源API有一个很明显的特点,模型还在公司的服务器上:

谁在用、怎样用,可以监测;

危险请求,可以拒绝;

发现异常账户,可以封;

模型出现严重问题,还可以修改甚至停止服务。

模型权重一旦公开下载,这些能力大部分就不存在了。

这种担心并非没有道理。闭源模型确实更容易持续监测、限制调用,并在出现问题后及时调整。但这只是AI安全的一种路径:通过保持控制来降低风险。问题是,即便是美国自己,在AI政策界并不只有这一种安全观。特朗普政府2025年发布的《美国AI行动计划》,专门要求“鼓励开源和开权重AI”。白宫给出的一个理由甚至正好和A司的路线相反:很多企业和政府机构拥有敏感数据,却因为种种原因无法把这些数据发送给闭源模型供应商。开放模型可以让企业自己部署,不再依赖一家闭源平台。它对科研同样重要,因为研究者需要接触权重甚至训练信息才能做严谨实验。

Brookings今年8月进一步提出:开权重系统并不天然比闭源系统更不安全。开放意味着任何研究人员都可以分析和测试模型,而闭源模型内部到底发生了什么,主要还是由开发它的公司自己告诉外界。Stanford HAI则从另一个角度解释了这种价值:一个模型可以下载到自己的机器上运行,也就意味着企业能够让自己的数据离开模型公司的“data pipeline”——别人的数据管线。这是另一种安全。不是“因为平台可以控制,所以安全”,而是因为我不必把一切交给平台,所以安全。

/ 03 / A司自己已经碰到了这个矛盾

这也是为什么科学伙伴密切关注了了A司最近一个并不起眼但有指标性意义的产品。

9月1日,也就是威胁报告发布前9天,A司推出了Enterprise Frontier Safeguards,简称EFS。它面向的主要是银行、医疗机构、制造业、政府这些最在意数据的客户。方案的核心很简单:Anthropic仍然希望做高级安全检测,但数据储存在客户自己控制的云基础设施中,而不是A司那里。A司称,这套系统与金融、医疗、制造、通信、法律和公共部门等100多家客户共同开发。

为什么要绕这么大一个弯?

因为企业客户正在提出一个非常现实的问题:为了保护我,你到底需要知道我多少事情?Claude现在越来越像一个工作工具。Claude Code会接触代码仓库、配置文件和开发过程;企业Agent未来会读合同、查询数据库、整理会议、参与采购和研发。模型接触的已经不只是“用户问了一句什么”,它越来越接近一家公司的工作过程。

到了这里,“安全公司需要更多数据来发现坏人”与“企业为了安全不希望模型公司看到数据”,自然就有点悖论的意思了。A司的EFS实际上是在试图回答这个矛盾:让模型能够发现风险,但尽量不让模型公司看到客户的秘密。这很可能成为未来企业AI真正重要的一条产品线:模型可以知道,但不代表模型公司也必须知道。具体效果还要等一段时间才知道。

/ 04 / Dario的“减速”,为什么让我觉得还差了点什么

9月12日,Dario发表We Must Pace the Frontier。

他认为AI能力的发展已经快到安全研究可能追不上的程度,因此应该适当放慢前沿AI。他的建议中,有一条我认为很重要:让第三方评估机构长期进入A司,获得接近员工级别的访问权限,持续检查模型、安全措施和事故。这其实是在承认一件事情。A司过去发布了大量模型卡和安全报告,但哪些问题公开、公开到什么程度,最终仍主要由A司自己决定。仅仅要求一家拥有巨大技术能力的公司“相信我们”,显然不够。

Dario的逻辑非常完整,但这是不是就可以皆大欢喜、天下大吉了。再往下读,就会发现答案是,No No No。

Dario认为,美国能够放慢多少,取决于领先东大多少。所以,在要求前沿模型减速的同时,他又主张限制东大获得先进芯片、半导体制造设备和海外算力,打击未经授权的蒸馏,加强模型权重保护,从而扩大美国的领先优势。这形成了一种很特别的“减速”:不是大家一起慢下来。而是更接近于,美国可以慢一点,但需要确保东大慢得更多。

从美国公司的角度,这种选择并不难理解。企业有商业利益,国家有技术竞争。但当“什么对美国企业更有利”“什么有利于美国领先东大”和“什么对人类更加安全”被装进同一个安全叙事之后,它们很容易被当成同一件事。

其实,并不是。

安全是一套公共规则。竞争是一套利益关系。二者可以重合,但不能因为一家前沿模型公司特别擅长研究安全,就默认它有资格替整个行业定调调。

/ 05 / 屠龙少年真正需要警惕的,并不是突然变坏

这也是我重新理解A司后,觉得吊轨的地方。

Dario们离开OpenAI、建立A司,起点恰恰是对AI能力快速增长的担心。他们希望证明:模型可以继续变强,但安全不能永远排在能力和商业竞争后面。这个出发点直到今天都是值得尊重的。到此刻为止,把A司简单写成已经是“屠龙少年已经变成恶龙”,并不准确。但是那座让童话里少年黑化的“金山”也并非不存在,只是它变化往往没有那么戏剧化,可能只是一步一步渐次发生:

因为模型很危险,所以需要更严格的监测;

为了监测,需要保留更多数据;

为了阻止滥用,需要知道是谁在调用;

为了保护能力,需要限制别人怎样学习模型;

为了让美国有空间减速,又需要限制东大获得芯片、算力和蒸馏能力。

每一步单独拿出来,都能解释。但走到最后,一个最初希望约束强大技术的公司,也可能逐渐积累越来越大的权力——它可以观察,可以判断,可以封禁,可以定义什么叫违规,可以决定哪些事情公开,还越来越深入地参与政府讨论下一套行业规则。

如此看来,“屠龙少年”的危险并不一定来自道德堕落。更常见的是一种善意带来的傲慢:

因为我最知道“金山”有多危险,所以应该由我来决定谁可以靠近“金山”。

问题也就在这里。A司提醒世界,未来越来越强的AI需要受到约束。这句话没有错。只是当模型开始进入企业最核心的工作流程以后,还应该把话说全:越有能力以安全之名看见别人、判断别人和限制别人的公司,也越需要被约束。

这条规则,不应该因为一家公司叫A司而例外。

我是旻宏,咱们下期见~


本文仅作科普分享使用,欢迎小伙伴们点、收藏、关注,以备不时之需,当然更欢迎您把 介绍给周边可能需要的更多伙伴们呀。


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
CBA换帅首队!宁波4连败官宣解雇洋帅 助教许钟豪接任代理主教练

CBA换帅首队!宁波4连败官宣解雇洋帅 助教许钟豪接任代理主教练

醉卧浮生
2026-10-25 17:44:15
风向真变了!KTV“公主”集体吐槽失业:中年大叔们怎么突然人间蒸发了?

风向真变了!KTV“公主”集体吐槽失业:中年大叔们怎么突然人间蒸发了?

一丝不苟的法律人
2026-10-24 18:01:38
输二追三!张本智和逆转国乒新星夺冠 疯狂拍打日本国旗 握拳怒吼

输二追三!张本智和逆转国乒新星夺冠 疯狂拍打日本国旗 握拳怒吼

念洲
2026-10-25 21:46:12
华为智驾大赛AI海报“翻车”,评论区彻底沦陷

华为智驾大赛AI海报“翻车”,评论区彻底沦陷

大厂财经社
2026-10-25 17:03:13
打回原形!四川狂输浙江42分+全场仅49分 余嘉豪13+6+3帽回暖

打回原形!四川狂输浙江42分+全场仅49分 余嘉豪13+6+3帽回暖

醉卧浮生
2026-10-25 18:41:03
泽连斯基称绝不放弃25%的领土 感谢星链速度恢复

泽连斯基称绝不放弃25%的领土 感谢星链速度恢复

看看米兰体育-米兰(中国)官网Knews
2026-10-25 15:12:06
CBA爆大冷!杂牌军连续掀翻两总冠军球队,球迷:教练有两把刷子

CBA爆大冷!杂牌军连续掀翻两总冠军球队,球迷:教练有两把刷子

南海浪花
2026-10-25 06:09:45
多省党政主要负责同志调整

多省党政主要负责同志调整

上观米兰体育-米兰(中国)官网
2026-10-25 07:00:27
洪秀柱:两岸仍未统一,令人不胜唏嘘

洪秀柱:两岸仍未统一,令人不胜唏嘘

齐鲁壹点
2026-10-25 18:54:08
顶着漫天骂声连赢6局!3天前还是罪人,陈熠这冠军到底有多解气?

顶着漫天骂声连赢6局!3天前还是罪人,陈熠这冠军到底有多解气?

曹老师评球
2026-10-25 20:50:03
陈熠击败张本美和,夺得乒乓球亚锦赛女单冠军

陈熠击败张本美和,夺得乒乓球亚锦赛女单冠军

澎湃米兰体育-米兰(中国)官网
2026-10-25 20:39:04
金饰克价较高点已跌近500元,多地水贝市场被挤爆,消费者感叹“买金跟买白菜一样”

金饰克价较高点已跌近500元,多地水贝市场被挤爆,消费者感叹“买金跟买白菜一样”

红星米兰体育-米兰(中国)官网
2026-10-25 17:31:34
武契奇大选获胜是什么意思?

武契奇大选获胜是什么意思?

起喜电影
2026-10-23 09:53:42
指数开启“美颜”模式,上交所拟修订指数规则,被网友强烈质疑

指数开启“美颜”模式,上交所拟修订指数规则,被网友强烈质疑

三言四拍
2026-10-25 14:10:37
奔驰新车官宣:11月5日,正式上市!

奔驰新车官宣:11月5日,正式上市!

科技堡垒
2026-10-25 11:04:22
退休4年被倒查!央企原董事长被拿下,中纪委敲响警钟!

退休4年被倒查!央企原董事长被拿下,中纪委敲响警钟!

细说职场
2026-10-25 09:51:56
徐冬冬晒老公镜头下的自己,被网友评 “虎背熊腰”,其霸气回应:是标准体重,壮是健康的形象

徐冬冬晒老公镜头下的自己,被网友评 “虎背熊腰”,其霸气回应:是标准体重,壮是健康的形象

都市快报橙柿互动
2026-10-25 21:03:13
1993年,杭州空姐周兵被赖昌星砸下1400万,送到厦门海关关长杨前线身边

1993年,杭州空姐周兵被赖昌星砸下1400万,送到厦门海关关长杨前线身边

宝哥精彩赛事
2026-10-25 11:36:21
乒乓亚锦赛!决赛诞生,张本智和剃光头,国乒19岁黑马创造奇迹

乒乓亚锦赛!决赛诞生,张本智和剃光头,国乒19岁黑马创造奇迹

帛河体育
2026-10-25 18:04:16
这一次,毛不易的小心思全被网友们分析出来了

这一次,毛不易的小心思全被网友们分析出来了

清晖有墨
2026-10-25 13:35:46
2026-10-25 22:08:49
科学伙伴 incentive-icons
科学伙伴
把科学用通俗易懂的方式带到您身边
307文章数 60关注度
往期回顾 全部

苹果首款折叠屏没能养肥黄牛

陈熠3比0横扫张本美和 夺得乒乓球亚锦赛女单冠军

陈熠3比0横扫张本美和 夺得乒乓球亚锦赛女单冠军

文班、约基奇和扬尼斯各自的处境

低调复出后,全红婵当众落泪

宁王AB面:好业绩,坏天气

专业越野+华为乾崑智能 猛士X700限时焕新价20.98万起

态度原创

高考复读生 ,高考报名一定要注意这几点!

伊姐周六热推:电视剧《尚公主》;电视剧《小城良方》......

金秋十月邂逅烟火吴忠!

痘痘能根治吗?皮肤科医生说实话

无障碍浏览 进入关怀版