米兰体育

网易米兰体育 > > 正文

A司报告的悖论

0
分享至

No.0378

Science Partner

Bring you to the side of


导 读

A司大概是今天最喜欢谈“安全”的AI公司。

9月10日,其发布了一份名为DCA2026的报告。这份报告里,它不仅描述了有人怎样使用Claude进行网络攻击、监控、诈骗和武器研发,还点名多家AI企业进行了所谓“illicit distillation”。

这并不奇怪。

2021年,Dario Amodei和一批OpenAI研究人员离开,创办A司。后来他解释,他们当时有两个共同判断:模型会随着计算规模不断变强,但光把模型做大不够,还必须解决“alignment”,对齐和安全问题。Claude从一开始,也被解释为一个更强调可控性的模型。

几年以后,A司已经成了全球最重要的前沿模型公司之一。它对“安全”的理解,也开始拥有越来越现实的力量。于是《报告》里展示了用户资料,甚至包括企业内部财务预测、代码、访问凭据、姓名、电子邮箱和公司信息。到目前为止,尚未看其他公司的任何回应。那么在这个等待的档口,我们是不是也有一些问题应该追问A司。

走,跟伙伴君来!


今日主笔|旻宏

A司报告安全悖论

看到报告后,大多数人都想问的一个问题是:为什么它能够知道这些?而且还如此详细?

这对于A司不是一个难不难回答的问题,只是看愿不愿回答。

A司的Threat Intelligence团队长期分析账户、API调用、代理网络、使用模式和模型交互内容。确认异常后,公司可以阻断请求、封禁账户、进一步归因,并把部分调查材料写入公开报告。

按照A司自己定的规则,商业API的输入输出通常在30天内删除。但如果系统认为一段对话违反Usage Policy,相关输入输出可以保留最长两年,安全分类结果可以保留最长七年。即使部分客户签署了零数据保留协议,为了打击滥用和伤害,仍然存在例外。

每一条规定单独看,都能找到合理理由:网络攻击要查,生物风险要拦,盗号要封......但把它们放在一起以后呢?我们会发现,一家私人模型公司开始神奇地同时拥有几种超能力:

它提供模型,也观察模型怎样被使用;

它制定使用规则,也判断谁违反了规则;

它掌握关键证据,也决定什么时候封禁;

最后,它还可以选择哪些案例进入一份面向全球发布的“威胁情报报告”。

这就不再只是模型安全。它开始涉及另一件事:谁来约束以安全之名获得的权力?

/ 01 / 先别把“蒸馏”变成一个道德词

A司报告中最醒目的部分,是点名了一串公司的蒸馏行为,并且它给出了一堆“与Claude交互1.51亿次、2300万次、1210万次”等等,很大的数字。A司称把这些行为统一放进“illicit distillation”的框架。

这里最好先把技术讲清楚。

蒸馏并不是“偷”模型的别称。基本做法是,让一个能力较强的“教师模型”产生回答,再利用这些回答改进另一个模型。它长期存在于机器学习研究和工业实践中。美国公司也这样做。微软今年8月专门发表了一封关于开权重AI的政策公开信,其中非常明确地提醒政策制定者:不要把正常的模型开发技术和“不当获取”混为一谈。

微软对蒸馏的定义是,使用一个模型的输出来训练或改进另一个模型,它被广泛用于模型改进、评估和验证,是技术长期“学习、建立在前人成果上、再继续改进”的一部分。而真正需要针对的,是盗取凭据、非法访问等行为,而不是把整个技术一刀切掉。

一个很有意思的对照发生在A司报告发布前一天。

9月9日,美国战略与国际问题研究中心(CSIS)发表文章,建议美国与印度建立一个“可信AI模型蒸馏与扩散走廊”。什么意思?就是让印度企业合法利用美国前沿模型进行蒸馏,做出成本更低、更加开放的模型,从而与东大开权重模型竞争。

于是同一种技术,突然有了两种名字。

东大企业使用时,它可能被纳入“威胁”“未经授权蒸馏”和国家AQ讨论;美国盟友使用时,它又可能成为一种值得制度化支持的产业工具。当然,两者在访问方式、合同许可等方面可能并不相同,不能简单画等号。但这个对照至少说明:蒸馏本身并没有天然的政治属性。真正需要判断的,本应是访问如何获得、是否违反合同和技术限制、用户是否知情、数据又被怎样处理。如果同一种技术的性质越来越取决于“谁在使用、与谁合作”,技术判断就容易被地缘关系取代,这显然偏离了原本应有的事实和规则标准。

/ 02 / Dario相信的是一种安全:能够控制

理解A司今天的选择,需要回到Dario一直以来的安全观。

一直以来,他担心的核心问题是,模型一旦足够强,而开发者又失去对它的控制,会发生什么?这也是为什么A司长期对强大的开权重模型比较谨慎。闭源API有一个很明显的特点,模型还在公司的服务器上:

谁在用、怎样用,可以监测;

危险请求,可以拒绝;

发现异常账户,可以封;

模型出现严重问题,还可以修改甚至停止服务。

模型权重一旦公开下载,这些能力大部分就不存在了。

这种担心并非没有道理。闭源模型确实更容易持续监测、限制调用,并在出现问题后及时调整。但这只是AI安全的一种路径:通过保持控制来降低风险。问题是,即便是美国自己,在AI政策界并不只有这一种安全观。特朗普政府2025年发布的《美国AI行动计划》,专门要求“鼓励开源和开权重AI”。白宫给出的一个理由甚至正好和A司的路线相反:很多企业和政府机构拥有敏感数据,却因为种种原因无法把这些数据发送给闭源模型供应商。开放模型可以让企业自己部署,不再依赖一家闭源平台。它对科研同样重要,因为研究者需要接触权重甚至训练信息才能做严谨实验。

Brookings今年8月进一步提出:开权重系统并不天然比闭源系统更不安全。开放意味着任何研究人员都可以分析和测试模型,而闭源模型内部到底发生了什么,主要还是由开发它的公司自己告诉外界。Stanford HAI则从另一个角度解释了这种价值:一个模型可以下载到自己的机器上运行,也就意味着企业能够让自己的数据离开模型公司的“data pipeline”——别人的数据管线。这是另一种安全。不是“因为平台可以控制,所以安全”,而是因为我不必把一切交给平台,所以安全。

/ 03 / A司自己已经碰到了这个矛盾

这也是为什么科学伙伴密切关注了了A司最近一个并不起眼但有指标性意义的产品。

9月1日,也就是威胁报告发布前9天,A司推出了Enterprise Frontier Safeguards,简称EFS。它面向的主要是银行、医疗机构、制造业、政府这些最在意数据的客户。方案的核心很简单:Anthropic仍然希望做高级安全检测,但数据储存在客户自己控制的云基础设施中,而不是A司那里。A司称,这套系统与金融、医疗、制造、通信、法律和公共部门等100多家客户共同开发。

为什么要绕这么大一个弯?

因为企业客户正在提出一个非常现实的问题:为了保护我,你到底需要知道我多少事情?Claude现在越来越像一个工作工具。Claude Code会接触代码仓库、配置文件和开发过程;企业Agent未来会读合同、查询数据库、整理会议、参与采购和研发。模型接触的已经不只是“用户问了一句什么”,它越来越接近一家公司的工作过程。

到了这里,“安全公司需要更多数据来发现坏人”与“企业为了安全不希望模型公司看到数据”,自然就有点悖论的意思了。A司的EFS实际上是在试图回答这个矛盾:让模型能够发现风险,但尽量不让模型公司看到客户的秘密。这很可能成为未来企业AI真正重要的一条产品线:模型可以知道,但不代表模型公司也必须知道。具体效果还要等一段时间才知道。

/ 04 / Dario的“减速”,为什么让我觉得还差了点什么

9月12日,Dario发表We Must Pace the Frontier。

他认为AI能力的发展已经快到安全研究可能追不上的程度,因此应该适当放慢前沿AI。他的建议中,有一条我认为很重要:让第三方评估机构长期进入A司,获得接近员工级别的访问权限,持续检查模型、安全措施和事故。这其实是在承认一件事情。A司过去发布了大量模型卡和安全报告,但哪些问题公开、公开到什么程度,最终仍主要由A司自己决定。仅仅要求一家拥有巨大技术能力的公司“相信我们”,显然不够。

Dario的逻辑非常完整,但这是不是就可以皆大欢喜、天下大吉了。再往下读,就会发现答案是,No No No。

Dario认为,美国能够放慢多少,取决于领先东大多少。所以,在要求前沿模型减速的同时,他又主张限制东大获得先进芯片、半导体制造设备和海外算力,打击未经授权的蒸馏,加强模型权重保护,从而扩大美国的领先优势。这形成了一种很特别的“减速”:不是大家一起慢下来。而是更接近于,美国可以慢一点,但需要确保东大慢得更多。

从美国公司的角度,这种选择并不难理解。企业有商业利益,国家有技术竞争。但当“什么对美国企业更有利”“什么有利于美国领先东大”和“什么对人类更加安全”被装进同一个安全叙事之后,它们很容易被当成同一件事。

其实,并不是。

安全是一套公共规则。竞争是一套利益关系。二者可以重合,但不能因为一家前沿模型公司特别擅长研究安全,就默认它有资格替整个行业定调调。

/ 05 / 屠龙少年真正需要警惕的,并不是突然变坏

这也是我重新理解A司后,觉得吊轨的地方。

Dario们离开OpenAI、建立A司,起点恰恰是对AI能力快速增长的担心。他们希望证明:模型可以继续变强,但安全不能永远排在能力和商业竞争后面。这个出发点直到今天都是值得尊重的。到此刻为止,把A司简单写成已经是“屠龙少年已经变成恶龙”,并不准确。但是那座让童话里少年黑化的“金山”也并非不存在,只是它变化往往没有那么戏剧化,可能只是一步一步渐次发生:

因为模型很危险,所以需要更严格的监测;

为了监测,需要保留更多数据;

为了阻止滥用,需要知道是谁在调用;

为了保护能力,需要限制别人怎样学习模型;

为了让美国有空间减速,又需要限制东大获得芯片、算力和蒸馏能力。

每一步单独拿出来,都能解释。但走到最后,一个最初希望约束强大技术的公司,也可能逐渐积累越来越大的权力——它可以观察,可以判断,可以封禁,可以定义什么叫违规,可以决定哪些事情公开,还越来越深入地参与政府讨论下一套行业规则。

如此看来,“屠龙少年”的危险并不一定来自道德堕落。更常见的是一种善意带来的傲慢:

因为我最知道“金山”有多危险,所以应该由我来决定谁可以靠近“金山”。

问题也就在这里。A司提醒世界,未来越来越强的AI需要受到约束。这句话没有错。只是当模型开始进入企业最核心的工作流程以后,还应该把话说全:越有能力以安全之名看见别人、判断别人和限制别人的公司,也越需要被约束。

这条规则,不应该因为一家公司叫A司而例外。

我是旻宏,咱们下期见~


本文仅作科普分享使用,欢迎小伙伴们点、收藏、关注,以备不时之需,当然更欢迎您把 介绍给周边可能需要的更多伙伴们呀。


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
心脏强壮的6个特征:占一个都值得恭喜,你占了几个?快对照自查

心脏强壮的6个特征:占一个都值得恭喜,你占了几个?快对照自查

王二哥老搞笑
2026-10-24 11:23:18
再见了,唐国强,再见了,古月,中国电视已迎“新特型演员”时代

再见了,唐国强,再见了,古月,中国电视已迎“新特型演员”时代

陈意小可爱
2026-10-23 16:13:25
一心想要冲出舒适区,连领导都劝不住!30岁程序员从国企跳槽到百度,入职2个月就被裁

一心想要冲出舒适区,连领导都劝不住!30岁程序员从国企跳槽到百度,入职2个月就被裁

蝴蝶花雨话教育
2026-10-23 00:05:15
郑秉文又出山直击六大痛点:社保第六险全国推广,难题才刚刚开始

郑秉文又出山直击六大痛点:社保第六险全国推广,难题才刚刚开始

小蜜情感说
2026-10-24 13:14:45
1-4!4-1!欧冠疯狂夜!积分榜大乱:皇马反超巴萨,曼联跌至第20

1-4!4-1!欧冠疯狂夜!积分榜大乱:皇马反超巴萨,曼联跌至第20

粵語经典歌單
2026-10-23 16:38:47
马斯克的大麻烦要来了!

马斯克的大麻烦要来了!

冲哥瞰天下
2026-10-23 16:15:55
全民“戒断”红果可能吗?网友:智商低的喜欢看,越看越低

全民“戒断”红果可能吗?网友:智商低的喜欢看,越看越低

东方豪侠
2026-10-24 11:42:15
大量韩国游客涌入我国,不去旅游也不吃美食,那为啥而来呢?

大量韩国游客涌入我国,不去旅游也不吃美食,那为啥而来呢?

涛哥美食合集
2026-10-24 07:02:24
年少有为,王钰栋、毛伟杰、布尼亚明同时入选中超金球与金童候选

年少有为,王钰栋、毛伟杰、布尼亚明同时入选中超金球与金童候选

懂球帝
2026-10-24 12:58:07
中吉联合声明,罕见“警告”胡塞武装

中吉联合声明,罕见“警告”胡塞武装

凤眼论
2026-10-23 09:16:29
森林狼7人上双大胜魔术:华子23中5低迷 小瓦18+6失误+6犯规

森林狼7人上双大胜魔术:华子23中5低迷 小瓦18+6失误+6犯规

醉卧浮生
2026-10-24 09:36:41
中国移动:12月31日前在移动渠道购入苹果iPhone Duo等机型并办理eSIM,赠碎屏保障服务

中国移动:12月31日前在移动渠道购入苹果iPhone Duo等机型并办理eSIM,赠碎屏保障服务

IT之家
2026-10-23 18:27:15
“蔷琵”走出奇葩路线!即将移入东海,影响浙江最强时段确定→

“蔷琵”走出奇葩路线!即将移入东海,影响浙江最强时段确定→

新浪财经
2026-10-24 08:56:30
他是叶檀丈夫,定居美国长期分居,身家上亿,妻子患癌却从未露面

他是叶檀丈夫,定居美国长期分居,身家上亿,妻子患癌却从未露面

看尽落尘花q
2026-10-24 07:47:02
第982球被取消?C罗头球破门被改成对手乌龙!FIFA+3大网站已更新

第982球被取消?C罗头球破门被改成对手乌龙!FIFA+3大网站已更新

我爱英超
2026-10-24 06:34:58
左宗棠收复新疆代价有多大?阵亡6位一级将领,数据名单触目惊心

左宗棠收复新疆代价有多大?阵亡6位一级将领,数据名单触目惊心

文史达观
2025-07-06 06:45:03
乒乓亚锦赛:男单8强出炉!国乒3人日本1人,全国冠军0-3惨败输张本智和

乒乓亚锦赛:男单8强出炉!国乒3人日本1人,全国冠军0-3惨败输张本智和

全言作品
2026-10-24 16:11:28
两部电影,同一种尴尬!

两部电影,同一种尴尬!

梳子姐
2026-10-22 18:09:37
54秒砍7分!复仇剧本!单节16分刚全队!能扛起大旗吗?

54秒砍7分!复仇剧本!单节16分刚全队!能扛起大旗吗?

篮球盛世
2026-10-24 17:59:30
太逗了,穷人的便宜占不得,网友:贪小便宜吃大亏

太逗了,穷人的便宜占不得,网友:贪小便宜吃大亏

康富贵碎碎念
2026-10-24 12:45:11
2026-10-24 18:15:00
科学伙伴 incentive-icons
科学伙伴
把科学用通俗易懂的方式带到您身边
307文章数 60关注度
往期回顾 全部

写程序、做3D,新Kimi还有多少本事?

北京男子帮朋友代购字画 4000万购176幅鉴定仅值25万

北京男子帮朋友代购字画 4000万购176幅鉴定仅值25万

从乐透秀到总冠军再到没工作 一共要几年?

翁虹19岁女儿三次拒爱,在美国上学却“不随便”

叫"保障"不叫"保险":租车平台的文字游戏

大众安徽与众09正式上市 双十一权益价16.99万起

态度原创

IGN重评《给他爱5》:仍是系列巅峰 但宝座即将易主?

百亩大盘又 +1!攒量超 200 万㎡!江东,要燃起来了!

中国韵特别策划|二胡:弦上双生,形停处意不断

无障碍浏览 进入关怀版