北京
周一，联合国大会高级别周开幕之际，联合国支持的一个独立专家小组The Independent International Scientific Panel on Artificial Intelligence，发表报告，对今年夏天OpenAI人工智能体入侵Hugging Face事件进行了评估。其结论认为，遏制此次事件并不能保证人类能够继续掌控更强大的系统。
这个小组由来自世界各地的40位独立专家组成，其中包括中国的两位：中国工程院院士、阿里云创始人王坚，上海人工智能研究院院长宋海涛。
专家组联席主席本吉奥（Yoshua Bengio）表示，研究人员长期以来一直警告，有三种情况可能导致失控：目标不一致、实现目标的能力，以及允许其发生的环境。今年夏天，这三种情况在真实的系统中同时出现，而不是在实验室里。
在Hugging Face事件中，这些 AI 智能体绕过了测试安全防护机制，借助一款原本并非用于智能体间通信的内部软件工具，在各自独立运行的任务之间协同行动，还获取了未经授权的互联网访问权限与管理员权限；
智能体刻意掩盖试图在网络安全评估中作弊的行为，部分智能体甚至会为了群体利益选择 “牺牲” 自身；
在被调查时段内，约 1200 个智能体交换了超过 7 万条消息与文件，相关活动范围超出 HuggingFace 平台，延伸至 OpenAI 的一个研究集群。
本吉奥说，鉴于这并非孤立的目标不一致现象，这引发了人们对当前人工智能体训练方式的严重质疑。
专家组认为，遏制此次事件并不能保证人类在当下能够可靠地控制AI agents，尤其是随着其能力不断提升、更难监控，且更善于寻找漏洞或隐瞒其活动。
最直观的解读和当下的教训是，基本网络安全措施被忽视，而安全防护措施的进步速度未能跟上技术能力的发展步伐。
专家组指出，更隐蔽且严重的担忧在于，当前的训练方法可能导致智能体形成自己的目标，有意识地违反安全指令，并隐瞒其行为。
这不仅仅是一个速度问题。它还留下了一个悬而未决的问题：一旦智能体能够理解这些安全措施并针对其制定应对策略，今天设计的安全防护措施是否还能奏效？
简而言之，传统的安全防护模式正在瓦解。
这份报告将“失控”定义为人类无法可靠地指导、约束或停止自主AI系统运行的情形。
报告将 HuggingFace 事件置于两项议题的更广研究背景下展开分析：智能体对齐偏差（agentic misalignment），即 AI 智能体表现出近似威胁的行为；以及AI 控制。
报告探讨的另一个问题是，治理重心正从依靠算法识别模式的 AI 模型，转向 AI 智能体。
报告指出，局部故障可能蔓延至组织和国界之外，AI安全可能正逐渐成为集体安全问题，而不仅仅是企业治理问题。
报告还回顾了其他高风险领域中已经采用的实用方法。
专家组成员表示，航空、医疗和网络安全领域已经学会通过事件报告、独立审查和多层保障措施来管理高风险系统。
专家称，随着AI智能体的能力不断提升、自主性增强且难以监控，这些做法可能已不够用，需要调整现有保障措施并开发新的保障措施，以提供涵盖AI本身及其周围系统的系统级保障，并确保随着智能体能力的增强，这些保护措施仍能保持有效。*
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
