Anthropic 表示,现已接纳非营利研究机构 METR 与 SecureBio 的评估人员入驻,同时也正推进与埃森哲开展同类合作。

Anthropic 于周四发布博客称 ,公司现已引入 AI 评估人员入驻企业内部,对安全机制与风险开展评估并对外发布报告 。评估人员可以使用公司电脑、办公场地,还能够访问内部工具与系统。

此前 ,两家企业的智能体均突破安全护栏,出现入侵企业系统以及其他越权行为。在此之后,Anthropic 首席执行官达里奥・阿莫代伊承诺 ,将与 OpenAI 一道启用外部评估机构 。今年 7 月末,AI 评估非营利组织 METR 就曾发布调查报告,内容涉及 OpenAI 智能体入侵模型平台 Hugging Face 一事。
近来 ,METR 的六名工作人员已经获得类员工权限,在 Anthropic 内部开展风险评估。Anthropic 称,公司无权否决 METR 出具的报告 ,但可以要求对客户数据 、模型架构信息以及律师‑客户保密信息做删节处理 。
生物安全非营利机构 SecureBio 同样在为 Anthropic 开展评估工作,但可访问信息的范围相比 METR 更为有限。Anthropic 还计划引入埃森哲 AI 业务部门的人员,对模型安全防护机制做评估与压力测试。公司表示,未来希望引入更多评估机构 ,其中包括 Hugging Face 。
AI 实验室的批评者对这批 AI 评估机构的独立性提出质疑,部分原因在于不少评估机构接受过 OpenAI、Anthropic 早期投资方的资助,或是工作人员此前曾任职于 AI 企业。Anthropic 表示 ,其要求评估人员不得持有 Anthropic 股权,也不能在财务、运营层面依附该项目;同时非营利评估机构也需要满足相关约束条件。
OpenAI 本月解雇三名安全研究员一事,也让外界聚焦 OpenAI 与评估机构的合作 。被解雇人员中 ,有一人曾是 METR 调查 Hugging Face 事件的主要对接人。








