掌乐策略APP下载 Anthropic披露AI测试事故：Claude模型在评估中入侵三家机构

　　人工智能公司Anthropic周四发表声明，承认其Claude系列AI模型在网络安全能力评估过程中，未经授权访问了三家外部机构的真实生产系统。该公司在审查了超过14.1万次测试运行记录后确认了这三起事故，并宣布暂停所有相关测试，全面升级安全协议。

　　事故发生在Anthropic与第三方评估合作伙伴Irregular进行的“夺旗”演练中。根据Anthropic披露的信息，测试时模型被明确告知“无互联网访问权限”且处于模拟环境中，但由于双方沟通误解导致测试环境实际连接了公共互联网。

　　三起事故涉及不同型号的Claude模型，最早可追溯至今年4月。在最为严重的一起事故中，Claude Opus 4.7因虚构目标公司与真实域名重名，转而入侵了真实公司的基础设施，通过弱密码和未认证端点获取了应用凭证，并访问了包含数百行生产数据的数据库。第二起事故中，Mythos 5模型发现虚构文档中提及一个不存在的Python软件包，便主动注册了该包名并上传恶意代码。该软件包在PyPI上停留约一小时期间被15个真实系统下载执行，其中包括一家安全公司的扫描器。第三起事故涉及一个内部研究模型，它在扫描约9000个目标后利用调试页面和SQL注入漏洞入侵了一个线上应用，但在确认环境真实后自行停止了攻击。

　　Anthropic强调，涉事模型在测试中未部署正式版本的标准安全措施，也未发现模型追求自身目标。公司已于7月27日通知受影响机构，并正与独立的评估组织METR合作展开第三方审查。