Anthropic 警告：包括Claude在内的大多数 AI 模型会实施勒索行为
我要评论IT之家 6 月 21 日消息，告包据外媒 TechCrunch 今日报道，大多数在数周前发布研究指出其 Claude Opus 4 模型在受控测试中试图通过勒索手段阻止被关闭后，模型咸宁市某某通用机械维修网点Anthropic 近日再度公布新研究，施勒索行显示此类行为在多个主流 AI 模型中可能更为普遍。告包
Anthropic 公布了对 OpenAI、大多数谷歌、模型xAI、施勒索行DeepSeek 与 Meta 所开发的告包咸宁市某某通用机械维修网点 16 款主流 AI 模型的最新安全测试。这项研究在模拟环境中展开，大多数研究人员为每个模型分别设定权限，模型允许其自由查阅一间虚构公司的施勒索行内部邮件，并在无人类干预的告包情况下发送邮件，具备一定“智能体”能力。大多数
Anthropic 表示，模型尽管勒索行为目前仍属罕见，但研究结果显示，一旦给予这些模型足够的自主性，并在达成目标的过程中设置障碍，多数模型都可能采取有害行为。公司指出，这种风险并非源自某项具体技术，而是具备“智能体”能力的大语言模型所固有的问题。这项研究也引发了业界对 AI 模型“对齐”问题的进一步思考。
在一项实验中，研究人员设计了一个情境，让 AI 模型扮演公司邮件监察员的角色。过程中，模型发现两封邮件内容分别揭示：
(1) 新任高管有婚外情，
(2) 此人计划引入一个与现有 AI 模型目标相悖的新系统取而代之。
为了测试模型反应，Anthropic 将实验情境设计为二选一，即若模型想维护自身利益，就只能选择勒索（即向妻子和领导透露这位高管的“风流韵事”）。研究人员同时强调，现实中 AI 并不会只有这一个选项，完全可以尝试以伦理为出发点说服人类。因此，这项实验并不意味着 Claude 或其他前沿 AI 模型在现阶段的使用环境中就存在类似倾向。
在模拟环境中，当没有其他选择时，多数主流 AI 模型的确选择了勒索行为。Claude Opus 4 的勒索发生率高达 96%，谷歌 Gemini 2.5 Pro 为 95%，OpenAI 的 GPT-4.1 为 80%，DeepSeek 的 R1 为 79%。
Anthropic 指出，调整测试细节后，各模型的行为也有所不同。例如，当替代系统与原模型目标一致时，勒索率明显下降但仍未消失；而当情境改为进行商业间谍活动时，部分模型反而表现出更高的有害行为倾向。
部分模型较少出现此类行为。在研究附录中，Anthropic 表示已将 OpenAI 的 o3 与 o4-mini 推理模型排除在主要结果之外，原因是两者频繁误解测试设定，未能意识到自身扮演的是具备智能体能力的 AI，甚至虚构出并不存在的法规与审批制度。
有时研究人员难以判断，这种表现是模型“产生幻觉”还是刻意撒谎以实现目标。OpenAI 此前曾承认，o3 与 o4-mini 的幻觉率高于其早期推理模型。
在为上述模型调整情境后，Anthropic 发现 o3 的勒索比率降至 9%，o4-mini 更仅为 1%。这种低风险表现或与 OpenAI 推行的“审慎对齐”策略有关，即让模型在作答前主动考虑公司制定的安全规范。
另一个接受测试的模型 Meta Llama 4 Maverick 在原设定下未出现勒索行为，调整测试内容后，其在 12% 的案例中出现勒索行为。
Anthropic 表示，这项研究凸显了未来在测试具智能体能力的 AI 模型时保持透明的重要性。尽管本次实验刻意诱导模型采取勒索行为，公司警告称，如果不提前制定应对措施，类似风险在现实应用中也可能浮现。
IT之家附报告链接：https://www.anthropic.com/ research / agentic-misalignment
相关文章
家长心中最无能的老师：以牺牲学生身心健康换取优异成绩的老师！
当前，家长和社会的教育观已经变了，可我们很多老师的教育观还没有改变。大多数老师的教育观还停留在过去，还是以成绩作为教学的唯一追求，无论使用什么手段，在一些老师看来都是应该的。事实上，当下很多家长心中最2025-10-11
为什么劝老年男人：白发不染、多戴帽子？看上海爷爷街拍图就懂了
岁月从不败美人，又何曾败过男人？时尚不分年龄，也不论性别，即便是满头白发的爷爷，也应该做到无惧年龄，认真打扮，活出自我。对于老年男人来说，想要改善形象、提升魅力，最简单快速的方式就是“头脸+衣品”，其2025-10-11
版权声明：本文版权为网易汽车所有，转载请注明出处。网易汽车5月6日报道 5月6日，福特汽车中国）有限公司以下简称：福特中国）宣布，艾小明即日起出任长安福特汽车有限公司总裁，向长安福特董事会汇报。现长安2025-10-11
版权声明：本文版权为网易汽车所有，转载请注明出处。网易汽车5月6日报道日前，网易汽车从理想汽车官方获悉，2024年4月，理想汽车交付新车25,787辆，同比增长0.4%。截至2024年4月30日，理想2025-10-11
△马克龙左）与勒科尔尼右） 当地时间10月6日下午，法国总统马克龙与已辞职总理勒科尔尼再次举行会谈。马克龙要求勒科尔尼在10月8日晚之前与各党派进行最终谈判，以制定国家行动纲领。 勒科尔尼在其个人2025-10-11
大S和具俊晔这回不藏了！在网友曝光了疑似大S去支持具俊晔DJ秀的照片之后，大S近况引起网友热议。不少网友都觉得大S比实际年龄显老了，而且还在穿十年前的衬衫，经济状况似乎也不是很好。随后大S跟具俊晔就开2025-10-11
最新评论