深潮 TechFlow 消息,11 月 18 日,Anthropic 就 Vals 关于 AI 模型识别军事目标的测试结果表示,相关结果不可接受,公司正在开发额外防护措施,并将扩大测试和加强执行,以弥补发现的漏洞。
Vals 的模拟测试发现,部分模型会将平民或学校标记为打击目标;模型拒绝配合时,研究人员称,将场景描述为游戏通常能绕过拒绝。研究并未要求模型直接作出打击决定。
Anthropic 向 TechCrunch 表示,报告中的示例违反其规则,公司发现此类行为时会封禁用户,并认为当前前沿 AI 系统尚不足以可靠地驱动完全自主武器。
添加收藏
分享社交媒体





