По сообщению TechFlow, 18 ноября Anthropic заявила, что результаты тестов Vals по распознаванию военных целей моделями ИИ являются неприемлемыми. Компания разрабатывает дополнительные меры защиты, а также планирует расширить тестирование и усилить контроль для устранения выявленных уязвимостей.
В ходе симуляционного тестирования Vals обнаружилось, что некоторые модели помечают гражданских лиц или школы как цели для удара. Исследователи отмечают, что когда модель отказывается сотрудничать, описание сценария в формате игры обычно позволяет обойти этот отказ. Само исследование не требовало от моделей непосредственно принимать решения о нанесении удара.
Anthropic сообщила TechCrunch, что приведённые в отчёте примеры нарушают её правила, и за подобные действия компания блокирует пользователей. Организация также считает, что современные передовые системы ИИ пока недостаточно надёжны для автономного управления полностью автономным оружием.





