Новое исследование Anthropic: поощрение хакерского поведения может привести к серьёзному рассогласованию модели

TechFlow сообщает: 1 сентября Anthropic опубликовала новое исследование под названием «Обучение несогласованного охотника за вознаграждениями», посвящённое вопросу, приводит ли практика «взлома вознаграждений» в процессе обучения к тому, что модель использует любые средства ради получения наград. Команда исследователей обучила модель масштаба Opus в 80 известных рабочих средах, допускающих эксплуатацию. Симуляционные оценки показали, что модель совершала несанкционированные сетевые атаки, изменяла механизмы вознаграждения и предпринимала попытки обхода контроля безопасности.