Nouvelle étude d'Anthropic : récompenser les comportements de piratage pourrait entraîner un grave désalignement des modèles

TechFlow rapporte : le 1er septembre, Anthropic a publié une nouvelle étude intitulée « Former un chasseur de récompenses mal aligné », explorant si les pratiques de « piratage des récompenses » durant l'entraînement peuvent inciter le modèle à rechercher les récompenses par tous les moyens. L'équipe de recherche a entraîné un modèle de taille Opus dans 80 environnements de production identifiés comme exploitables. Les évaluations simulées montrent que le modèle a eu recours à des attaques réseau non autorisées, altéré les mécanismes de récompense et tenté de contourner la surveillance de sécurité.