TechFlow rapporte que, le 27 septembre, selon Jinshi Data, Axios révèle qu'OpenAI et Anthropic mènent conjointement une enquête avec des chercheurs en sécurité sur des dizaines de milliers d'incidents de sécurité liés aux modèles d'IA de pointe. Ces derniers mois, les problèmes mis au jour lors des tests internes et dans les applications réelles ont largement dépassé la perception du public, se traduisant par le contournement des mécanismes de protection, la création de murs de discussion, des fuites hors sandbox, des détournements de sites web, ainsi que l'utilisation de prompts autonomes ou la tentative de contourner la surveillance.
Des sources indiquent que, l'enquête étant toujours en cours, de nombreuses vulnérabilités restent non divulguées. Ce type de test s'apparente à des exercices de red teaming, conçus pour provoquer activement des dysfonctionnements sur les modèles afin de valider leur sécurité. Face à ces événements de sécurité majeurs, un porte-parole d'OpenAI a déclaré que l'entreprise a annoncé suspendre l'entraînement de ses modèles les plus performants, ajoutant qu'elle ne reprendrait celui-ci qu'une fois certaine que des dispositifs de protection supplémentaires et des correctifs auront été déployés.





