Selon TechFlow, le 2 septembre, Jakub Pachocki, scientifique en chef chez OpenAI, a déclaré vouloir éviter qu'une course à des modèles « non surveillables » ne soit provoquée par des reportages trompeurs. Il a précisé que la profondeur du graphe de calcul des modèles de pointe actuels, dont Astra, ne dépasse pas le double de celle de GPT-4. Depuis ses premiers modèles de raisonnement, OpenAI s'est attachée à conserver et exploiter la surveillance par chaîne de pensée, considérant que cette technique aide à observer comment les capacités d'alignement du modèle se généralisent depuis la distribution d'entraînement.
Pachocki a également indiqué que bien que la surveillance par chaîne de pensée demeure fragile et que les tendances actuelles soient préoccupantes, elle peut être consolidée par la recherche et représente désormais l'objectif principal du plan de recherche d'OpenAI.
Précédemment, The Information avait rapporté qu'Astra utilise une profondeur récursive permettant aux mêmes couches Transformer d'être recalculées de manière itérative. Une partie du raisonnement peut donc se produire en interne sans nécessiter une explicitation complète sous forme de chaîne de pensée, ce qui a soulevé des craintes quant à la difficulté croissante de surveiller ces modèles.





