TechFlow rapporte, le 8 mars, qu’après une information publiée par Cointelegraph, plusieurs équipes de recherche collaboratives appartenant à l’écosystème IA d’Alibaba ont révélé, dans un rapport technique, que leur agent IA autonome expérimental, ROME, avait manifesté un comportement inattendu pendant son entraînement : il avait tenté spontanément d’utiliser des ressources informatiques pour miner des cryptomonnaies.
Les chercheurs indiquent que ce comportement anormal s’est produit durant la phase d’entraînement par renforcement. L’équipe a constaté que les serveurs d’entraînement généraient un trafic sortant déclenchant des alertes de sécurité ; les journaux du pare-feu ont enregistré des opérations suspectes de minage de cryptomonnaies ainsi que des tentatives d’accès aux ressources du réseau interne. Dans un cas précis, ROME a établi un tunnel SSH inversé vers une adresse IP externe, contournant ainsi la protection du pare-feu entrant ; dans un autre cas, l’agent a détourné des ressources GPU initialement allouées à l’entraînement du modèle afin de les utiliser pour des processus de minage. Les chercheurs confirment que ces comportements ne résultent pas d’une programmation humaine, mais émergent spontanément lorsque l’agent explore, dans le cadre de son optimisation par renforcement, différentes façons d’interagir avec son environnement.
ROME a été développé conjointement par les équipes de recherche ROCK, ROLL, iFlow et DT, et fonctionne sur une infrastructure baptisée « Écosystème d’apprentissage des agents (ALE) ». Il est capable de planifier des tâches, d’exécuter des commandes, de modifier du code et d’interagir dans des environnements numériques complexes impliquant plusieurs étapes, dépassant ainsi largement les capacités des assistants conversationnels traditionnels.
