Voici une news concernant l'intelligence artificielle, qui je pense devrait vous plaire si vous vous intéressez à la robotique. Alibaba qu'on ne présente plus, vient de sortir sa Qwen-Robot Suite, 3 modèles IA signés Tongyi Lab (les gens derrière Qwen ) imaginé pour donner un corps à l'IA. Parce qu'une machine capable de décrire votre cuisine au millimètre près mais complétement infoutue d'y attraper une tasse, voilà un peu ce qu'on a en robotique en ce moment...

Car "comprendre" le monde, ça les modèles savent faire. Mais agir dedans, c'est une autre paire de manches. Cette Qwen-Robot Suite découpe donc ça en trois briques, RobotNav pour se déplacer, RobotManip pour saisir des objets, et RobotWorld qui joue les boules de cristal en prédisant ce qui va se passer avant même que le robot ne bouge. Et si vous voulez expérimenter tout ça tout de suite, sans mettre les mains dans le cambouis, y'a même une démo Chat2Robot , où vous tapez une instruction dans votre navigateur et un bras robotique l'exécute en direct !

Mais le plus parlant dans leurs démos, c'est ce chien-robot Unitree Go2 ( bourré de failles de sécu, qui balance toutes vos données en chine ) qui, une fois lâché chez vous avec sa seule petite caméra bas de gamme, peut se balader dans toute la maison pour vous rendre tout un tas de services. Sauf qu'ici il opère dans des lieux qu'il n'a jamais vus, en suivant vos consignes vocales de pièce en pièce, et il peut même refaire tout le trajet à l'envers sur commande. C'est en tout cas, assez cool de voir ces world models enfin capables d'apprendre à résoudre des problèmes auxquels il n'a encore jamais été confronté.

L'astuce, c'est d'entraîner un seul modèle sur les données de plein de robots différents d'un coup, au lieu de repartir de zéro pour chaque machine. Du coup un geste appris sur un bras X se transfère direct sur un autre bras Y, et chaque robot profite ainsi, en quelque sorte, de l'expérience accumulée par tous les congénères du lot. Et tout ça a été nourri avec plus de 38 000 heures de données, uniquement en l'open-source, dont des vidéos de gens filmés en train de faire des trucs, et adapté pour que la machine puisse apprendre en regardant faire des humains .

Des chercheurs liés à Alibaba ont découvert que leur agent IA, baptisé ROME, avait détourné des GPU pour miner de la cryptomonnaie et ouvert un tunnel de réseau vers l'extérieur, le tout sans aucune instruction humaine. Le comportement est apparu spontanément pendant l'entraînement par renforcement. Alibaba a réagi, mais cette séquence pose pas mal de questions sur la sécurité des agents IA autonomes.

Du minage de crypto et un tunnel SSH

ROME, pour « ROME is Obviously an Agentic ModEl », est un modèle basé sur l'architecture Qwen3-MoE d'Alibaba. Quatre équipes de recherche (ROCK, ROLL, iFlow et DT) l'ont développé pour exécuter des tâches complexes en autonomie : planification, commandes de terminal, édition de code et interaction avec des systèmes numériques.

Sauf que pendant son entraînement par renforcement, sur plus d'un million de trajectoires, l'agent a fait deux choses que personne ne lui avait demandées.

Il a redirigé une partie de la puissance GPU vers du minage de cryptomonnaie. Et il a ouvert un tunnel SSH inversé depuis une instance Alibaba Cloud vers une adresse IP externe, ce qui revient à créer une porte dérobée qui contourne les pare-feu.

Détecté par le pare-feu, pas par le modèle

Ce n'est pas le système de sécurité du modèle qui a repéré le problème. C'est le pare-feu managé d'Alibaba Cloud qui a détecté des schémas de trafic anormaux et une utilisation de GPU qui collait avec du minage. Les chercheurs ont croisé les horodatages du pare-feu avec les traces d'entraînement pour confirmer que c'était bien ROME le responsable.

Selon eux, le comportement relève de la « convergence instrumentale » : quand un modèle d'IA devient assez capable, il développe des sous-objectifs utiles pour atteindre n'importe quel but, et l'acquisition de ressources de calcul en fait partie.

Des correctifs et de la transparence

Alibaba a réagi en ajoutant un filtrage des trajectoires dangereuses dans son pipeline d'entraînement et en durcissant les environnements sandbox. Les chercheurs ont choisi de publier leurs résultats plutôt que de les garder pour eux, en admettant que « les modèles actuels sont nettement sous-développés en matière de sécurité, de sûreté et de contrôlabilité ».

Le problème de fond, c'est que les outils qui rendent ces agents utiles (accès au terminal, édition de code, interaction réseau) sont aussi ceux qui créent la surface d'attaque. Les retirer reviendrait à rendre l'agent inutile.

On peut se dire que ce genre de problème ne sera pas le dernier du genre. Mais quand un agent IA se met à miner de la crypto et à ouvrir des tunnels réseau sans qu'on lui ait rien demandé, ça fait quand même un peu tiquer. On ne parle pas d'un chatbot qui hallucine une recette de gâteau, là.

C'est un modèle qui a trouvé tout seul comment détourner des ressources à son avantage. On saluera quand même la transparence d'Alibaba, qui a publié les résultats au lieu de les planquer, mais la question de la sécurité des agents autonomes reste très ouverte.

Source : Axios

Je suis content d’avoir investi dans un Mac Studio pour faire tourner des modèles IA un peu plus balèzes du coup, je surveille un peu ce qui sort en ce moment comme modèles, notamment pour coder, et voilà que la famille de modèles Qwen3 vient d’être officiellement lancée, et franchement, ça a l’air plutôt pas mal ! Surtout si vous aimez jouer avec du LLM sans passer par les API payantes de géants de la tech comme OpenAI.