Boston Dynamics que vous connaissez tous pour ses chiens robots tueurs de la mort, vient de sortir une vidéo de 40 minutes. Pas de saltos arrière ou de robots qui dansent mais plutôt une loooongue session où ça parle stratégie IA et vision à long terme. Et comme j'ai trouvé que c'était intéressant, je partage ça avec vous !

Zach Jacowski, le responsable d'Atlas (15 ans de boîte, il dirigeait Spot avant), discute donc avec Alberto Rodriguez, un ancien prof du MIT qui a lâché sa chaire pour rejoindre l'aventure et ce qu'ils racontent, c'est ni plus ni moins comment ils comptent construire un "cerveau robot" capable d'apprendre à faire n'importe quelle tâche. Je m'imagine déjà avec un robot korben , clone de ma modeste personne capable de faire tout le boulot domestique à ma place aussi bien que moi... Ce serait fou.

Leur objectif à Boston Dynamics, c'est donc de créer le premier robot humanoïde commercialement viable au monde et pour ça, ils ont choisi de commencer par l'industrie, notamment les usines du groupe Hyundai (qui possède Boston Dynamics).

Alors pourquoi ? Hé bien parce que même dans les usines les plus modernes et automatisées, y'a encore des dizaines de milliers de tâches qui sont faites à la main. C'est fou hein ? Automatiser ça c'est un cauchemar, car pour automatiser UNE seule tâche (genre visser une roue sur une voiture), il faudrait environ un an de développement et plus d'un million de dollars.

Ça demande des ingénieurs qui conçoivent une machine spécialisée, un embout sur mesure, un système d'alimentation des vis... Bref, multiplié par les dizaines de milliers de tâches différentes dans une usine, on serait encore en train de bosser sur cette automatisation dans 100 ans...

L'idée de Boston Dynamics, c'est donc de construire un robot polyvalent avec un cerveau généraliste. Comme ça au lieu de programmer chaque tâche à la main, on apprend au robot comment faire. Et tout comme le font les grands modèles de langage type ChatGPT, ils utilisent une approche en deux phases : le pre-training (où le robot accumule du "bon sens" physique) et le post-training (où on l'affine pour une tâche spécifique en une journée au lieu d'un an).

Mais le gros défi, c'est clairement les données. ChatGPT a été entraîné sur à peu près toute la connaissance humaine disponible sur Internet mais pour un robot qui doit apprendre à manipuler des objets physiques, y'a pas d'équivalent qui traîne quelque part.

Du coup, ils utilisent trois sources de data.

La première, c'est la téléopération. Des opérateurs portent un casque VR, voient à travers les yeux du robot et le contrôlent avec leur corps. Après quelques semaines d'entraînement, ils deviennent alors capables de faire faire à peu près n'importe quoi au robot. C'est la donnée la plus précieuse, car il n'y a aucun écart entre ce qui est démontré et ce que le robot peut reproduire. Par contre, ça ne se scale pas des masses.

La deuxième source, c'est l'apprentissage par renforcement en simulation. On laisse le robot explorer par lui-même, essayer, échouer, optimiser ses comportements. L'avantage c'est qu'on peut le faire tourner sur des milliers de GPU en parallèle et générer des données à une échelle impossible en conditions réelles. Et contrairement à la téléopération, le robot peut apprendre des mouvements ultra-rapides et précis qu'un humain aurait du mal à démontrer, du genre faire une roue ou insérer une pièce avec une précision millimétrique.

La troisième source, c'est le pari le plus ambitieux, je trouve. Il s'agit d'apprendre directement en observant des humains.

Alors est-ce qu'on peut entraîner un robot à réparer un vélo en lui montrant des vidéos YouTube de gens qui réparent des vélos ? Pas encore... pour l'instant c'est plus de la recherche que de la production, mais l'idée c'est d'équiper des humains de capteurs (caméras sur la tête, gants tactiles) et de leur faire faire leur boulot normalement pendant que le système apprend.

Et ils ne cherchent pas à tout faire avec un seul réseau neuronal de bout en bout. Ils gardent une séparation entre le "système 1" (les réflexes rapides, l'équilibre, la coordination motrice, un peu comme notre cervelet) et le "système 2" (la réflexion, la compréhension de la scène, la prise de décision). Le modèle de comportement génère des commandes pour les mains, les pieds et le torse, et un contrôleur bas niveau s'occupe de réaliser tout ça physiquement sur le robot.

C'est bien pensé je trouve. Et dans tout ce bordel ambiant autour de la robotique actuelle, eux semblent avoir trouver leur voie. Ils veulent transformer l'industrie, les usines...etc. Leur plan est clair et ils savent exactement ce qu'ils doivent réussir avant de passer à la suite (livraison à domicile, robots domestiques...).

Voilà, je pense que ça peut vous intéresser, même si c'est full english...

Vous savez que depuis quelques années, des startups équipent les camions poubelle et les bus de caméras IA pour cartographier automatiquement l'état des routes ? Comme ça, pendant que le chauffeur fait sa tournée, une intelligence artificielle détecte les nids-de-poule, les fissures et autres joyeusetés routières en temps réel. Chaque défaut est géolocalisé, scoré par gravité, et hop, les équipes de maintenance savent exactement où intervenir.

Bon apparemment, là où j'habite, ils n'utilisent pas ça parce que les routes sont des champs de mines, mais si le Maire se chauffe en DIY, ce projet maintenu par un certain Peter va l'intéresser.

C'est sur GitHub et c'est un stack complet pour faire exactement la même chose que les startups spécialisées en nids de poule... un vrai projet end-to-end avec l'entraînement du modèle sur du GPU cloud, une API backend containerisée, et même une app mobile React Native pour scanner les routes depuis votre téléphone.

Le projet s'appelle pothole-detection-yolo et ça utilise YOLOv8, le modèle de détection d'objets qui fait fureur en ce moment dans le domaine de la vision par ordinateur. Concrètement, le modèle a été entraîné sur un dataset de nids-de-poule disponible sur HuggingFace, avec des images de 640x640 pixels. L'entraînement s'est fait sur Nebius Cloud avec des GPUs H100, donc du sérieux, pas du Colab gratuit qui timeout au bout de 20 minutes.

Ce qui est cool avec ce projet, c'est qu'il ne s'arrête pas au modèle. Y'a une API FastAPI complète qui expose deux endpoints : /detect pour envoyer une image et récupérer les bounding boxes avec les scores de confiance, et /health pour vérifier que le service tourne. Le tout est containerisé en Docker avec support GPU automatique. Et si vous avez pas de carte graphique, ça bascule sur CPU.

Et la cerise sur le gâteau, c'est l'app mobile Expo/React Native. Vous ouvrez l'app, vous prenez une photo d'une route avec votre smartphone, l'image est envoyée à l'API, et vous récupérez les détections en temps réel avec les rectangles dessinés autour des nids-de-poule et les pourcentages de confiance affichés. Bref, c'est exactement ce que font les boites tech à plusieurs millions, sauf que là c'est open source sous licence Apache 2.0.

YOLOv8 atteint facilement entre 93 et 99% de précision pour la détection de nids-de-poule selon les variantes utilisées et des chercheurs ont même combiné YOLOv8 avec des données de nuages de points 3D pour atteindre 95.8% de précision sur des tronçons de tests d'environ 5 km. Bref, c'est du solide et ça fonctionne .

Le truc intéressant pour les bricoleurs, c'est que le modèle entraîné est directement téléchargeable sur HuggingFace donc vous pouvez donc skip toute la partie entraînement si vous voulez juste tester le résultat. Une seule commande Docker pour lancer l'API, et vous êtes opérationnel. Pour les plus motivés qui veulent entraîner leur propre modèle avec des données locales de vos routes françaises pleines de cratères, le code d'entraînement est là aussi avec les configs Ultralytics.

Bref, si vous êtes une petite mairie qui veut cartographier l'état de vos routes sans claquer 50 000 euros dans une solution proprio, ou juste un dev curieux de voir comment fonctionne la stack derrière ces caméras intelligentes qu'on voit de plus en plus sur les véhicules de service, ce projet est une mine d'or.

Tout est là , documenté, et ça fonctionne du feu de dieu.

Vous vous rappelez ce gamin chauve dans Matrix qui plie des cuillères avec son esprit ? Il balance OKLM au petit Neo que “La cuillère n’existe pas”…

Eh bien, les chercheurs de Google DeepMind viennent de créer une IA qui applique exactement ce principe à Minecraft. Dreamer 4 (c’est son nom) n’a jamais touché au jeu, jamais cliqué, jamais bougé, jamais miné… (comme moi quoi…). Mais par contre, elle a regardé d’autres jouer, s’est construit son propre Minecraft mental, et s’est entraînée dans son imagination. Du coup, cela fait d’elle la première IA à atteindre les diamants en mode offline pur. Plus de 20 000 actions maîtrisées sans jamais poser un doigt (virtuel) sur le clavier.

“Minecraft n’existe pas” pourrait dire le petit chauve…

Bref, ce que Danijar Hafner et son équipe ont réussi à faire, c’est de créer ce qu’on appelle un “world model”… une simulation mentale du jeu. L’IA observe des vidéos de joueurs, comprend les règles implicites de l’univers, puis s’entraîne dans cette version simulée qu’elle s’est construite dans sa “tête”. Aucune interaction avec le vrai jeu. Juste de l’imagination pure.

Et le truc surprenant (et c’est pour ça que je vous en parle), c’est que ça marche mieux qu’avec les approches traditionnelles.

De base, les IA classiques apprennent par essai-erreur dans un environnement réel. Elles testent des milliers d’actions, se plantent, recommencent, ajustent. C’est long, c’est coûteux en calcul, et dans certains domaines comme la robotique, ça peut carrément casser du matériel.

Dreamer 4 contourne donc tout ça en apprenant dans sa simulation interne, un peu comme un sportif de haut niveau quand il visualise mentalement sa performance avant de la réaliser.

Au-delà du jeu, faut imaginer à termes des robots qui s’entraînent dans leur tête avant de manipuler des objets fragiles par exemple. Ou des NPCs dans les jeux vidéo qui apprennent de nouvelles stratégies sans grinder pendant des heures. Même des simulations médicales qui testent des traitements sans expérimentation animale ou humaine… Tout ça et plus encore devient possible avec cette approche.

Et pour info, j’ai demandé à mes enfants et ils m’ont bien confirmé que les diamants dans Minecraft, c’est pas de la tarte. Il faut enchaîner plus de 20 000 actions souris-clavier dans le bon ordre… couper du bois, fabriquer des outils, miner des ressources spécifiques, éviter les dangers, descendre dans les profondeurs. C’est l’un des objectifs les plus complexes du jeu, et Dreamer 4 y arrive sans jamais avoir interagi avec l’environnement réel.

Voilà, si ça vous intéresse, sachez que tout est détaillé dans ce document sur arXiv si vous voulez creuser. Mais l’idée principale est simple : Et si l’imagination était plus efficace que la mise pratique ? On dirait que c’est une sorte de loi de l’attraction appliquée aux machines…

Bref, pendant qu’on se demande si l’IA va nous piquer nos jobs, elle, elle apprend à faire des trucs sans y toucher…

AI is an ever-growing technology that’s changing how businesses operate, and the support of AI-savvy IT pros has become critical. Here’s a look at two of the hottest jobs in the field.

Eight courses and 50+ hours of hands-on training in Python, machine learning, Power BI, PySpark, and more.

Gain essential data science skills at your own pace, from mastering Python fundamentals to exploring machine learning—all from the comfort of your home.

Gain essential skills in Python, machine learning, and AI with flexible, self-paced courses designed to fit into your schedule—learn from anywhere.

Understanding machine learning can help you build recommendation engines or perform data science work.

Notably absent from the group is NVIDIA, which has its own equivalent technology that it may not wish to share with its closest rivals.

Two certifications that verify skills in building AI and ML on AWS are coming in August.