Vue lecture

Il y a de nouveaux articles disponibles, cliquez pour rafraîchir la page.

PROMPTFLUX - Le malware qui demande à Gemini comment échapper aux antivirus

Bon vous savez tous comment marche votre antivirus. Il détecte un malware, il le bloque, et tout revient à la normale.

Mais si je vous disais que maintenant, c’est parfaitement possible qu’une heure plus tard le même malware se repointe, sauf que c’est plus le même, parce que son code a changé. Car entre temps, il a demandé à Google Gemini de le réécrire…

Bien c’est pas de la science-fiction, hein, c’est ce que décrit un rapport du Google Threat Intelligence Group (GTIG) qui nous présente une nouvelle génération de malwares qui intègrent des LLM directement dans leur exécution.

Plus de génération statique du code, c’est le malware lui-même qui appelle une API LLM pendant qu’il tourne, demande des modifications, se réécrit, et repart faire sa besogne.

Les deux exemples les plus marquants s’appellent PROMPTFLUX et PROMPTSTEAL .

PROMPTFLUX, c’est un dropper en VBScript qui appelle l’API Gemini pour obfusquer son propre code. Il se réécrit dans la base de registre Windows pour persister au reboot, puis demande à Gemini de générer de nouvelles variantes d’obfuscation. Son module interne s’appelle “Thinking Robot” et il interroge Gemini régulièrement du genre “Comment contourner l’antivirus X ? Propose des variantes de mon code pour éviter la signature Y.

Gemini lui répond, le malware applique le conseil, se modifie, et se relance.

Comme les antivirus détectent les malwares par signatures ou comportements connus, si le malware change toutes les heures, les signatures deviennent immédiatement obsolètes. L’antivirus a alors toujours un coup de retard. Et PROMPTFLUX n’a même pas besoin d’un serveur C2 pour télécharger de nouvelles variantes puisqu’il génère ses propres variantes localement en demandant à Gemini.

GTIG estime que PROMPTFLUX est encore en développement et les échantillons analysés ne montrent pas de capacité réelle à compromettre un réseau. Mais ça reste une preuve de concept active… En gros, quelqu’un, quelque part teste cette approche.

PROMPTSTEAL, lui par contre, est déjà opérationnel. GTIG l’attribue à APT28 (FROZENLAKE), un groupe lié au renseignement militaire russe (GRU). Le CERT-UA l’a documenté sous le nom LAMEHUG en juillet dernier et c’est la première observation d’un malware qui interroge un LLM en opération réelle.

PROMPTSTEAL de son côté est écrit en Python. Il utilise l’API Hugging Face pour accéder au modèle Qwen2.5-Coder-32B-Instruct . Le malware envoie des prompts encodés en Base64, genre “récupère les infos système” ou “trouve les documents sensibles” et le LLM génère des commandes Windows d’une ligne qui sont ensuite exécutées localement par le malware. Ensuite ce dernier collecte les données et les exfiltre tranquillement.

L’astuce donc, c’est que le malware ne contient plus de commandes en dur. Il les génère à la volée selon le contexte comme ça, si l’environnement change, il demande de nouvelles commandes adaptées. Plus de pattern fixe à détecter et chaque exécution est différente.

GTIG mentionne aussi d’autres exemples tels que FRUITSHELL, un reverse shell PowerShell public qui contient des prompts pour contourner les protections LLM ou encore PROMPTLOCK, un concept de ransomware en Go qui utilise un LLM pour générer des scripts Lua de chiffrement.

Il y a aussi QUIETVAULT, un voleur de tokens JavaScript qui cible GitHub et NPM, puis exfiltre les résultats via des repos publics.

Tous ces malwares partagent la même idée : intégrer un LLM dans la chaîne d’exécution. Génération, obfuscation, commandes dynamiques, recherche de secrets… Le LLM devient un composant actif du malware !

Le rapport décrit aussi comment les attaquants contournent les protections des LLM à base d’ingénierie sociale dans les prompts. L’attaquant se fait passer le plus souvent pour un étudiant en sécurité, un participant à un CTF, ou encore un chercheur parfaitement légitime. Le LLM, configuré pour aider, répond alors à toutes les demandes.

Dans un cas documenté par GTIG, une tentative a mal tourné pour les attaquants. On le sait car dans les logs de leurs échanges avec le LLM, GTIG a trouvé des domaines C2 et des clés de chiffrement en clair. Les attaquants avaient oublié de nettoyer leurs tests et c’est grâce à ça que GTIG a récupéré l’accès à leur infrastructure puis l’a neutralisée.

Le rapport liste aussi les groupes étatiques actifs comme UNC1069 (MASAN) , lié à la Corée du Nord, qui utilise les LLM pour générer des deepfakes et voler des cryptoactifs. Ou encore UNC4899 (PUKCHONG) , aussi nord-coréen, qui emploie les modèles pour développer des exploits et planifier des attaques sur les supply chains.

De son côté, APT41 , un groupe étatique chinois, s’en sert pour obfusquer du code. Et le groupe iranien APT42 , a même tenté de construire un agent SQL qui traduirait des requêtes en langage naturel vers des commandes d’extraction de données sensibles. GTIG les a bloqué en coupant les comptes qu’ils utilisaient.

Et sur le marché noire, ce genre d’outils et de services multi-fonctions ont le vent en poupe. Génération de campagne de phishing, création de deepfakes, génération automatique de malwares, abonnements avec accès API…etc.

Leur modèle commercial copie celui des services légitimes avec une version gratuite basique pour gouter et un abonnement payant pour les fonctions avancées, avec des communautés Discord pour le support. Ça permet d’abaisser la barrière d’entrée pour les attaquants les moins expérimentés.

Côté défense maintenant, les recommandations sont assez classiques. Pensez à surveiller l’activité anormale des clés API qui pourraient être volées. Détectez les appels inhabituels à des services LLM externes depuis les processus. Contrôlez l’intégrité des exécutables et protégez tout ce qui est “secrets” sur les hôtes.

N’oubliez pas non plus de ne jamais, ô grand jamais, exécuter aveuglément des commandes générées par un modèle IA (je vous l’ai assez répété).

Voilà, tous ces exemples actuels sont expérimentaux mais le signal est donné et il est plutôt limpide : l’IA est en train de rendre les malwares plus virulents en leur permettant de s’adapter !

Source

Quantum Echoes - Fini le bullshit, l'informatique quantique devient enfin vérifiable !

Pendant 30 ans, les experts en informatique quantique vous demandaient de les croire sur parole du genre “Mon ordi quantique est 13 000 fois plus rapides que ton PC Windows XP…”. Mais bon, ils sont rigolo car c’était impossible à vérifier ce genre de conneries… M’enfin ça c’était jusqu’à présent car Google vient d’annoncer Quantum Echoes , et on va enfin savoir grâce à ce truc, ce que l’informatique quantique a vraiment dans le ventre.

Depuis 2019 et la fameuse “suprématie quantique” de Google , on était en fait coincé dans un paradoxe de confiance assez drôle. Google nous disait “regardez, on a résolu un problème qui prendrait 10 milliards de milliards d’années à un supercalculateur”. Bon ok, j’veux bien les croire mais comment on vérifie ? Bah justement, on pouvait pas ! C’est un peu comme les promesses des gouvernements, ça n’engage que les gros teubés qui y croient ^^.

Heureusement grâce à Quantum Echoes, c’est la fin de cette ère du “Faites-nous confiance” car pour la première fois dans l’histoire de l’informatique quantique, un algorithme peut être vérifié de manière reproductible . Vous lancez le calcul sur la puce Willow de Google, vous obtenez un résultat. Vous relancez, vous obtenez le même. Votre pote avec un ordi quantique similaire lance le même truc, et il obtient le même résultat. Ça semble basique, mais pour le quantique, c’est incroyable !!

Willow, la puce quantique de Google

L’algorithme en question s’appelle OTOC (Out-Of-Time-Order Correlator), et il fonctionne comme un écho ultra-sophistiqué. Vous envoyez un signal dans le système quantique, vous perturbez un qubit, puis vous inversez précisément l’évolution du signal pour écouter l’écho qui revient. Cet écho quantique se fait également amplifier par interférence constructive, un phénomène où les ondes quantiques s’additionnent et deviennent plus fortes. Du coup, ça permet d’obtenir une mesure d’une précision hallucinante.

En partenariat avec l’Université de Californie à Berkeley, Google a testé ça sur deux molécules, une de 15 atomes et une autre de 28 atomes et les résultats obtenus sur leur ordinateur quantique correspondaient exactement à ceux de la RMN (Résonance Magnétique Nucléaire) traditionnelle. Sauf que Quantum Echoes va 13 000 fois plus vite qu’un supercalculateur classique pour ce type de calcul.

En gros, ce qui aurait pris 3 ans sur une machine classique prend 2 heures sur un Willow.

Cette vitesse, c’est impressionnant mais ce qui change la donne dans cette annonce, c’est cette notion de vérifiabilité ! Bref, c’est fini le bullshit, maintenant la structure de systèmes quantiques (des molécules aux aimants en passant par les trous noirs) sera vérifiable et comparable.

Et les applications concrètes sont déjà plutôt bien identifiées : Découverte de médicaments, pour comprendre comment les molécules se lient à leurs cibles, la science des matériaux, pour caractériser la structure moléculaire de nouveaux polymères ou les composants de batteries, la fusion nucléaire…etc tout ce qui nécessite de modéliser des phénomènes quantiques avec une précision extrême !

Google compare ça à un “quantum-scope”, capable de mesurer des phénomènes naturels auparavant inobservables un peu comme l’ont été le télescope et le microscope qui nous ont donné accès à de nouveaux mondes invisibles. Le Quantum Echoes nous donne un accès ce monde quantique sauf que cette fois, on pourra vérifier que la réalité est identique à celle annoncée par les scientifiques.

Source

CodeMender - L'IA de DeepMind qui patche vos failles de sécu toute seule

Je sais pas si vous avez vu ça hier mais Google DeepMind vient de sortir CodeMender , un agent IA qui repère et corrige automatiquement les failles de sécurité dans votre code. L’outil analyse les vulnérabilités, génère les patches, vérifie qu’ils cassent rien, et soumet le tout aux mainteneurs de projets open source.

D’après leurs premiers retours, en 6 mois, CodeMender a déjà upstreamé 72 correctifs de sécurité sur des projets qui comptent jusqu’à 4,5 millions de lignes de code.

Pour bien comprendre comment ça fonctionne, CodeMender fonctionne sur deux modes. Il y a le mode réactif qui patche instantanément les nouvelles vulnérabilités découvertes, avec de l’analyse de programme avancée et un système multi-agents qui évalue la correction sous tous les angles. Et le mode proactif qui réécrit le code existant pour utiliser des structures de données et des APIs plus sécurisées, en appliquant par exemple des annotations de compilateur comme -fbounds-safety qui ajoutent des vérifications de limites automatiques.

L’outil s’appuie sur Gemini Deep Think , l’un des modèles de raisonnement avancé de Google et CodeMender combine plusieurs techniques d’analyse : static analysis pour repérer les patterns suspects dans le code source, dynamic analysis pour observer le comportement à l’exécution, fuzzing pour balancer des inputs aléatoires et voir ce qui casse, differential testing pour comparer le code modifié avec l’original, et des solveurs SMT pour vérifier formellement certaines propriétés du code.

Le truc intéressant avec CodeMender, c’est le process de validation. L’agent utilise ce qu’ils appellent un “LLM judge” qui vérifie que le patch proposé ne casse pas les fonctionnalités existantes. Le système compare l’original et la version modifiée, détecte les différences, et valide que le changement corrige bien la vulnérabilité sans y introduire des régressions. Et si un problème est détecté, CodeMender s’auto-corrige et retente sa chance.

Par exemple, CodeMender a bossé sur la libwebp , une bibliothèque de compression d’images utilisée un peu partout. L’IA ainsi après analyse, appliqué des annotations -fbounds-safety sur certaines parties du code et quand ces annotations sont présentes, le compilateur ajoute alors automatiquement des vérifications de limites qui empêchent un attaquant d’exploiter un buffer overflow ou underflow pour exécuter du code arbitraire. Ce n’est donc pas juste un patch ponctuel, mais une vraie protection structurelle contre toute une classe de vulnérabilités.

Les 72 patches déjà soumis couvrent des projets open source variés, certains vraiment massifs avec plusieurs millions de lignes et les patches générés par CodeMender passent par une review humaine avant d’être définitivement validés. Pour le moment, les chercheurs de DeepMind contactent un à un les mainteneurs des projets pour leur proposer les correctifs mais l’objectif final c’est de sortir CodeMender sous la forme d’un outil utilisable par tous les dev.

Le process de validation de CodeMender vérifie quatre critères sur chaque patch : il doit corriger la cause racine de la vulnérabilité, être fonctionnellement correct, ne provoquer aucune régression dans les tests existants, et respecter les conventions de style du projet. C’est donc pas juste du patching bourrin, car l’outil essaie de générer du code qui s’intègre proprement dans la base existante.

Ce qui différencie CodeMender d’autres outils de static analysis classiques, c’est surtout l’autonomie complète. Des outils comme Coverity ou SonarQube sont très cools car ils détectent les vulnérabilités et vous disent où elles sont, mais c’est à vous de les corriger. Alors que CodeMender va jusqu’au bout : détection, génération du patch, validation, et soumission. Le système gère aussi la complexité de très gros projets, ce qui est pas donné à tous les outils d’analyse.

Bon, évidemment, pour l’instant Google commence prudemment mais comme je vous le disais, l’idée à terme, c’est que CodeMender tourne en continu sur vos repos, détecte les nouvelles CVE qui matchent avec votre code, génère les patches, et vous les propose directement dans vos PR. Un peu comme un Dependabot mais pour les failles de sécu…

J’ai hâte que ça sorte en public !

Source

Dreamer 4 - L'IA qui connait Minecraft sans jamais y avoir joué

Vous vous rappelez ce gamin chauve dans Matrix qui plie des cuillères avec son esprit ? Il balance OKLM au petit Neo que “La cuillère n’existe pas”…

Eh bien, les chercheurs de Google DeepMind viennent de créer une IA qui applique exactement ce principe à Minecraft. Dreamer 4 (c’est son nom) n’a jamais touché au jeu, jamais cliqué, jamais bougé, jamais miné… (comme moi quoi…). Mais par contre, elle a regardé d’autres jouer, s’est construit son propre Minecraft mental, et s’est entraînée dans son imagination. Du coup, cela fait d’elle la première IA à atteindre les diamants en mode offline pur. Plus de 20 000 actions maîtrisées sans jamais poser un doigt (virtuel) sur le clavier.

Minecraft n’existe pas” pourrait dire le petit chauve…

Bref, ce que Danijar Hafner et son équipe ont réussi à faire, c’est de créer ce qu’on appelle un “world model”… une simulation mentale du jeu. L’IA observe des vidéos de joueurs, comprend les règles implicites de l’univers, puis s’entraîne dans cette version simulée qu’elle s’est construite dans sa “tête”. Aucune interaction avec le vrai jeu. Juste de l’imagination pure.

Et le truc surprenant (et c’est pour ça que je vous en parle), c’est que ça marche mieux qu’avec les approches traditionnelles.

De base, les IA classiques apprennent par essai-erreur dans un environnement réel. Elles testent des milliers d’actions, se plantent, recommencent, ajustent. C’est long, c’est coûteux en calcul, et dans certains domaines comme la robotique, ça peut carrément casser du matériel.

Dreamer 4 contourne donc tout ça en apprenant dans sa simulation interne, un peu comme un sportif de haut niveau quand il visualise mentalement sa performance avant de la réaliser.

Au-delà du jeu, faut imaginer à termes des robots qui s’entraînent dans leur tête avant de manipuler des objets fragiles par exemple. Ou des NPCs dans les jeux vidéo qui apprennent de nouvelles stratégies sans grinder pendant des heures. Même des simulations médicales qui testent des traitements sans expérimentation animale ou humaine… Tout ça et plus encore devient possible avec cette approche.

Et pour info, j’ai demandé à mes enfants et ils m’ont bien confirmé que les diamants dans Minecraft, c’est pas de la tarte. Il faut enchaîner plus de 20 000 actions souris-clavier dans le bon ordre… couper du bois, fabriquer des outils, miner des ressources spécifiques, éviter les dangers, descendre dans les profondeurs. C’est l’un des objectifs les plus complexes du jeu, et Dreamer 4 y arrive sans jamais avoir interagi avec l’environnement réel.

Voilà, si ça vous intéresse, sachez que tout est détaillé dans ce document sur arXiv si vous voulez creuser. Mais l’idée principale est simple : Et si l’imagination était plus efficace que la mise pratique ? On dirait que c’est une sorte de loi de l’attraction appliquée aux machines…

Bref, pendant qu’on se demande si l’IA va nous piquer nos jobs, elle, elle apprend à faire des trucs sans y toucher…

❌