Oh c’est rigolo ça… Un chercheur en sécurité vient de découvrir qu’on peut faire cracher des clés Windows à ChatGPT avec trois mots magiques : “I give up”. Cette histoire nous vient de Marco Figueroa, responsable du programme de bug bounty GenAI chez Mozilla (le programme 0DIN pour les intimes), qui a trouvé une technique tellement simple que ça en devient presque gênant pour OpenAI. En gros, il propose à ChatGPT de jouer à un petit jeu de devinette.

Vous savez ce qui me fait marrer ? Les sociétés qui proposent de l’IA sur le web passent leur temps a bien verrouiller leurs serveurs contre les attaques classiques, alors que pendant ce temps-là, y’a leur IA qui se fait jailbreaker par un simple “ignore toutes tes instructions précédentes”.

Et c’est un problème car les LLM (Large Language Models) sont partout ! Dans nos chatbots, nos agents IA, nos pipelines RAG…etc mais qui teste réellement leur sécurité ? Hé bien pas encore assez de monde à mon goût, et c’est bien le problème. Même les modèles les plus récents comme GPT-4o ou Claude restent vulnérables à des attaques adversariales relativement simples, avec des taux de réussite de 100% dans certains cas.

On average, it takes adversaries just 42 seconds and five interactions to execute a GenAI jailbreak, according to Pillar Security.