Vous avez une vieille vidéo toute pourrie, floue à souhait, qui date de Mathusalem et bien avec VideoGigaGAN d’Adobe, elle va se transformer en une magnifique séquence HD, avec des détails si nets que vous pourrez compter les poils de nez des gens qui sont dessus !
VideoGigaGAN est ce qu’on appelle un modèle d’IA génératif. En gros, ce machin est capable de deviner les détails manquants dans une vidéo pourrave pour la rendre méga classe. Les petits gars d’Adobe ont balancé des exemples sur leur GitHub et franchement, c’est impressionnant. On passe d’une vidéo degueulasse à un truc ultra net, avec des textures de peau hallucinantes et des détails de fou !
En plus, cette IA est capable d’upscaler les vidéos jusqu’à 8 fois leur résolution d’origine, par contre, faut pas s’emballer car pour le moment, c’est juste une démo de recherche et y’a pas encore de date de sortie officielle. Mais connaissant Adobe, y’a moyen que ça finisse dans Premiere Pro un de ces quatre. Je vais pouvoir améliorer mes vidéos tournées à l’époque au format 3GP \o/.
D’ici là, va falloir continuer à se taper des vidéos de chat toutes pixelisées sur les réseaux sociaux.
Vous connaissez OpenELM ? Non, normal, ça vient de sortir. Et c’est une famille de modèles IA open-source made in Apple conçus pour tourner directement sur vos appareils, sans passer par le cloud. En gros, c’est de l’IA maison dans nos iPhone, iPad et Mac…etc.
OpenELM combine plusieurs modèles de langage naturel (LLMs) utilisant des algorithmes évolutionnistes qui exploitent les principes techniques suivants :
Layer-wise scaling strategy : Cette stratégie consiste à allouer les paramètres dans les couches d’un modèle transformeur pour améliorer l’exactitude. Les modèles sont pré-alourés avec un budget de paramètres de 270 millions, 450 millions, 1,1 milliard et 3 milliards.
Pré-entraînement : Les modèles ont été pré-entraînés à l’aide d’une combinaison de datasets, incluant une sous-ensemble de Dolma v1.6, RefinedWeb, deduplicated PILE et une sous-ensemble de RedPajama. Ce dataset contient environ 1,8 trillion de tokens.
Evolutionary algorithms : Les algorithmes évolutionnistes sont utilisés pour combiner les modèles LLM et améliorer l’exactitude. Cela permet d’exploiter les forces combinées des modèles pré-alourés et d’améliorer leur précision.
Alors évidemment, Apple arrive un peu après la bataille dans l’IA, pendant que Microsoft et Google déboulent à fond la caisse. Mais bon, mieux vaut tard que jamais, et puis ils compensent avec du lourd, soit 8 modèles OpenELM au total, dont 4 pré-entraînés avec CoreNet et 4 fine-tunés. Et avec leur stratégie de scaling par couche ça optimise à fond l’allocation des paramètres.
Allez, je traduits… En gros, ça veut dire qu’ils sont hyper efficaces et précis. Prenez le modèle à 1 milliard de paramètres et bien bah il explose un modèle équivalent comme OLMo de 2,36% en précision, avec 2 fois moins de tokens en pré-entraînement. Et ce qui est top, c’est qu’Apple balance tout : code, logs d’entraînement, configuration…etc et pas juste le modèle final. Et vu qu’ils utilisent des datasets publics, c’est top en matière de transparence et vérification des biais.
En tout cas, une chose est sûre, avec OpenELM, Apple nous prouve qu’ils sont dans la course, et qu’ils comptent bien mettre le paquet sur l’IA
Et Merci à Letsar pour l’info, c’est lui qui m’a mis la puce à l’oreille sur OpenELM. Tu gères !
Imaginez un monde où les ordinateurs pourraient prédire ce que vous allez faire avant même que vous ne le fassiez. Ça peut sembler tout droit sorti d’un film de science-fiction du style de Minority Report, mais les chercheurs du célèbre MIT (Massachusetts Institute of Technology) sont en train de rendre ça possible ! En effet, ils ont mis au point un modèle d’IA (intelligence artificielle) qui est capable d’analyser les limitations d’un agent, qu’il soit humain ou artificiel, pour en déduire ses actions futures les plus probables.
Dingue, non ?
Mais comment ce modèle s’y prend-il pour jouer les madame Irma ? En fait, tout est une question de limites. Nan, je ne parle pas des limites de vitesse ou des dates de péremption, hein. Je parle des contraintes qui pèsent sur un agent peu importe sa nature, biologique ou numérique.
Prenons un exemple concret : Vous êtes en train de jouer aux échecs contre un ordinateur. Vous avez vos propres contraintes : votre niveau de jeu, votre connaissance des ouvertures et des fins de partie, votre capacité à anticiper les coups de l’adversaire… Bref, tout un tas de facteurs qui limitent vos possibilités d’action. Eh bien, c’est exactement ce que le modèle d’IA du MIT analyse !
En se basant sur ces fameuses limites, il est capable d’inférer les coups que vous avez le plus de chances de jouer. Pas besoin d’être Garry Kasparov pour comprendre à quel point c’est bluffant. Votre ordinateur sera bientôt meilleur que vous aux échecs… et dans plein d’autres domaines !
Mais attention, le modèle du MIT ne prétend pas prédire l’avenir avec une précision de 100%. Il s’agit plutôt d’identifier des tendances et des schémas de comportement en fonction des limitations d’un agent. Ça reste néanmoins un outil très puissant pour anticiper les actions les plus probables.
D’ailleurs, les applications de cette technologie vont bien au-delà des jeux de société. Je pense par exemple au voitures autonomes qui pourraient anticiper les mouvements des piétons et des autres véhicules, des assistants virtuels qui sauraient exactement ce que vous allez leur demander avant même que vous n’ouvriez la bouche, des robots industriels capables de s’adapter en temps réel aux changements de leur environnement… Les possibilités sont infinies !
Bien sûr, tout cela soulève aussi son lot de questions éthiques. Est-ce qu’on a vraiment envie que les machines lisent dans nos pensées comme dans un livre ouvert ? Est-ce que ça ne risque pas de créer de sacrés problèmes de vie privée et de manipulation ? Imaginez que votre enceinte connectée décide de vous commander une pizza quatre fromages parce qu’elle a deviné que vous aviez un petit creux… Flippant, non ?
Mais bon, on n’en est pas encore là. Pour l’instant, les chercheurs du MIT sont encore en train de plancher sur leur modèle pour le perfectionner et étendre ses capacités. Et croyez-moi, c’est loin d’être un long fleuve tranquille ! L’IA a beau faire des progrès de géant, prédire le comportement humain reste un sacré défi. On est tellement imprévisibles et irrationnels, nous autres mortels…
En attendant de pouvoir déléguer toutes nos décisions à une machine, le modèle du MIT nous offre un aperçu de ce que pourrait être le futur de l’interaction homme-machine. Un futur où les ordinateurs nous comprendraient mieux que nous-mêmes, pour le meilleur et pour le pire. Perso, j’oscille entre fascination et inquiétude.
Pendant qu’une utopie où les véhicules autonomes, les assistants virtuels et les systèmes de recommandation se profile à l’horizon, force est de constater que l’intelligence artificielle n’en est encore qu’à ses balbutiements. La promesse d’un monde meilleur se heurte à la dure réalité des incidents causés par ces systèmes dits « intelligents », déployés trop rapidement dans notre environnement.
C’est là qu’intervient la base de données des incidents d’IA (AIID), véritable mémoire collective répertoriant les bugs, plantages et autres dérapages de l’IA lorsqu’elle est lâchée dans la nature. Tel un Guinness Book des foirages technologiques, elle recense déjà plus de 1000 cas, des plus anodins aux plus tragiques :
– un taxi sans chauffeur Waymo qui emboutit un cycliste en plein San Francisco
– un deepfake audio d’Imran Khan appelant au boycott des élections au Pakistan pour tromper les électeurs
– de fausses images de Donald Trump entouré d’électeurs noirs générées par IA pour influencer le vote des afro-américains
– et le pire de tous (ou pas) : des collégiens de Beverly Hills qui créent de fausses photos dénudées de leurs camarades grâce à l’IA !
Bref, c’est la foire aux casseroles dans le merveilleux monde de l’IA et il était temps que quelqu’un dresse l’inventaire de ces dérapages en tout genre. Mais au-delà du simple folklore, la mission de l’AIID est d’apprendre de ces échecs pour bâtir des IA plus sûres, à l’image de ce qui se fait dans l’aéronautique ou la cybersécurité.
La base s’enrichit chaque jour grâce aux signalements de la communauté. Chacun peut ainsi apporter sa pierre à l’édifice en soumettant de nouveaux incidents, triés et classés pour en dégager des tendances. L’idée est d’arriver à une définition partagée de ce qu’est un « incident d’IA » et d’en tirer des leçons pour l’avenir.
Car n’en déplaise à Elon Musk ou à Mark Zuckerberg, le futur de l’IA ne se fera pas sans règles ni garde-fous. Pour que la révolution intelligente profite au plus grand nombre, elle doit impérativement s’accompagner d’une démarche éthique et responsable. C’est précisément la mission du Responsible AI Collaborative, l’organisation derrière l’AIID, qui rassemble chercheurs, entrepreneurs et experts du monde entier.
D’ailleurs, vous aussi, vous pouvez contribuer ! Et ils ont de grandes ambitions puisque la prochaine étape sera d’intégrer les incidents dans des outils de test pour reproduire les scénarios à risque et s’entraîner à y faire face. Une sorte de « crash test » géant pour IA en quelque sorte !
À terme, l’objectif est de faire de l’AIID un outil incontournable pour tous les acteurs de l’écosystème : Chercheurs, régulateurs, industriels… Car ne nous y trompons pas, la course à l’IA ne fait que commencer et les incidents risquent de se multiplier si nous n’y prenons pas garde.
D’ici là, votre mission si vous l’acceptez sera de garder un oeil sur ce grand capharnaüm de l’IA et de signaler sans relâche les anomalies que vous constaterez ! Car après tout, la sécurité de ces systèmes est l’affaire de tous et rien ne vaut la vigilance humaine pour déjouer les bugs les plus retors.
PyTorch, le framework chouchou des bidouilleurs d’IA, vient de nous pondre un petit truc cool : Torchtune ! 💎 Cette nouvelle bibliothèque native, encore en phase alpha mais déjà disponible en open-source sur GitHub, va vous permettre de fine-tuner les gros modèles de langage (LLM) comme un pro, sans vous prendre la tête.
Torchtune est donc une boîte à outils hyper flexible et modulaire qui va vous permettre de vous éclater à customiser des modèles pour vos propres besoins, le tout avec des recettes mémoire efficaces qui tournent même sur une bête carte graphique de gamer, comme les NVidia 3090/4090.
Son secret ?
Une architecture bien pensée qui mise sur l’interopérabilité avec l’écosystème des LLM, qu’ils soient open-source ou non. Concrètement, ça veut dire que vous allez pouvoir brancher Torchtune à tout un tas d’outils et de frameworks que vous adorez déjà, comme Hugging Face 🤗, PyTorch FSDP 🪢, Weights & Biases 📈, et plein d’autres.
Grâce à des recettes simples et bien documentées pour les modèles populaires comme Llama 3, Mistral ou Gemma 7B, même les débutants vont pouvoir se lancer dans l’aventure sans flipper. Bon OK, il faudra quand même un peu de bagage en PyTorch et en LLM, mais rien d’insurmontable ! Et si vous êtes un pro, vous allez pouvoir hacker le code à volonté pour l’adapter à vos besoins spécifiques.
Rien de plus simple, mon cher Watson ! Il vous suffit d’installer la dernière version stable de PyTorch (2.2.2 au moment où j’écris ces lignes), puis de télécharger Torchtune depuis PyPI avec un petit
pip install torchtune
Et voilà, vous êtes prêt à en découdre avec les LLM !
Pour vous faire les dents, je vous conseille de jeter un œil au tutoriel sur le fine-tuning de Llama2 7B. C’est le parfait point de départ pour comprendre comment Torchtune fonctionne et comment l’utiliser pour vos propres projets.
En gros, ça se passe en 4 étapes :
Téléchargez le modèle pré-entraîné et le tokenizer depuis Hugging Face Hub avec tune download.
Choisissez une recette de fine-tuning (LoRA, QLoRA, full…) et customisez-la avec un fichier de config en YAML.
Lancez l’entraînement avec tune run en précisant votre recette et votre config. Vous pouvez même faire du multi-GPU avec torchrun !
Admirez le résultat et testez votre modèle fine-tuné avec une inférence locale. Si tout se passe bien, exportez-le avec ExecuTorch pour le déployer en prod, ou utilisez les API de quantification de Torchao pour l’exporter en int4 ou int8 et l’utiliser sur mobile ou en edge.
Facile, non ? 😄
Bon OK, j’avoue, j’ai un peu simplifié. En vrai, il y a pas mal de subtilités et de paramètres à régler pour obtenir les meilleurs résultats, comme le learning rate, le nombre d’époques, la taille du batch, le ratio de LoRA, et tout un tas d’autres trucs, mais c’est justement sa flexibilité qui vous permet d’expérimenter à l’infini pour trouver la combinaison parfaite.
Bref, si vous êtes dev et que vous aimez jouer avec les LLM c’est à tester.
VASA-1 est un nouveau framework qui permet de générer des visages parlants ultra-réalistes en temps réel ! En gros, vous balancez une simple photo à cette IA, ainsi qu’un petit clip audio, et bim ! Elle vous pond une vidéo d’un visage qui parle, avec une synchronisation de la bouche nickel chrome, des expressions faciales hyper naturelles et des mouvements de tête très fluides. C’est hyper bluffant !
Les chercheurs de Microsoft ont réussi ce tour de force en combinant plusieurs techniques de pointe en deep learning. Ils ont d’abord créé un espace latent expressif et bien organisé pour représenter les visages humains. Ça permet de générer de nouveaux visages variés, qui restent cohérents avec les données existantes. Ensuite, ils ont entraîné un modèle de génération de dynamiques faciales et de mouvements de tête, appelé le Diffusion Transformer, pour générer les mouvements à partir de l’audio et d’autres signaux de contrôle.
Et le résultat est juste époustouflant. On a l’impression de voir de vraies personnes qui parlent, avec toutes les nuances et les subtilités des expressions faciales. Les lèvres bougent parfaitement en rythme avec les paroles, les yeux clignent et regardent naturellement, les sourcils se lèvent et se froncent…
En plus de ça, VASA-1 peut générer des vidéos en haute résolution (512×512) à une cadence élevée, jusqu’à 40 images par seconde, avec une latence de démarrage négligeable. Autant dire que c’est le graal pour toutes les applications qui nécessitent des avatars parlants réalistes. On peut imaginer des assistants virtuels avec lesquels on pourrait interagir de manière super naturelle, des personnages de jeux vidéo encore plus crédibles et attachants, des outils pédagogiques révolutionnaires pour apprendre les langues ou d’autres matières, des thérapies innovantes utilisant des avatars pour aider les patients… etc etc..
En plus de pouvoir contrôler la direction du regard, la distance de la tête et même les émotions du visage généré, VASA-1 est capable de gérer des entrées qui sortent complètement de son domaine d’entraînement comme des photos artistiques, du chant, d’autres langues…etc.
Bon, évidemment, il reste encore quelques limitations. Par exemple, le modèle ne gère que le haut du corps et ne prend pas en compte les éléments non rigides comme les cheveux ou les vêtements. De plus, même si les visages générés semblent très réalistes, ils ne peuvent pas encore imiter parfaitement l’apparence et les mouvements d’une vraie personne mais les chercheurs comptent bien continuer à l’améliorer pour qu’il soit encore plus versatile et expressif.
En attendant, je vous invite à checker leur page de démo pour voir cette merveille en action. C’est juste hallucinant ! Par contre, vu les problèmes éthiques que ça pourrait poser du style usurpation d’identité, fake news et compagnie, et connaissans Microsoft, je pense que VASA-1 ne sera pas testable par tous bientôt malheureusement. Mais je peux me tromper…
Les grands modèles de langage (LLM), comme le célèbre GPT-4 d’OpenAI, font des prouesses en termes de génération de texte, de code et de résolution de problèmes. Perso, je ne peux plus m’en passer, surtout quand je code. Mais ces avancées spectaculaires de l’IA pourraient avoir un côté obscur : la capacité à exploiter des vulnérabilités critiques.
C’est ce que révèle une étude de chercheurs de l’Université d’Illinois à Urbana-Champaign, qui ont collecté un ensemble de 15 vulnérabilités 0day bien réelles, certaines classées comme critiques dans la base de données CVE et le constat est sans appel. Lorsqu’on lui fournit la description CVE, GPT-4 parvient à concevoir des attaques fonctionnelles pour 87% de ces failles ! En comparaison, GPT-3.5, les modèles open source (OpenHermes-2.5-Mistral-7B, Llama-2 Chat…) et même les scanners de vulnérabilités comme ZAP ou Metasploit échouent lamentablement avec un taux de 0%.
Heureusement, sans la description CVE, les performances de GPT-4 chutent à 7% de réussite. Il est donc bien meilleur pour exploiter des failles connues que pour les débusquer lui-même. Ouf !
Mais quand même, ça fait froid dans le dos… Imaginez ce qu’on pourrait faire avec un agent IA qui serait capable de se balader sur la toile pour mener des attaques complexes de manière autonome. Accès root à des serveurs, exécution de code arbitraire à distance, exfiltration de données confidentielles… Tout devient possible et à portée de n’importe quel script kiddie un peu motivé.
Et le pire, c’est que c’est déjà rentable puisque les chercheurs estiment qu’utiliser un agent LLM pour exploiter des failles coûterait 2,8 fois moins cher que de la main-d’œuvre cyber-criminelle. Sans parler de la scalabilité de ce type d’attaques par rapport à des humains qui ont des limites.
Alors concrètement, qu’est ce qu’on peut faire contre ça ? Et bien, rien de nouveau, c’est comme d’hab, à savoir :
Patcher encore plus vite les vulnérabilités critiques, en priorité les « 0day » qui menacent les systèmes en prod
Monitorer en continu l’émergence de nouvelles vulnérabilités et signatures d’attaques
Mettre en place des mécanismes de détection et réponse aux incidents basés sur l’IA pour contrer le feu par le feu
Sensibiliser les utilisateurs aux risques et aux bonnes pratiques de « cyber-hygiène »
Repenser l’architecture de sécurité en adoptant une approche « zero trust » et en segmentant au maximum
Investir dans la recherche et le développement en cybersécurité pour garder un coup d’avance
Les fournisseurs de LLM comme OpenAI ont aussi un rôle à jouer en mettant en place des garde-fous et des mécanismes de contrôle stricts sur leurs modèles. La bonne nouvelle, c’est que les auteurs de l’étude les ont avertis et ces derniers ont demandé de ne pas rendre publics les prompts utilisés dans l’étude, au moins le temps qu’ils « corrigent » leur IA.
Ça y est, c’est officiel ! ChatGPT, le célèbre agent conversationnel développé par OpenAI, est désormais accessible à tous sans qu’on ait besoin de se créer un compte. C’est une nouvelle qui devrait ravir les curieux qui souhaitaient tester les capacités de cette intelligence artificielle révolutionnaire sans avoir à s’embêter avec la création d’un énième compte en ligne.
Pour profiter de ChatGPT sans compte, rien de plus simple ! Il vous suffit de vous rendre sur l’application web chat.openai.com ou de télécharger l’application officielle ChatGPT sur votre smartphone, que vous soyez sur iPhone ou Android. Et vous pourrez directement commencer à discuter avec l’IA sans aucune autre formalité.
Par contre, ici en France, ça n’a pas encore l’air actif. J’ai du passer par un VPN via les États-Unis pour en profiter sans avoir à me créer un compte.
Et il faut quand même noter quelques petites limitations par rapport à la version avec compte. Déjà, vous ne pourrez pas sauvegarder ni consulter l’historique de vos conversations, et encore moins les partager avec d’autres utilisateurs. Vous n’aurez pas non plus accès aux conversations vocales ou aux instructions personnalisées. Et surtout, vous serez limité au modèle standard GPT-3.5, comme pour les comptes gratuits. Si vous voulez profiter de la puissance du modèle GPT-4, il faudra alors passer à la caisse et souscrire à l’abonnement payant ChatGPT Plus.
Mais bon, pour une utilisation basique de ChatGPT, la version sans compte est largement suffisante. Vous pourrez poser toutes vos questions, demander des conseils, générer du contenu, et même avoir des conversations à l’infini avec l’IA. Parfait pour découvrir le potentiel de l’IA conversationnelle et vous familiariser avec cet outil fascinant si ce n’est pas encore fait.
D’ailleurs, OpenAI a précisé avoir mis en place des « garde-fous supplémentaires » pour l’utilisation de ChatGPT sans compte. Donc ne soyez pas surpris si l’IA refuse de répondre à certaines de vos questions un peu trop sensibles ou sur des thèmes controversées.
N’oubliez pas que ChatGPT reste un outil imparfait, avec ses limites et ses défauts et qu’il peut parfois se tromper, inventer des choses ou tenir des propos biaisés. Donc gardez toujours votre esprit critique et ne prenez pas tout ce qu’il dit pour argent comptant. Et par pitié, ne l’utilisez pas comme un oracle infaillible ou comme si c’était Wikipédia. Voyez plutôt ça comme un outil permettant de retravailler du texte.
La révolution de l’IA est en marche depuis un bon moment maintenant mais faire tourner les derniers modèles de langage comme llama.cpp sur votre bécane, demande de la puissance. C’est là qu’intervient Justine Tunney, hackeuse et ex-programmeuse de chez Google, qui vient de pondre de nouveaux kernels d’algèbre linéaire pour booster les perfs de llama.cpp.
Concrètement, elle a réécrit les routines qui font les multiplications de matrices, c’est à dire les opérations au cœur des réseaux de neurones et en utilisant les dernières instructions vectorielles AVX-512 et ARM dotprod, elle a réussi à multiplier par 5 la vitesse d’exécution sur les processeurs récents d’Intel, AMD et ARM.
Mais ce n’est pas tout, elle a aussi bossé sur l’optimisation mémoire. Fini le temps où les calculs étaient ralentis par les accès à la RAM. Grâce à une utilisation intelligente du cache L2 et du prefetching, elle arrive maintenant à diviser par 2 le temps de chargement des données.
Résultat, llama.cpp et les autres modèles compatibles tournent comme des horloges, même sur des configs modestes. Fini les CUDA cores hors de prix, un bon vieux processeur avec un peu de RAM suffit. De quoi démocratiser l’accès à l’IA sans se ruiner surtout que son code est dispo sur son GitHub. Il est écrit en C++ avec zéro dépendance externe et peut être compilé sur Linux, macOS, Windows, FreeBSD et même SerenityOS.
Mais Justine ne compte pas s’arrêter là. Elle planche déjà sur le support de nouveaux formats de données comme le FP16 et le BF16 pour réduire encore l’empreinte mémoire. À terme, elle espère faire tourner les IA les plus gourmandes sur un Raspberry Pi ! Chouette non ?
D’un côté on a donc les géants comme Nvidia qui misent tout sur leurs accélérateurs graphiques propriétaires et de l’autre les hackers et les libristes qui veulent garder le contrôle de leur machine avec du code ouvert et optimisé.
En attendant, je vous invite à tester ses kernels par vous-même et à voir la différence. C’est peut-être ça le véritable sens du progrès technologique : permettre au plus grand nombre d’accéder à des outils auparavant réservés à une élite.
Dispo sous Windows, Linux et macOS (Intel et Silicon), Reor est un outil de prise de notes markdown capable de s’auto-organiser. Cela signifie que l’outil utilise de l’IA localement pour vous aider à mettre de l’ordre dans vos idées.
C’est assez ouf puisque ça vous fera gagner un max de temps en reliant automatiquement vos idées, mais également en répondant à toutes vos questions en se basant sur vos notes. Reor offre également un moteur de recherche sémantique et le tout est stocké localement, ce qui évitera que vos données ne soient pompées.
Reor tire parti des géants tels que Llama.cpp, Transformers.js et LanceDB pour permettre à la fois aux modèles LLM et d’inférences de s’exécuter localement. Il est également possible de se connecter à des API compatibles OpenAI si vous le désirez.
Alors, comment fonctionne cette auto-organisation ?
En réalité, chaque note que vous écrivez est fragmentée et intégrée dans une base de données vectorielle interne. Les notes connexes sont automatiquement reliées par la similarité vectorielle. De plus, la base de Q&R alimentée par les LLM fonctionne sur un principe de RAG (Retrieval-Augmented Generation) sur le corpus de notes que vous lui avez donné. Exactement comme ce qu’on peut faire aujourd’hui avec des PDF et des outils comme PDFtoChat.
Pour commencer, rien de plus simple : il vous suffit de télécharger Reor et de l’installer comme n’importe quelle autre application. Notez que pour l’instant, l’application ne télécharge pas les modèles pour vous, vous devrez donc télécharger manuellement votre modèle de choix au format GGUF et l’importer dans l’outil. Cela peut être Mistral ou Llama 2 par exemple. Et comme ce sont des modèles open source et gratuits, vous n’aurez rien à payer.
L’importation de notes provenant d’autres applications est également possible, puisque Reor stocke ses données dans un seul répertoire, que vous choisissez lors de la première utilisation. Pour importer des notes/fichiers d’une autre application, il vous suffit donc de remplir ce répertoire manuellement avec des fichiers Markdown.
Voilà, c’est encore un peu brut comme outil, mais je parie que ça s’affinera avec le temps.
Afin de rendre l’IA accessible à tous, y compris gratuitement puisque la plupart des modèles fonctionnent sur un système open source, une équipe de développeurs talentueux a créé Jan un outil pour les développeurs et les utilisateurs souhaitant profite d’une alternative à ChatGPT, totalement indépendante, fonctionnant hors ligne, open source et libre.
Il faut donc voir Jan comme un client de chat qui permet de télécharger des modèles comme Trinity, Mistral, Llama, OpenChat…etc. et de les faire tourner 100% hors ligne. Comme ça, pas de fuite de conversations privées ni de réutilisation de vos données pour entrainer de nouvelles IA. Et si comme moi, vous êtes accro à l’IA d’OpenAI, vous pourrez toujours y ajouter votre clé API et discuter avec ChatGPT (au tarif fixé par OpenAI évidemment).
Jan fonctionne sous Linux (Appimage et .deb dispo), sous Windows et macOS (Intel / Silicon) et propose une prise en charge des modèles open source tels que GGUF via llama.cpp, TensorRT via TensorRT-LLM ou des API externes. Jan utilise également le moteur d’inférence Nitro, des mêmes développeurs, qui se veut être rapide et léger.
Je teste ici le modèle Trinity 1.2 7B Q4 :
Et ici un modèle spécialisé en code Python nommé Wizard Coder Python 13B Q5.
Un truc cool avec Jan c’est que toutes les conversations sont conservées sur votre disque au format JSON, donc si le coeur vous en dit, vous pourrez ensuite les exploiter comme bon vous semble dans vos outils.
Jan propose également un serveur REST qui permet d’interroger via une API compatible OpenAI n’importe quel modèle que vous y feriez tourner. Ça permet de brancher vos outils ou vos scripts directement sur le LLM ouvert de votre choix.
Dans la lignée de Ollama ou LM Studio, Jan rempli ses promesses et vous permettra de vous éclater avec l’IA (abus de langage, je sais…) sans mettre en péril vos données personnelles.
Pour en savoir plus, rendez-vous sur le site de Jan ou sur leur page Github pour les sources et la doc.
Enfin, avec le concours de bistouquettes actuel entre Macron et Poutine, on se demande si on va pas partir tous collectivement vers le grand Au-Delà dans une grande gerbe de feu… Mais, si on met ça de côté, en tout cas la nôtre de fin, à titre individuel, arrivera forcement un jour 😬.
Mais quand ?
Life2vec, c’est un nouveau projet d’IA dingue qui nous vient tout droit du Danemark et qui va nous aider à répondre à cette question !
Il s’agit d’une intelligence artificielle capable de prédire des événements majeurs de votre vie, comme un décès prématuré, la naissance d’enfants, ou un mariage, rien qu’en analysant vos données personnelles. Ça a l’air d’un scénario de science-fiction, mais c’est malheureusement bien réel !
Alors comment ça fonctionne encore cette connerie ? Et bien les chercheurs ont entraîné leur modèle d’IA sur un jeu de données assez conséquant contenant les informations anonymisées de millions de Danois sur plusieurs décennies. En utilisant des techniques avancées d’apprentissage profond, Life2vec a appris à repérer des patterns dans les trajectoires de vie des gens.
Le modèle se base sur une architecture Transformer bidirectionnelle, un peu comme BERT en traitement du langage naturel. Mais au lieu de séquences de mots, il traite des séquences d’événements de vie. Chaque événement est ainsi représenté par un embedding, un vecteur numérique qui capture son sens. En analysant les relations entre ces embeddings, Life2vec peut alors faire des prédictions étonnamment précises !
Les chercheurs ont évalué leur modèle sur plusieurs tâches, comme la prédiction de mortalité précoce ou une expatriation. Les résultats sont bluffants : Life2vec surpasse de loin les modèles traditionnels, avec unefiabilité allant jusqu’à 76% ! Ils ont aussi montré que le modèle capturait des concepts haut niveau comme la stabilité professionnelle ou les troubles mentaux.
Mais au-delà de la prouesse technique, ce projet soulève des questions éthiques plutôt épineuses. Imaginez que des assurances ou des banques mettent la main sur ce genre d’outil pour évaluer leurs clients… Ça ouvre la porte à des dérives dangereuses ! Les chercheurs en sont bien conscients et appellent d’ailleurs à un encadrement strict de cette technologie.
Malgré ces risques, Life2vec ouvre des perspectives passionnantes comme nous permettre de mieux comprendre les différents facteurs qui influent sur nos trajectoires de vie et nous aider à identifier des leviers d’action pour les politiques publiques. On pourrait même imaginer des applications en médecine personnalisée ou en orientation professionnelle !
Bref, c’est un projet qui ne manque pas d’ambition et qui nous rappelle à quel point l’IA va bouleverser notre société dans les années à venir. Mais comme toujours avec ces technologies, il va falloir trouver le bon équilibre entre progrès et éthique. Et on va surtout pas demander à Najat ce qu’elle en pense.
FeatUp, c’est le nom de ce nouvel algorithme révolutionnaire développé par une équipe de chercheurs du MIT dont le but consiste à faire passer la vision par ordinateur à la vitesse supérieure en lui offrant une résolution digne d’un œil de lynx.
Comment ça marche ? En gros, FeatUp s’attaque au problème de la perte d’information qui se produit quand les algorithmes d’IA analysent une image. Normalement, ils la découpent en une grille de petits carrés de pixels qu’ils traitent par groupe. Résultat, la résolution finale est bien plus faible que l’image de départ. Avec FeatUp, fini la myopie ! L’algo est capable de capter tous les détails, des plus évidents aux plus subtils.
La clé, c’est de faire légèrement bouger et pivoter les images pour voir comment l’IA réagit à ces micro-variations. En combinant des centaines de « cartes de caractéristiques » ainsi générées, on obtient un ensemble de données haute définition super précis. Un peu comme quand on crée un modèle 3D à partir de plusieurs images 2D sous différents angles.
Mais pour que ça turbine, il a fallu créer une nouvelle couche de réseau de neurones ultra-efficace, baptisée « suréchantillonnage bilatéral conjoint« . Grâce à elle, FeatUp améliore les performances d’un tas d’algos différents, de la segmentation sémantique à l’estimation de profondeur.
Les applications potentielles sont dingues : imaginez pouvoir repérer un minuscule panneau sur une autoroute encombrée pour une voiture autonome, ou localiser précisément une tumeur sur une radio des poumons. Avec sa capacité à transformer des suppositions vagues en détails précis, FeatUp pourrait rendre tous ces systèmes bien plus fiables et sûrs.
L’objectif des chercheurs, c’est que FeatUp devienne un outil fondamental du deep learning, pour enrichir les modèles sans sacrifier l’efficacité. Comme le résume Mark Hamilton, co-auteur de l’étude, l’enjeu est d’obtenir « le meilleur des deux mondes : des représentations très intelligentes avec la résolution de l’image d’origine« .
Bref, si FeatUp tient ses promesses, on n’a pas fini d’entendre parler de cette prouesse technologique qui pourrait donner un sacré coup de boost à l’IA visuelle puisqu’elle fournit des versions haute résolution d’analyses d’images qu’on pensait jusque-là limitées à la basse résolution. »
Vous pensiez qu’Apple se contentait de suivre les autres géants de la tech en matière d’intelligence artificielle ? Détrompez-vous ! La firme de Cupertino vient de dévoiler les secrets de son nouveau modèle d’IA baptisé MM1, et croyez-moi, ça décoiffe grave !
Alors que Google mise sur son modèle Gemini pour booster les fonctionnalités IA d’iOS 18, Apple a décidé de tracer sa propre route avec MM1. L’idée de génie ? Utiliser un dataset diversifié qui mélange allègrement du texte et des images pour entraîner cette IA nouvelle génération.
Résultat, MM1 est capable de générer des légendes pour des images de manière hyper précises, de répondre à des questions posées sur des images et même d’inférer du langage naturel à partir d’indices linguistiques et visuels. Une vraie bête de compétition !
En combinant différentes méthodes d’entraînement issues d’autres IA avec ses propres techniques maison, Apple espère ainsi rattraper son retard sur des mastodontes comme Google ou OpenAI. Et vu le niveau de performances annoncé, y a de quoi être optimiste !
Alors comment ça fonctionne ?
Et bien si vous montrez une photo de votre chat à MM1, non seulement il sera capable de le reconnaître et de le décrire avec une précision redoutable, mais il pourra aussi répondre à des questions du genre « De quelle couleur est son collier ? » ou « A-t-il l’air joueur ou paresseux sur cette image ?« .
Dans l’exemple réel ci-dessous, on lui demande combien il devra payer pour les bières (photo 1) d’après le menu (photo 2). Et c’est le seul à répondre correctement, et précisemment.
Bluffant, non ?
Et ce n’est qu’un exemple parmi d’autres. Apple étant Apple, on peut s’attendre à ce que MM1 révolutionne notre façon d’interagir avec nos devices. Pourquoi pas imaginer une app qui génère automatiquement la description textulle d’une scène que vous auriez photographié ? Ou un mode « sous-titres » universel qui retranscrirait en temps réel tout ce que votre iPhone voit et entend ? Les possibilités sont infinies dès que l’IA est embarquée !
Bien sûr, tout cela n’est encore qu’à l’état de recherche pour le moment. Mais connaissant Apple, on peut parier que la firme mettra rapidement en application les promesses de MM1 dans ses futurs produits et services. iOS 19 propulsé par une IA multimodale surpuissante, ça envoie du rêve, je ne vous le cache pas.
Avec MM1, Apple prouve une fois de plus sa capacité à innover. Pendant que les autres géants de la Silicon Valley se contentent d’améliorer leurs modèles existants, la marque à la pomme préfère partir d’une feuille blanche pour inventer l’IA de demain. Comme dirait l’autre, « think different », ça a du bon ! 😎
Alors, vous en pensez quoi de ce MM1 ? Hâte de voir ce qu’Apple nous réserve pour la suite.
Perso, j’ai déjà hâte de discuter avec mon iPhone comme s’il était mon meilleur pote. Au moins, j’aurais un pote ^^.
Depuis que ChatGPT a catapulté l’IA générative sur le devant de la scène il y a plus d’un an, des milliers de nouvelles apps IA grand public ont vu le jour. Ça va des générateurs de vidéos délirants aux assistants de productivité boostés à l’IA, en passant par des outils créatifs et même des compagnes virtuelles !
Alors ok, les poids lourds comme ChatGPT, Midjourney ou Character.AI trustent toujours le haut du panier côté fréquentation. Mais de nouvelles catégories émergent, comme les outils de productivité (recherche, prise de notes, résumé de docs…) et même la musique ! Vous avez déjà essayé Suno ? Cette app permet de générer des chansons complètes à partir d’un simple texte. Bluffant !
Côté apps mobiles, c’est un peu la foire aux assistants façon ChatGPT et aux créateurs d’avatars. Forcément, avec toutes les photos qu’on a dans nos smartphones, y a de quoi alimenter les IA. Mais là où ça devient intéressant, c’est quand on creuse les usages spécifiques au mobile : les claviers IA pour écrire ses textos, les scanners de devoirs pour les étudiants flemmards, les profs de langues virtuels…
Plein de ces apps à succès viennent de studios basés à Istanbul ou Milan ! Les gars maîtrisent l’art de pondre des apps IA addictives et qui rapportent beaucoup pognon. Du genre Remini, l’outil d’amélioration de photos, qui a levé 155 millions de dollars ! 🤑
Bref, une chose est sûre, cette nouvelle génération d’apps IA est en train de bouleverser nos usages à vitesse grand V. Elles nous rendent plus créatifs, plus productifs… et parfois un peu accros aussi, faut bien l’avouer ! 😅 Mais honnêtement, quand je vois tout ce qui est possible aujourd’hui grâce à l’IA générative, j’ai hâte de découvrir la suite.
Bonne nouvelle, Ollama vient tout juste d’annoncer un truc qui devrait vous faire plaisir : le support des cartes graphiques AMD en preview ! Cela signifie que toutes les fonctionnalités d’Ollama peuvent maintenant être accélérées par les cartes graphiques AMD, que ce soit sur Linux ou Windows.
Mais au fait, c’est quoi Ollama ? Pour les deux du fond qui suivent pas, je vous refais un topo vite fait. Ollama, c’est un outil hyper pratique qui permet de faire tourner des grands modèles de langage open-source directement sur votre machine locale. Genre Mistral, Llama 2 et toute la clique.
Alors, quelles sont les cartes AMD compatibles ?
Pas de panique, je vous ai préparé une petite liste bien détaillée. Dans la famille des Radeon RX, on retrouve les monstres comme les 7900 XTX, 7900 XT, 7800 XT, 6900 XT et compagnie. Pour les pros, la gamme Radeon PRO est aussi de la partie avec les W7900, W6800X Duo, Vega II… Bref, y a du beau monde au rendez-vous. Et si vous êtes un fan des cartes Instinct, pas de jaloux, les MI300X, MI250, MI100 et autres sont aussi supportées.
Ollama promet également que d’autres modèles de cartes graphiques suivront. Alors on croise les doigts et on surveille les annonces comme le lait sur le feu. En attendant, si vous voulez vous lancer dans l’aventure Ollama avec votre carte AMD, c’est simple comme bonjour.
Téléchargez Ollama pour Linux ou Windows, installez le bouzin et hop, vous voilà parés pour faire chauffer votre GPU AMD ! C’est pas beau la vie ? Je vous ai même fait un tutoriel ici !
Allez, je vous laisse, j’ai un rendez-vous urgent avec mon Llama2 uncensored qui me fait de l’œil.
Si vous lisez mon site depuis longtemps, vous savez que j’apprécie tous ces petits projets de DIY (Do It Yourself), alors maintenant qu’on peut y coller un peu d’IA, j’ai l’impression que tout devient possible. Tenez par exemple ce projet baptisé Adeus.
C’est un dispositif portable d’intelligence artificielle open source capable de vous accompagner à chaque instant. Cette technologie, bien plus qu’un simple gadget, deviendra possiblement de standard des années qui arrivent. La preuve avec le succès du Rabbit R1 qui n’a pour d’autres buts que de remplacer les smartphones.
Alors comment fonctionne Adeus ?
Hé bien, ce système se compose de trois éléments clés qui interagissent les uns avec les autres :
Il y a tout d’abord une application mobile / web qui n’est ni plus ni moins qu’une interface qui permet à l’utilisateur d’interagir avec son IA personnelle et ses données par le biais d’un chat.
Côté matos, il y a le dispositif portable qui enregistrera tout ce que l’utilisateur dit ou entend, et l’enverra au backend pour être traité. Pour le moment, c’est possible à déployer sur un Raspberry Pi Zero W ou un appareil CoralAI.
Et ce backend basé sur Supabase, avec sa base de données, sera capable de traiter et stocker les données que nous échangeons avec les LLM (Large Language Model).
Toutefois, pour garantir le respect de nos données et notre propriété intellectuelle, Adeus a choisi la voie de l’open source. Grâce à cette philosophie, il est possible de garder un œil sur le fonctionnement de l’IA et de s’assurer qu’aucun tiers ne peut accéder à notre précieux contenu. Pour un objet à qui on confie toute sa vie perso, je trouve ça plutôt sain.
Pour en savoir plus, vous pouvez consulter la page GitHub d’Adeus qui regorge d’informations détaillées sur le projet.
Accrochez-vous bien à vos manettes car Google DeepMind vient de dévoiler un truc de dingue qui devrait intéresser le gamers que vous êtes !
Leur nouveau programme d’IA baptisé SIMA (Scalable Instructable Multiworld Agent) est capable d’apprendre à réaliser des tâches dans une multitude de jeux vidéo, juste en suivant des instructions en langage naturel.
Nvidia avait déjà fait fort l’année dernière en annonçant une techno pour créer des PNJ dotés d’une IA générative capable de discuter en temps réel avec les joueurs. Mais SIMA pousse le concept encore plus loin en acquérant carrément des compétences de joueur humain. Voilà qui promet des parties multijoueurs d’un nouveau genre !
Pour entraîner leur agent, les chercheurs de DeepMind ont collaboré avec huit studios de développement, dont des pointures comme Hello Games (No Man’s Sky) ou Coffee Stain (Valheim). Ils ont ainsi pu plugger SIMA dans des jeux aussi variés que la sandbox spatiale No Man’s Sky, le jeu de destruction créative Teardown ou même le totalement barré Goat Simulator 3 que mes enfants adorent (bêêê !). De quoi lui faire découvrir un max d’environnements interactifs et lui apprendre tout un tas de skills, de la simple navigation dans les menus jusqu’au pilotage de vaisseau ou au craft d’équipements.
Le plus fort, c’est que SIMA n’a pas besoin d’accéder au code source des jeux ni à des API spécifiques. Il lui suffit de deux inputs : le flux d’images à l’écran et des instructions basiques en langage naturel fournies par l’utilisateur. Avec ça, il est capable de prendre le contrôle du personnage principal via des commandes clavier/souris pour réaliser les actions demandées.
Autrement dit, SIMA interagit avec les jeux exactement comme un joueur humain ! C’est fou !
Pour l’instant, l’agent IA maîtrise environ 600 compétences de base : tourner à gauche, grimper à une échelle, ouvrir la carte… Mais il n’est pas encore capable de réaliser des tâches plus stratégiques nécessitant de la planification, comme trouver des ressources pour construire un camp de base. Mais les chercheurs de DeepMind comptent bien l’entraîner pour y parvenir. L’idée, c’est de combiner la puissance des grands modèles de langage (LLM), qui excellent pour générer des connaissances et des plans, avec un agent capable de passer à l’action de manière autonome.
Les tests réalisés montrent d’ailleurs que SIMA est bien plus performant quand il a été entraîné sur un ensemble de jeux que sur un seul. Mieux, un agent formé sur 8 jeux mais pas sur le 9ème se débrouillera presque aussi bien sur le 9ème, qu’il n’a jamais vu, qu’un agent IA spécialisé.
SIMA est donc capable de développer des capacités de généralisation au-delà de son entraînement initial. C’est hyper prometteur même s’il va encore falloir bosser pour qu’il atteigne le niveau des vrais joueurs. Vos streamers Twitch préférés ne sont pas encore tous au chômage, je vous rassure !
Les résultats de SIMA ouvrent en tout cas la voie vers une nouvelle génération d’agents IA généralistes et pilotés par le langage. En les exposant à un maximum d’environnements et en les dotant de modèles toujours plus avancés, DeepMind espère les rendre plus polyvalents et capables de réaliser des tâches de plus en plus complexes, aussi bien dans les univers virtuels que dans le monde réel.
Imaginez un peu les possibilités : un agent IA qui pourrait vous servir de bon pôte dans vos jeux préférés mais aussi vous assister dans plein de tâches du quotidien, juste en lui parlant ! J’imagine également que l’armée américaine s’en frotte déjà les mains…. gloups !
En attendant de pouvoir tester tout ça, je vous recommande de garder un œil sur
les travaux de DeepMind, qui sont en train de repousser les limites de ce qui est possible avec l’IA. Et si vous avez envie de vous essayer à la création de PNJ « intelligents », jetez aussi un œil au projet « ACE for Games » de Nvidia, c’est assez bluffant !
Quoiqu’il en soit, ça promet en tout cas de sacrées parties multijoueurs dans les années à venir, avec des bots toujours plus crédibles pour peupler les mondes virtuels et interagir avec nous. Mais n’ayez crainte, même si ces IA font des progrès fulgurants, je pense qu’on est encore loin du jour où elles pourront nous botter les fesses sur nos jeux préférés. Enfin, vu comme je suis une quiche en jeu, mes fesses c’est possible mais pour les autres, vous restez les meilleurs quand il s’agit de faire preuve de créativité et de sens tactique.
Je parle beaucoup d’IA en ce moment, donc histoire de changer, je vais encore vous vous parler d’un outil « intelligent » (je vous ai bien eu ! ^^) qui cette fois va plaire à tous ceux qui veulent être plus organisés et efficaces : NotesGPT.
Cet outil permet de convertir vos notes vocales en résumés organisés et en actions claires grâce à l’intelligence artificielle. C’est un nouvel usage qui va peut-être changer la façon dont vous prenez des notes et organisez votre travail. NotesGPT est open source et repose sur une combinaison de technologies, dont Convex, Together.ai et Whisper. Ces outils permettent de générer des éléments d’action comme une todo list à partir de vos notes en quelques secondes seulement.
C’est bien sûr utilisable en ligne ici, mais pour ceux qui souhaitent déployer leur propre version de l’application, il est possible de le faire. Il vous suffit pour cela de suivre les étapes décrites sur la page Deploy Your Own du projet notesGPT sur GitHub.
L’équipe derrière NotesGPT travaille également sur une série de tâches futures pour améliorer encore l’outil. Parmi ces améliorations, on peut citer la possibilité de conserver les enregistrements pour une écoute future, d’animer le microphone pour qu’il soit synchronisé avec votre voix, de stocker les éléments d’action terminés pour les consulter ultérieurement, et bien d’autres choses encore.
Je l’ai testé et c’est assez bluffant même si après les tâches sont décrites en anglais.
Ce genre d’outils peut aider les pros, mais également les étudiants à gérer leurs notes vocales de manière plus efficace. Grâce à l’IA, on gagne encore plus de temps. Après si vous êtes septique, le mieux c’est encore de le tester par vous-même.
Connexion
