python -m mlx_audio.stt.generate --model mlx-community/whisper-large-v3-turbo-asr-fp16 --audio meeting.wav --verbose

Y'a aussi le voice cloning avec CSM, où vous filez un fichier audio de référence et le modèle reproduit la voix. Perso, ça fait un peu flipper mais qui est carrément bluffant ! Sauf si vous avez une voix super particulière (trop de clope hein ^^), au final le résultat est assez bon.

Attention, tout ça a besoin de mémoire ! Heureusement, la bibliothèque gère la quantization (de 3 à 8 bits), du coup les modèles sont compressés pour tenir dans la mémoire unifiée des puces Apple Silicon. Le plus léger, Kokoro, fait 82M de paramètres et le plus costaud, Ming Omni, monte à 16.8 milliards de paramètres (mais en mixture-of-experts, donc seulement 3B activés à la fois). Pour ce dernier, faut donc un Mac avec pas mal de RAM.

D'ailleurs, si vous êtes développeur, la bibliothèque expose également une API REST compatible OpenAI. Ça veut dire que vos apps qui causent déjà avec l'API d'OpenAI peuvent basculer sur du local sans changer une ligne de code... enfin presque. Car faut quand même pointer vers localhost au lieu des serveurs d'OpenAI, mais c'est à peu près tout. Y'a même un package Swift pour intégrer ça dans une app iOS ou macOS native.

Voilà, pour ceux qui préfèrent une interface graphique, un mode web avec visualisation 3D de l'audio est même intégré. C'est super joli !

Ce projet est sous licence MIT, et le mainteneur, Prince Canuma, est un ancien ingénieur ML chez Arcee AI, donc pas un random qui a forké un truc un dimanche ^^.

Voilà, si vous avez un Mac et que l'audio IA en local vous branche, c'est open source, c'est gratuit et ça marche carrément bien !

Techniquement, SARCASM est un concentré de tech aussi cool qu’absurde. Le cerveau, c’est un Teensy 4.1, un microcontrôleur ARM Cortex-M7 qui tourne à 600 MHz. Pour la vision, il a utilisé une ESP32-CAM qui capture l’état du cubeet un écran ILI9341 pour afficher une tête avec des animations lip-sync. Des moteurs pas à pas (je crois que c’est comme ça qu’on dit ^^) et des servos pour manipuler le cube, des capteurs de position, un chouette éclairage RGBW, deux batteries 18650 Li-ion avec un port de charge USB-C et il a calé tout ça dans un boîtier imprimé en 3D avec un PCB custom.

Mais le logiciel les amis, c’est là que ça devient vraiment foufou car y’a du text-to-speech avec espeak-ng, des graphiques 2D et 3D custom, des animations qui bougent en temps réel et même comme je vous le disais, un système de dialogues basé sur l’humeur du robot, avec randomisation pour que chaque interaction soit différente.

Evidemment, SARCASM dispose aussi d’un algorithme de résolution du cube avec du décodage JPEG en temps réel pour la reconnaissance des couleurs, du multithreading avec gestion d’interruptions, bref, tout ce qu’il faut pour résoudre des Rubik’s Cube et créer une personnalité à cette machine.

Le robot détecte même quand vous vous foirez en manipulant le cube, juste pour pouvoir vous clasher dessus. Chaque détail technique sert un seul objectif qui est de rendre cette machine “vivante”.

Pour faire tenir tout ça, Vindar a dû modifier le noyau du Teensy. Parce que oui, même avec 600 MHz et un ARM Cortex-M7, il fallait optimiser pour que tout rentre dans la RAM et il a mis tout son code en open-source, sous licence GPL-3.0. Après, comme le précise le dev, son code est incomplet et bordélique mais bon, ça fonctionne…

Et surtout, le robot est autonome. Vous posez un cube standard dessus, il le scanne, il calcule, il résout, tout ça offline sans API ou service de cloud.

Le projet a été présenté en détails sur le forum PJRC , la communauté autour des cartes Teensy et les retours sont unanimement positifs ! Puis au moment, celui-là on s’en souviendra !