La révolution de l’IA est en marche depuis un bon moment maintenant mais faire tourner les derniers modèles de langage comme llama.cpp sur votre bécane, demande de la puissance. C’est là qu’intervient Justine Tunney, hackeuse et ex-programmeuse de chez Google, qui vient de pondre de nouveaux kernels d’algèbre linéaire pour booster les perfs de llama.cpp.

Concrètement, elle a réécrit les routines qui font les multiplications de matrices, c’est à dire les opérations au cœur des réseaux de neurones et en utilisant les dernières instructions vectorielles AVX-512 et ARM dotprod, elle a réussi à multiplier par 5 la vitesse d’exécution sur les processeurs récents d’Intel, AMD et ARM.

Mais ce n’est pas tout, elle a aussi bossé sur l’optimisation mémoire. Fini le temps où les calculs étaient ralentis par les accès à la RAM. Grâce à une utilisation intelligente du cache L2 et du prefetching, elle arrive maintenant à diviser par 2 le temps de chargement des données.

Résultat, llama.cpp et les autres modèles compatibles tournent comme des horloges, même sur des configs modestes. Fini les CUDA cores hors de prix, un bon vieux processeur avec un peu de RAM suffit. De quoi démocratiser l’accès à l’IA sans se ruiner surtout que son code est dispo sur son GitHub. Il est écrit en C++ avec zéro dépendance externe et peut être compilé sur Linux, macOS, Windows, FreeBSD et même SerenityOS.

Mais Justine ne compte pas s’arrêter là. Elle planche déjà sur le support de nouveaux formats de données comme le FP16 et le BF16 pour réduire encore l’empreinte mémoire. À terme, elle espère faire tourner les IA les plus gourmandes sur un Raspberry Pi ! Chouette non ?

D’un côté on a donc les géants comme Nvidia qui misent tout sur leurs accélérateurs graphiques propriétaires et de l’autre les hackers et les libristes qui veulent garder le contrôle de leur machine avec du code ouvert et optimisé.

En attendant, je vous invite à tester ses kernels par vous-même et à voir la différence. C’est peut-être ça le véritable sens du progrès technologique : permettre au plus grand nombre d’accéder à des outils auparavant réservés à une élite.

Source

Portable computing demands convenience! This objective has allowed an entire PC to be stuffed into our pockets already. Yet, there is no comparison to the suitability and convenience of a laptop. LG ensured laptops remain the most versatile device for all creative needs with the birth of LG Gram ultra-lightweight laptops. Now, designers believe there is a scope to transform LG’s innovation into an optical illusion.

Of course, the major inspiration for the idea of the Illusion screen is the LG Gram laptop. For me, however, it is reminiscent of a transistor from the era gone by courtesy of its carrying handle and a nice metallic sheen. The Illusion screen laptop is a concept design created by KDM+ through LG Electronics’ industry-academic cooperation project.

Designers: JiHoon Park, Sherry Ahn, Dahyeon Kim and Korea Design Membership

A laptop has reformed the way we work today, essentially merging the previously separated digital experience of desktops. As laptops are the daily drivers of the workforce, the Illusion screen provides a reimagined design that allows the display to disappear into the clamshell design. Taking up a little space on the desk, the Illusion laptop presents configurations and styling options to complement our lifestyle and working requirements.

Chances are the transistor reference would resonate with you too. It appears similar with a unibody design – wrapping up an illusionary display on the front and leather cushioning on the back – extending to the carrying handle on top and a nice tuner-style knob on the right. The highlight is the illusion graphics on the screen that continuously play as moving water droplets or color patterns at different screen angles.

With its interesting modular screen, which can be used at any angle from 0 to 90 degrees and in between, the Illusion laptop is usable in any position the user desires. With that versatility, it opens up a range of use cases on your desk to be used independently (with a magnetic Bluetooth keyboard that resides within in clamshell mode) or with an external screen to enhance your creativity.

Since the LG Illusion screen emphasizes portability and convenience, it comes in this handbag-like form with its handle so you can carry it around like a briefcase without additional casing or luggage. The knob on the side is basically for adjusting the screen angle so you can consume different content at different display orientations. On the bottom of the leather cushioned back panel is the speaker grill of the Illusion laptop while on the top are vents for air. The laptop with the captivating optical display has various connectivity ports on the sides, but there is no word on the specifications one will get in this LG Illusion screen.

The post This ‘PC in a briefcase’ reimagines the LG convertible laptop as an optical illusion first appeared on Yanko Design.

FeatUp, c’est le nom de ce nouvel algorithme révolutionnaire développé par une équipe de chercheurs du MIT dont le but consiste à faire passer la vision par ordinateur à la vitesse supérieure en lui offrant une résolution digne d’un œil de lynx.

Comment ça marche ? En gros, FeatUp s’attaque au problème de la perte d’information qui se produit quand les algorithmes d’IA analysent une image. Normalement, ils la découpent en une grille de petits carrés de pixels qu’ils traitent par groupe. Résultat, la résolution finale est bien plus faible que l’image de départ. Avec FeatUp, fini la myopie ! L’algo est capable de capter tous les détails, des plus évidents aux plus subtils.

La clé, c’est de faire légèrement bouger et pivoter les images pour voir comment l’IA réagit à ces micro-variations. En combinant des centaines de « cartes de caractéristiques » ainsi générées, on obtient un ensemble de données haute définition super précis. Un peu comme quand on crée un modèle 3D à partir de plusieurs images 2D sous différents angles.

Mais pour que ça turbine, il a fallu créer une nouvelle couche de réseau de neurones ultra-efficace, baptisée « suréchantillonnage bilatéral conjoint« . Grâce à elle, FeatUp améliore les performances d’un tas d’algos différents, de la segmentation sémantique à l’estimation de profondeur.

Les applications potentielles sont dingues : imaginez pouvoir repérer un minuscule panneau sur une autoroute encombrée pour une voiture autonome, ou localiser précisément une tumeur sur une radio des poumons. Avec sa capacité à transformer des suppositions vagues en détails précis, FeatUp pourrait rendre tous ces systèmes bien plus fiables et sûrs.

L’objectif des chercheurs, c’est que FeatUp devienne un outil fondamental du deep learning, pour enrichir les modèles sans sacrifier l’efficacité. Comme le résume Mark Hamilton, co-auteur de l’étude, l’enjeu est d’obtenir « le meilleur des deux mondes : des représentations très intelligentes avec la résolution de l’image d’origine« .

Bref, si FeatUp tient ses promesses, on n’a pas fini d’entendre parler de cette prouesse technologique qui pourrait donner un sacré coup de boost à l’IA visuelle puisqu’elle fournit des versions haute résolution d’analyses d’images qu’on pensait jusque-là limitées à la basse résolution. »

Pour en savoir plus, direction l’article du MIT !

Les séquenceurs MIDI sont des logiciels qui, lorsqu’ils ont émergés à l’époque, nous permettaient de jouer avec des claviers électroniques pour créer grâce à notre ordinateur, des mélodies envoûtantes et parfois, avouons-le, un peu cacophoniques.

Si vous souhaitez vous y remettre, sans pour autant vous prendre la tête avec des softs complexes ou onéreux, vous êtes sur le bon article puisqu’aujourd’hui je vais vous parler d’un outil nommé Cacophony.

Cacophony est un séquenceur MIDI minimaliste et ergonomique, spécialement conçu pour vous aider à composer sans avoir besoin de vous former. L’une des choses qui m’a vraiment séduit dans Cacophony, c’est cette interface épurée, utilisable sans souris, qui ramène à l’essence même de la composition musicale.

Ce séquenceur MIDI est open source, et offre toutes les fonctionnalités de bases nécessaires aux débutants, ce qui signifie qu’il n’est pas aussi évolué que les logiciels professionnels, mais qu’il vous permettra de vous amuser et bien sûr commencer à créer de la musique.

De plus, il prend en charge l’exportation vers différents formats audio (wav, mp3, ogg, or mid) avec possibilité de séparer les pistes. Vous pourrez donc facilement sauvegarder votre œuvre d’art et la partager avec vos amis.

Il est disponible sur Linux, MacOS et Windows et sa frugalité vous permettra de le faire fonctionner sur d’anciennes machines. Par contre, c’est open source, donc gratuit si vous le compilez vous-même. Autrement, si vous voulez récupérer le binaire directement, il faudra payer un peu moins de 10$ via Itch.io.

Si ça vous intéresse, vous pouvez télécharger le logiciel en allant sur leur site officiel.