Vous rêvez de donner à vos projets d’IA des superpouvoirs visuels ? Ne cherchez plus, Supervision est là pour vous ! Détecter des objets, segmenter des instances, annoter des images et des vidéos… tout ça devient possible en quelques lignes de code seulement grâce à ce projet qui propose une API intuitive et des fonctionnalités avancées pour vous faciliter la vie.
Le secret de Supervision ? Une intégration transparente avec les meilleures librairies de deep learning du moment comme YOLO-NAS, YOLOv8…etc. Ces modèles surpuissants de détection d’objets n’auront plus de secrets pour vous et grâce à eux, vous pourrez identifier et localiser précisément chaque élément dans vos images et vidéos.
Supervision vous offre aussi des outils d’annotation et de visualisation hyper pratiques. Vous pourrez par exemple dessiner des boîtes englobantes autour des objets détectés, afficher les masques de segmentation avec des couleurs personnalisées, ajouter des étiquettes et des scores de confiance…etc.
Côté données, il assure également avec son API de gestion de datasets qui permet de charger vos images et annotations au format YOLO en un clin d’œil, explorer votre dataset, filtrer et spliter les données comme un pro…etc. C’est super simple !
Si ça vous intéresse, tout est sur le repo GitHub du projet et il y a même un site dédié avec la doc, le détail des API et plein d’exemple.
Qui n’a jamais rêvé d’automatiser n’importe quelle tâche web peu importe sa complexité, pour évidemment se la couler douce ?
C’est précisément ce que vous propose Skyvern, un outil qui allie intelligence artificielle et vision par ordinateur pour interagir avec les sites web comme vous le feriez vous-même.
Plus besoin de scripts qui pètent à tout bout de champs, de XPath qui changent tous les 4 matins et de parseurs de DOM capricieux puisque Skyvern est capable de comprendre visuellement ce qu’il y a sur une page web et ainsi générer un plan d’interaction en temps réel.
Cela signifie que Skyvern est capable d’agir sur des sites qu’il n’a jamais vus auparavant, le tout sans avoir besoin de code spécifique. Il analyse les éléments visuels de la page pour déterminer les actions nécessaires pour répondre à votre demande, ce qui en fait un outil immunisé contre les changements de design de sites, contrairement à votre bon vieux scrapper.
Grâce aux modèles de langage (LLM) qu’il embarque, il est capable de « raisonner » donc par exemple, de remplir un formulaire qui vous pose plein de questions, ou de comparer des produits.
Vous voulez voir Skyvern à l’œuvre ? Voici un petit aperçu en vidéo :
Sous le capot, Skyvern s’inspire des architectures d’agents autonomes comme BabyAGI et AutoGPT, avec une couche d’automatisation web en plus, basée sur des outils comme Playwright.
Et comme d’hab, vous pouvez installer la bête sur votre machine et commencer à automatiser tout votre boulot en quelques commandes.
Vous devrez donc avoir Python 3.11, puis installez poetry :
brew install poetry
Ensuite, clonez le dépôt git et aller dans le dossier :
Ouvrez ensuite http://localhost:8501 dans votre navigateur pour y accéder. Vous verrez alors ce genre d’interface. A vous de remplir les champs qui vont bien pour créer votre première automatisation.
En commande cURL, ça ressemble à ça (pensez bien à mettre votre clé API locale dans la commande) :
curl -X POST -H 'Content-Type: application/json' -H 'x-api-key: {Votre clé API locale}' -d '{
"url": "https://www.geico.com",
"webhook_callback_url": "",
"navigation_goal": "Naviguer sur le site Web jusqu\'à ce que vous obteniez un devis d\'assurance automobile. Ne pas générer de devis d\'assurance habitation. Si cette page contient un devis d\'assurance automobile, considérez l\'objectif atteint",
"data_extraction_goal": "Extraire toutes les informations de devis au format JSON, y compris le montant de la prime et le délai du devis",
"navigation_payload": "{Vos données ici}",
"proxy_location": "NONE"
}' http://0.0.0.0:8000/api/v1/tasks
Vous voyez, on peut vraiment faire des trucs pointu. Et le petit plus, c’est qu’on peut voir toutes les interactions puisque Skyvern enregistre chaque action avec une capture d’écran correspondante pour vous permettre de débugger facilement vos workflows.
Connexion
