Google DeepMind a présenté, mardi 24 juin, Gemini Robotics On-Device, un modèle vision, langage, action (VLA), conçu pour fonctionner localement sur des robots et exécuter des tâches précises.
Robots autonomes en approche. Issu du modèle VLA Gemini Robotics lancé en mars dernier, ce modèle de fondation conçu pour fonctionner en local sur des robots à deux bras permet de réaliser des tâches précises avec dextérité. Il peut ainsi effectuer des manipulations complexes et s’adapter à de nouvelles tâches en 50 à 100 démonstrations.
« Il offre une forte généralisation visuelle, sémantique et comportementale sur une grande variété de scénarios de test, suit des instructions en langage naturel et accomplit des tâches très complexes comme ouvrir un sac ou plier des vêtements — tout cela en s’exécutant directement sur le robot », décrit Google.
Un modèle pour les dépasser tous ?
Indépendant de tout réseau de données, il répond à un usage pour les applications sensibles à la latence et dans des environnements avec une connectivité intermittente ou inexistante.
À en croire Google, son modèle surpasse la concurrence dans des tâches difficiles, telles que fermer une boîte, dessiner une carte ou encore… verser une vinaigrette. Si le modèle a été entraîné uniquement sur les robots Aloha, la section IA de Google assure qu’il s’adapte aux différents types d’automates. « Nous avons pu le transférer à un robot bi-bras Franka FR3 et au robot humanoïde Apollo d’Apptronik. »
Google propose un kit de développement logiciel SDK Gemini Robotics afin d’accompagner les développeurs dans leur évaluation du modèle sur des tâches et des environnements précis, dans MuJoCo, un simulateur physique. Pas immédiatement disponible, le modèle va d’abord être rendu accessible à une poignée de testeurs afin d’en évaluer plus concrètement les usages et la sécurité.
D’autres sociétés sur le créneau
La concurrence bat son plein dans le domaine de la robotique dopée à l’intelligence artificielle et l’on ne compte plus les startups qui ont bouclé des levées de fonds ces derniers mois. Skild AI, par exemple, a levé 300 M$ en juillet dernier, elle qui ambitionne de développer une intelligence artificielle générale pour alimenter des robots destinés à combler la pénurie de main-d'œuvre dans l'industrie aux États-Unis. Plus récemment, c’est un autre Américain, Physical Intelligence, qui a levé 400 M$ et développe un logiciel baptisé π0 pour équiper des robots et introduire l’IA dans le monde physique.
