Nvidia renforce ses ambitions dans la robotique de nouvelle génération avec les robots humanoïdes et les modèles d’IA avancés

Nvidia profite de sa conférence GTC à Berlin pour annoncer une flopée de nouveaux modèles et outils pour la génération de données, l’entraînement et l’évaluation robotique. L’entreprise a également conçu un robot humanoïde préconfiguré avec l’allemand Agile Robots pour réduire les délais de déploiement pour les développeurs et chercheurs en robotique. Elle entend ainsi maintenir une place centrale dans le secteur face aux ambitions croissantes de ses concurrents directs, en particulier de Qualcomm.

À l’occasion de sa conférence GTC européenne, qui se tient du 20 au 22 octobre à Berlin, Nvidia fait le plein de nouveaux outils, datasets, frameworks et modèles à destination des développeurs. Sans surprise, les solutions pour l’IA physique (robots, véhicules autonomes…) occupent cette année une place centrale, Nvidia désirant conserver son statut de plateforme majeure face aux prétentions de ses concurrents dans un secteur en pleine expansion.

Agile One SN, un robot humanoïde prêt à l’emploi

Au-delà du logiciel, Nvidia accélère dans les solutions matérielles de robotique humanoïde. Et pour en faciliter l’adoption, rien de tel que de s’allier à l’un des acteurs européens les plus en vue du moment : Agile Robots. La start-up allemande dévoile Agile One SN, un robot humanoïde de référence préconfiguré avec les solutions logicielles et matérielles de la firme de Santa Clara. L’objectif ? Réunir les outils de déploiement et workflows dans un seul et même système pour que les développeurs configurent leurs robots “en quelques jours”, au lieu de plusieurs semaines.

Cette plateforme de référence comprend donc un châssis Agile One S, mesurant 1,4 m de haut pour 40 kg, avec 31 degrés de liberté et pouvant supporter des charges jusqu’à 3 kg par bras. Les deux mains à cinq doigts, disposant chacune de 20 degrés de liberté, sont fournies par le chinois Wuji. Le tout alimenté par les modules Jetson Thor de Nvidia, offrant jusqu’à 2070 téraflops FP4 et 128 gigaoctets de mémoire unifiée. Le robot est en outre équipé de la plateforme Isaac GR00T de Nvidia, ce qui comprend à la fois le modèle de fondation et un workflow de collecte de données, de contrôle du corps pour la coordination des mouvements et de déploiement.

Agile One SN est équipé d’outils de détection multimodale (caméras sur la tête et au poignet, capteurs Lidar et centrales inertielles) pour la perception de l’environnement. Les protocoles de sécurité de robots devraient en outre s’intégrer avec le système de sécurité Halos de Nvidia, récemment étendu de la conduite autonome à la robotique. En juin, Nvidia avait présenté un reference design de robot humanoïde sur le même principe, mais à partir d’un châssis Unitree H2 Plus et de mains développées par le singapourien Sharpa. Agile One SN devrait quant à lui être disponible début 2027 et a déjà suscité l’intérêt de Stanford et de l’ETH Zürich.

Une bibliothèque de 2000 ressources robotiques

Une fois n’est pas coutume, Nvidia a dévoilé de nouveaux outils pour aider les développeurs à générer des données d’entraînement pour robots, améliorer leur apprentissage, la simulation et le dépliement. La société dévoile ainsi SimReady Central Library, une bibliothèque offrant plus de 2000 assets robotiques et industriels prêts à être utilisés en simulation, ainsi qu’un dataset sur des tâches humaines, des vidéos synchronisées à trois vues et sur le suivi 3D des mains. Disponible sur Hugging Face, SimReady Central Library comprend notamment des assets provenant de Comau, Fanuc, Franka, LG, Standard Bots, Universal Bots et Yaskawa.

Nvidia a également présenté Isaac OS, un framework d’exécution open source basé sur sa plateforme de traitement en temps réel des données en edge Holoscan. Il relie ainsi les solutions d’IA, les capteurs et le matériel robotique pour améliorer les performances. La start-up britannique Humanoid, le suisse Hexagon Robotics et Bear Robotics, détenu majoritairement par LG, utilisent notamment Isaac OS en plus d’autres solutions Nvidia (Jetson Thor, Holoscan et Halos).

Un workflow pour post-entraîner les world models Cosmos avec ChatGPT Astra

La dernière itération de la plateforme d’apprentissage robotique Isaac Lab de Nvidia (3.0) est désormais disponible pour tous. Celle-ci “permet d’entraîner et fine-tuner les politiques des robots, du bureau au data center, en utilisant des workflows multi-GPU et des moteurs physiques, incluant Newton et Nvidia PhysX”. Co-développé avec Google DeepMind et Disney Research, Newton permet aux développeurs de simuler des tâches de navigation et de manipulation avec de fortes contraintes physiques (manipulation de tasses, déplacement sous la neige, etc.).

Nvidia publie en parallèle trois workflows open source pour sa workstation DGX Station (processeur GB300 Grace Blackwell Ultra, offrant jusqu’à 748 gigaoctets de mémoire pour une puissance théorique de 20 000 téraflops FP4). L’un d’entre eux aide notamment les développeurs à post-entraîner les world models Cosmos à l’aide du modèle ChatGPT Astra d’OpenAI, lancé début septembre, tandis que les deux autres sont dédiés à l’apprentissage par renforcement (RL) et à l’entraînement de capacités de manipulation dans Isaac Lab.

Pollen Robotics, Flexion et Neura Robotics utilisent Isaac Lab

“Les workflows de référence d’apprentissage robotique open source de Nvidia exécutés sur DGX Station seront pris en charge par les solutions de 1X, Agile Robots, Humanoid, Maven Robotics, Mentee, MicroAGI, Rhoda, Sereact et Skild AI”, énumère Nvidia.

Nvidia profite de l’événement pour faire un tour d’horizon des sociétés de robotique européennes utilisant ses solutions. C’est entre autres le cas de Pollen Robotics, désormais propriété d’Hugging Face, qui utilise Isaac Lab, Sim et Newton pour mettre au point Microduck, son petit robot bipède vendu à moins de 400 dollars. Mais aussi de Flexion, qui entraîne son modèle Reflect avec Isaac Lab et Newton, ou de la pépite allemande Neura, qui se sert d’Isaac Lab et Sim pour générer des données d’entraînement et entraîner les compétences des robots pour Neuron AI, son modèle multimodal présenté la semaine dernière.

Volvo Cars et Volkswagen Véhicules Utilitaires adoptent Nvidia Hyperion

En dehors de la robotique à proprement parler, Nvidia structure son écosystème de partenaires dans la conduite autonome. La firme de Jensen Huang avait notamment présenté l’année dernière Hyperion 10, sa dernière architecture composée de deux SoCs AGX Thor basés sur Blackwell offrant jusqu’à 2000 téraflops FP4, le système d’exploitation Drive OS et une suite d’une trentaine de capteurs. Elle a aussi sorti Alpamayo Stack, une plateforme logicielle intégrée au sein d’Hyperion et basée sur sa famille de modèles VLA Alpamayo.

En plus de Bolt, qui a annoncé le mois dernier faire appel au constructeur américain Lucid pour déployer sur sa plateforme 25 000 taxis autonomes en Europe basés sur l’architecture Hyperion, plusieurs constructeurs adoptent à leur tour cette architecture. C’est le cas de Volvo Cars, qui utilisera désormais Hyperion – et Alpamayo Stack – pour la conduite automatisée, ainsi que de la division de véhicules utilitaires de Volkswagen.

Mercedes-Benz a aussi annoncé étendre son partenariat avec Nvidia sur Hyperion et Alpamayo Stack pour développer des fonctionnalités autonomes de niveau 3 et 4 dans ses prochains véhicules, et le suédois Einride, spécialisé dans le transport autonome, bâtit son logiciel sur ces solutions. Une adoption qui s’étend également aux équipementiers Valeo, Aptiv et Schaeffler.

Halos Safe, un système d’évaluation de la sécurité

Mais la plus grande nouveauté réside dans la volonté de Nvidia d’accélérer le déploiement de ses solutions en garantissant un système de conduite autonome sûr et en plaçant l’évaluation de la sécurité au cœur de sa proposition. La société lance ainsi “Halos Safe”, conçu en collaboration avec dSPACE, IVEX et TÜV Rheinland. “Halos Safe relie la simulation, l’évaluation logicielle et matérielle en boucle fermée, les essais sur route et la surveillance des flottes grâce à des scénarios, des tests et critères de performance mesurables définis afin de générer des preuves de sécurité traçables”, détaille Nvidia.

Nvidia avait présenté début août Alpamayo 2 Super, un modèle à 34 milliards de paramètres qui génère pour chaque situation de conduite une trajectoire, une explication du raisonnement, son annotation automatique, une action de haut niveau et des réponses visuelles. La multinationale présente aujourd’hui Alpamayo 2 Edge, un modèle plus compact (2 milliards de paramètres), construit sur Cosmos 3 Edge et conçu pour fonctionner à 10 Hz pour la compréhension des scènes et la planification des mouvements.

Distancer Qualcomm

Nvidia sort en parallèle AlpaJudge, un modèle d’alignement et d’évaluation calibré sur les commentaires humains. Celui-ci, qui fonctionne sur un système de récompense, attribue des notes aux explications principales, ce qui permet d’évaluer la qualité du raisonnement, filtrer les annotations de faible qualité et réduire l’examen manuel des données. À noter également la sortie de nouvelles variantes des modèles Cosmos 3 Nano (16 milliards de paramètres) et de l’outil Foundation 4D permettant d’annoter des vidéos multi-caméras sans données Lidar en entrée.

En étoffant sa gamme de solutions pour l’IA physique, Nvidia cherche définitivement à conserver sa position dominante dans le secteur et éviter que ses concurrents ne gagnent du terrain. Qualcomm multiplie à ce sujet les initiatives, en particulier avec sa plateforme matérielle et logicielle Dragonwing IQ10 conçue pour la robotique humanoïde. Celle-ci est déjà utilisée par Neura Robotics et VinMotion. Dans l’automobile, Qualcomm est déjà bien implanté pour les solutions d’aide à la conduite (ADAS) de niveau 1 à 3.

Source : usine-digitale.fr