Robotique : Nvidia sort son moteur physique Newton et dévoile un modèle de fondation

Nvidia rend disponible Newton, un moteur physique développé avec Google DeepMind et Disney Research. Le modèle de fondation open source Isaac GR00T N1.6, le premier à intégrer le modèle de raisonnement pour l’IA physique Cosmos Reason, sera prochainement disponible sur Hugging Face.

À l’occasion de la Conference of Robot Learning (CoRL), qui se tient du 27 septembre au 2 octobre en Corée du Sud, Nvidia a annoncé la sortie de la version beta de Newton, un moteur physique open source accéléré par GPU et géré par la Fondation Linux. Dévoilé en mars dernier, Newton s’appuie sur les frameworks Nvidia Warp et OpenUSD. Nvidia n’a pas agi seul sur ce projet : il a développé le moteur avec Google DeepMind et l’équipe de recherche de Disney.

Simulation d’actions nécessitant une forte dextérité

“Les développeurs peuvent désormais simuler des actions de robots extrêmement complexes, comme marcher dans la neige ou le gravier et manipuler des tasses et des fruits, et les déployer avec succès dans le monde réel”, énumère Nvidia dans un communiqué. Newton est dorénavant disponible dans Isaac Lab, la plateforme d’apprentissage robotique de la firme. L’École polytechnique de Zurich ainsi que les universités de Munich et de Pékin utilisent déjà Newton pour leurs recherches.

En mars, Nvidia avait également lancé Isaac GR00T N1, un modèle de fondation conçu pour aider les robots à analyser et comprendre leur environnement dans la réalisation de tâches complexes. La dernière version, baptisée GR00T N1.6, sera “bientôt disponible” sur Hugging Face. Sa particularité ? Elle intègre pour la première fois le modèle de raisonnement vision-langage Cosmos Reason.

Permettre aux robots de manipuler plusieurs objets à la fois

Conçu comme le “cerveau profond du robot”, Cosmos Reason permet au robot de s’adapter à de nouvelles tâches en transformant les instructions imprécises en plan d’action détaillé, “en s’appuyant sur les connaissances préalables, le bon sens et la physique”. Comparé à GR00T N.1, la dernière itération du modèle permettra aux robots humanoïdes de manipuler plusieurs objets simultanément et d’accomplir des tâches plus exigeantes physiquement, comme l’ouverture de portes lourdes.

“Les développeurs peuvent post-entraîner les modèles Isaac GR00T N grâce au dataset d’IA physique open source Nvidia sur Hugging Face, précise la firme. Téléchargé plus de 4,8 millions de fois, ce dataset comprend désormais des milliers de trajectoires synthétiques et réelles.” Plusieurs grands fabricants de robots adoptent déjà Isaac GR00T, comme la pépite franco-allemande Neura Robotics, LG ou encore Franka, à l’origine du robot bi-bras FR3.

Deux nouveaux world models et un workflow pour la préhension des objets

Nvidia a également profité de l’événement pour mettre à jour Cosmos, sa plateforme basée sur des “world foundation models” (WFM) qui génère des données visuelles artificielles à partir de données du monde réel. Le modèle Cosmos Predict 2.5, bientôt disponible, rassemble d’après l’entreprise trois WFM à la fois afin de générer des vidéos pouvant aller jusqu’à 30 secondes et des “sorties caméra multi-vues”. Cosmos Transfer 2.5, conçu pour la génération de données photoréalistes à partir de scènes réelles de simulation 3D, devrait quant à lui offrir un rendu plus rapide et plus net en étant 3,5 fois plus compact que la version précédente.

L’éditeur américain souhaite enfin améliorer l’efficacité de la préhension d’objets par les robots. Il a pour ce faire mis au point un nouveau workflow dans la préversion développeur d’Isaac Lab 2.3. “Il commence par des tâches simples et augmente progressivement la complexité, détaille Nvidia. Le workflow modifie des aspects tels que la gravité, la friction et le poids d’un objet, entraînant ainsi les robots à acquérir des compétences même dans des environnements imprévisibles.” Les précédents workflows de préhension de Nvidia ont déjà été utilisés par des sociétés en pointe dans le secteur, tel que Boston Dynamics avec son robot Atlas.

Source : usine-digitale.fr