NVIDIA Jetson Thor : la plateforme ultime pour l’IA physique

TL;DR

• NVIDIA présente Jetson Thor, la plateforme ultime pour l’IA physique, alliant GPU Blackwell, 128 Go de mémoire et MIG pour la robotique de bord.\n- Délivre jusqu’à 7,5x plus de calcul IA et jusqu’à 3,5x d’efficacité énergétique par rapport au Jetson AGX Orin, avec une quantification FP4 native et un Transformer Engine qui passe dynamiquement de FP4 à FP8 pour optimiser les performances.\n- Supporte plusieurs modèles d’IA générative à la bordure (LLMs, VLMs, modèles VLA) et traitement multimodal en temps réel, avec démonstrations de 16 requêtes simultanées.\n- La plateforme est complétée par le Jetson AGX Thor Developer Kit et le module Jetson T5000, JetPack 7, CUDA 13.0 pour ARM et les stacks logicielles Isaac, Metropolis et Holoscan.\n- MIG, E/S robuste (QSFP 4x25 GbE, RJ-45, USB) et enveloppe de 130 W permettent une prototypage rapide pour des robots humanoïdes et autonomes.\n

Contexte et arrière-plan

La robotique passe d’une ère de machines spécialisées à des plateformes généralistes capables d’apprendre, de s’adapter et d’opérer dans des environnements variés sans reprogrammation pour chaque tâche. Inspirées par la cognition humaine, ces robots combinent des réactions rapides et une planification de haut niveau pour accélérer l’apprentissage et l’adaptation. NVIDIA a présenté l’écosystème Isaac GR00T lors de GTC 2025, réunissant des modèles robotiques de base, des pipelines de données synthétiques, un environnement de simulation et un ordinateur en temps réel. Jetson Thor prolonge ce cadre en apportant une extension de bord destinée à accélérer les modèles de base et le traitement multimodal pour les robots de prochaine génération. Jetson Thor permet aux robots d’être réorientés vers de nouvelles tâches sans reprogrammation, supportant manipulation, navigation et instructions complexes à grande échelle.\n

Quoi de neuf

Jetson Thor est ancré par deux produits principaux : NVIDIA Jetson AGX Thor Developer Kit et NVIDIA Jetson T5000 module. Le kit offre des performances et une évolutivité inégalées pour la robotique de bord, propulsé par le GPU NVIDIA Blackwell, avec 128 Go de mémoire et une enveloppe de puissance de 130 W. Il délivre jusqu’à 2070 FP4 TFLOPS de calcul IA pour exécuter les derniers modèles génératifs sur le bord, avec jusqu’à 7,5x plus de calcul IA et 3,5x meilleure efficacité énergétique par rapport à Orin. La plateforme introduit une quantification FP4 native avec un Transformer Engine de prochaine génération qui passe dynamiquement entre FP4 et FP8 pour optimiser les performances. Points-clés matériels et logiciels :

• CPU 14 cœurs Arm Neoverse-V3AE et une suite d’accélérateurs comprenant un PVA 3e génération, des encodeurs/décodeurs doubles et un accélérateur de flux optique.\n- MIG (Multi-Instance GPU), permettant de partitionner le GPU en instances isolées avec des ressources dédiées pour des charges prévisibles.\n- E/S étendue, y compris un slot QSFP 4x25 GbE, un connecteur RJ-45 Multi-GbE, plusieurs ports USB et d’autres options de connectivité pour une intégration rapide des capteurs.\n- Compatibilité avec des plates-formes robotisées humanoïdes et tethering simple pour prototypage rapide.\n Côté logiciel, Jetson Thor exécute la pile logicielle NVIDIA pour IA physique, incluant NVIDIA Isaac pour la robotique, NVIDIA Metropolis pour l’IA visuelle agentive et NVIDIA Holoscan pour le traitement des capteurs. La plate-forme prend en charge des modèles d’IA générative variés, des LLMs aux VLMs et VLAs, et vise une expérience cloud-to-edge fluide. NVIDIA décrit ces composants et leur intégration.

Pourquoi c’est important (impact pour les développeurs/entreprises)

Jetson Thor est conçu pour permettre aux développeurs de déployer des agents IA adaptables qui raisonnent sur des tâches variées sans reprogrammation fréquente. En accélérant les modèles de base à la bordure, Thor autorise des robots avec un raisonnement de haut niveau, une perception robuste et un contrôle réactif dans des environnements dynamiques. Cela est crucial pour l’automatisation industrielle, la logistique, les robots d’assistance et les systèmes autonomes, où la latence et la sécurité déterminent la réussite des déploiements. La capacité à faire tourner plusieurs modèles IA générative à la bordure, avec MIG assurant l’isolement et la prévisibilité des performances, rend Thor pertinent pour des déploiements complexes et sécurisés. NVIDIA donne des détails sur ces impacts et cas d’usage.

Détails techniques ou Implementation (pour les praticiens)

Jetson Thor intègre une architecture moderne pensée pour des charges de travail robotiques en temps réel et multimodales. Points techniques notables :

• Quantification et inférence : prise en charge FP4 native avec un Transformer Engine dynamique FP4/FP8 pour un throughput accru et une meilleure utilisation de la bande passante mémoire, complétée par une décodage spéculatif qui accélère l’inférence générative.
• Généraison à l’échelle edge : capacité à exécuter simultanément plusieurs modèles IA générative (LLMs, VLMs, VLAs) avec latence faible dans des scénarios bord.
• Logiciel bordé : Jetson a une stack logicielle optimisée pour l’environnement edge, alignée sur SBSA pour l’interopérabilité d’entreprise et une fusión rapide des capteurs, planification et contrôle. NVIDIA détaille l’intégration de ces composants.
• Ecosystème : Isaac pour la robotique, Metropolis pour l’IA visuelle agentive et Holoscan pour le traitement des capteurs. Le tout soutient les flux de travail edge IA pour la construction d’agents et de capacités d’analyse vidéo. NVIDIA apporte les précisions.
• Déploiement et industrie : CUDA 13.0 sur ARM assure une installation uniforme entre serveurs et bord, facilitant l’intégration d’entreprise. SBSA est mentionné comme cadre d’alignement hardware/firmware pour une meilleure portabilité. NVIDIA donne le contexte.
• Performances et benchmarks : les gains peuvent atteindre 5x par rapport à Orin sur des modèles génératifs, avec des améliorations associées par FP4 et décodage spéculatif. Des benchmarks montrent que Qwen2.5-VL-7B atteint jusqu’à 3,5x d’inférence plus rapide sur Thor avec FP4 et décodage Eagle par rapport à Orin en W4A16. Ces chiffres illustrent la capacité du système à gérer des tâches de raisonnement et de génération en temps réel. NVIDIA fournit les chiffres et les configurations associées.

Points à retenir

• Thor est une plateforme d’IA physique à bord, prête à s’adapter à une variété de tâches robotiques sans reprogrammation fréquente.
• Gains significatifs en calcul IA et en efficacité énergétique grâce à FP4/FP8, MIG et 128 Go de mémoire.
• Supporte un éventail large de modèles génératifs (LLMs, VLMs, VLAs) et le traitement temps réel des capteurs.
• Stack logicielle complète (JetPack 7, CUDA 13.0 sur ARM, Isaac, Metropolis, Holoscan) pour prototyper et déployer rapidement.
• Connectivité robuste et isolation MIG pour des déploiements robotiques mixtes et prévisibles.

Références

• https://developer.nvidia.com/blog/introducing-nvidia-jetson-thor-the-ultimate-platform-for-physical-ai/