NVIDIA HGX B200 réduit l’intensité des émissions de carbone incorporé

TL;DR

• Le HGX B200 réduit l’intensité des émissions de carbone incorporé à 0,50 gCO2e par exaFlop (FP16), soit une amélioration de 24% par rapport au HGX H100 (0,66 gCO2e/exaFlop).
• L’inférence IA est jusqu’à 15x plus économe en énergie sur le HGX B200, avec une réduction d’environ 93% pour la même charge de travail d’inférence.
• Débit: le HGX B200 offre une performance FP16 2,3x plus rapide que le HGX H100.
• Matériel et mémoire: huit GPU par plate-forme; 180 Go de mémoire HBM3E par GPU; interconnexion NVLink/NVSwitch de 5e génération jusqu’à 1,8 TB/s par GPU et 14,4 TB/s en bande passante agrégée; Transformer Engine de 2e génération avec FP4 et FP8.
• Impact en aval: pour le modèle DeepSeek-R1, on prévoit 10x d’efficacité d’inférence, ce qui se traduit par une réduction de 90% des émissions opérationnelles pour le traitement de 1 million de tokens d’inférence. NVIDIA précise que les résumés PCF s’appuient sur des données fournisseurs et sont alignés sur les normes ISO, afin d’améliorer la transparence et d’éclairer les pratiques de calcul durable. Pour plus de détails, consultez le Résumé de l’empreinte carbone du produit pour le NVIDIA HGX B200. Source

Contexte et arrière-plan

Le NVIDIA HGX B200 est une plate-forme de calcul accéléré par huit GPU, conçue pour le HPC et les charges analytiques de données. Elle intègre les GPU NVIDIA Blackwell B200, avec 180 Go de mémoire HBM3E par GPU et une connectivité haut débit via NVLink/NVSwitch. Le HGX B200 et le HGX H100 utilisent NVLink/NVSwitch pour une performance IA à grande échelle. Les résumés PCF sont alignés sur les normes ISO 14040/14044 pour les évaluations du cycle de vie et ISO 14067 pour les empreintes carbone et intègrent des données provenant de fournisseurs et de bases comme imec.netzero, ecoinvent et Sphera pour les matériaux, le transport et l’énergie. Pour en savoir plus, consultez le Résumé de l’empreinte carbone du produit pour le HGX B200. Source

Quoi de neuf

Le HGX B200 introduit plusieurs améliorations par rapport au HGX H100:

• GPUs NVIDIA Blackwell B200 avec 180 Go de mémoire HBM3E par GPU.
• Transformer Engine de 2e génération, supportant FP4 et FP8.
• NVLink/NVSwitch de 5e génération, jusqu’à 1,8 TB/s par GPU et 14,4 TB/s en bande passante agrégée.
• Débit FP16 2,3x plus élevé que le HGX H100.
• Gains d’efficacité énergétique pour l’inférence IA: jusqu’à 15x plus efficace énergétiquement. En plus des améliorations matérielles, les données PCF indiquent des réductions des émissions liées aux matériaux et composants, notamment dans les composants thermiques, les circuits intégrés et la mémoire, contribuant à une intensité d’émissions incorporées plus faible.

Pourquoi c’est important (impact pour les développeurs/entreprises)

Pour les développeurs et les entreprises, le HGX B200 offre une combinaison d’un débit de calcul plus élevé et d’un impact environnemental réduit. La réduction de 24% de l’intensité des émissions de carbone incorporé signifie moins d’émissions liées à la fabrication pour une même charge de travail, tandis que les gains importants en efficacité d’inférence diminuent la consommation d’énergie lors du déploiement. Ces gains sont particulièrement significatifs pour les charges lourdes telles que l’entraînement et l’inférence IA. À l’échelle pratique, des bénéfices opérationnels concrets apparaissent: pour le modèle DeepSeek-R1, on prévoit une amélioration de 10x de l’efficacité d’inférence, soit environ 90% de réduction des émissions opérationnelles pour le traitement de 1 million de tokens d’inférence. Ces chiffres tiennent compte des facteurs d’émission IEA 2023 et intègrent les émissions amont et les pertes T&D, dans le cadre des résumés PCF et conformes aux normes ISO correspondantes. Techniquement, les entreprises peuvent anticiper une meilleure économie de centre de données grâce à une consommation d’énergie plus faible lors de l’inférence et à des avancées en mémoire et en bande passante d’interconnexion qui soutiennent des modèles IA plus grands à grande échelle. Pour les détails, consultez le Résumé de l’empreinte carbone du produit pour le HGX B200. Source

Détails techniques ou Mise en œuvre

La plate-forme HGX B200 conserve huit GPUs par unité et introduit des améliorations matérielles et logicielles pour accélérer les charges IA tout en réduisant l’empreinte environnementale. Points clés et contexte comparatif: | Attribut | HGX H100 | HGX B200 |---|---|---| | GPUs par plate-forme | 8 | 8 |Mémoire par GPU | non spécifiée dans la source | 180 Go HBM3E |Interconnexion | NVLink/NVSwitch de 5e génération | NVLink/NVSwitch de 5e génération; jusqu’à 1,8 TB/s par GPU; 14,4 TB/s en bande passante agrégée |Transformer Engine | G2 (FP8/FP16 context) | G2 avec FP4 et FP8 |Débit FP16 vs H100 | référence 1x | 2,3x plus rapide |Efficacité d’inférence IA | référence | Jusqu’à 15x plus efficace énergétiquement |Intensité carbone incorporé (gCO2e/exaflop, FP16) | 0,66 | 0,50 |Observations sur les émissions | – | Réductions des matières et composants; améliorations notables en thermique, CI et mémoire | Les chiffres PCF reflètent des estimations basées sur des données PCF et des facteurs d’émission de l’IEA 2023, pondérés par l’énergie des centres de données régionaux. Les résumés PCF s’appuient sur des données primaires des fournisseurs et intègrent des sources secondaires pour la fabrication et le transport. NVIDIA vise à publier davantage de données fiables sur les impacts environnementaux de ses produits.

Points clés à retenir

• Le HGX B200 abaisse l’intensité des émissions de carbone incorporé à 0,50 gCO2e/exaflop FP16 contre 0,66 gCO2e/exaflop pour le H100.
• Le débit FP16 est 2,3x plus élevé et l’inférence IA est jusqu’à 15x plus efficace énergétiquement.
• Améliorations mémoire et interconnexion: 180 Go de HBM3E par GPU et interconnexion NVLink/NVSwitch de 5e génération avec une bande passante élevée.
• Transformer Engine de 2e génération avec FP4/FP8 ouvre la voie à des performances accrues à faible précision.
• Des gains opérationnels tangibles sont attendus, avec 10x d’efficacité d’inférence pour DeepSeek-R1 et 90% de réduction des émissions opérationnelles pour 1 million de tokens d’inférence.

Références

• https://developer.nvidia.com/blog/nvidia-hgx-b200-reduces-embodied-carbon-emissions-intensity/
• Résumé de l’empreinte carbone du produit pour le NVIDIA HGX B200 (lien fourni ci-dessus)