Items tagged with “GPU”.
Le HGX B200 de NVIDIA abaisse l’intensité des émissions de carbone incorporé de 24% par rapport au HGX H100, tout en offrant de meilleures performances IA et une efficacité énergétique accrue. Cet article résume les données PCF et les nouveautés matérielles.
NVIDIA Dynamo déporte le KV Cache depuis la mémoire GPU vers un stockage économique, permettant des contextes plus longs, une meilleure concurrence et des coûts d’inférence réduits pour les grands modèles et les charges AI génératives.
Analyse approfondie de sept techniques éprouvées par les Grands Maîtres Kaggle pour résoudre rapidement des ensembles de données tabulaires à l’aide d’une accélération GPU, des baselines divers à l’assemblage et à la pseudo-étiquetage.
Microsoft dévoile des plans pour un data center Fairwater AI de 1,2 million de mètres carrés au Wisconsin, abritant des centaines de milliers de GPU Nvidia GB200. Le projet de 3,3 milliards de dollars promet un entraînement IA sans précédent.
RAPIDS 25.08 introduit deux profils pour cuml.accel (fonctionnel et ligne), l’exécuteur streaming par défaut du moteur Polars GPU, un support de types et chaînes étendu, Spectral Embedding dans cuML et des accélérations zéro-code pour plusieurs estimateurs.
Vue d’ensemble complète sur le déploiement des modèles GPT OSS d’OpenAI sur SageMaker AI et Bedrock AgentCore pour alimenter un analyseur d’actions multi-agents avec LangGraph, incluant la quantification MXFP4 en 4 bits et une orchestration sans serveur.
Autodesk Research, Warp de NVIDIA et le GH200 démontrent une CFD Python-native avec XLB, atteignant environ 8x de vitesse et évoluant jusqu’à 50 milliards de cellules.
Analyse approfondie sur la façon dont NVIDIA Run:ai Model Streamer abaisse les temps de démarrage à froid pour l’inférence des LLM en diffusant les poids vers la mémoire GPU, avec des benchmarks sur GP3, IO2 et S3.
PyNvVideoCodec 2.0 apporte des améliorations majeures au traitement vidéo GPU en Python, basé sur le NVIDIA Video Codec SDK et disponible via PyPI et NVIDIA NGC. Des performances équivalentes au SDK natif avec la simplicité de Python.
OpenAI, NVIDIA et Nscale annoncent Stargate UK, une infrastructure d’IA souveraine offrant un pouvoir de calcul local au Royaume-Uni pour soutenir les services publics, les secteurs réglementés et les objectifs nationaux d’IA.
VC-6 CUDA-accéléré offre une décompression multi-résolution sélective, réduisant les E/S et accélérant le chemin données-tensor pour les flux Vision AI.
Le RTX PRO 6000 Blackwell Server Edition de NVIDIA accélère considérablement l’inférence de structure des protéines, permettant des flux de travail GPU complets avec OpenFold et TensorRT, jusqu’à 138x plus rapide que AlphaFold2.
CUDA est redistribué par des plates-formes tierces pour être intégré directement dans leurs flux de paquets, simplifiant l'installation et la gestion des dépendances pour les applications GPU et accélérant le déploiement dans les écosystèmes.
NVIDIA NIM Operator 3.0.0 étend l’inférence IA scalable sur Kubernetes, avec déploiements multi-LLM et multi-nœud, intégration KServe et support DRA en version technologique, en collaboration avec Red Hat et NeMo Guardrails.
Examine comment NVIDIA Rivermax et NEIO FastSocket offrent une latence ultra-faible et une forte bande passante, en utilisant kernel bypass, zero-copy et GPUDirect pour acheminer les données NIC vers les GPU.
Découvrez comment la compilation AoT de PyTorch améliore les performances des ZeroGPU Spaces, permettant la réutilisation instantanée des modèles compilés, la quantification FP8 et les formes dynamiques pour des démos plus réactives sur les GPUs H200.
Une approche d’échange de mémoire GPU (swap de mémoire) permet à plusieurs modèles de partager les GPU au-delà de la capacité, réduisant les coûts tout en maintenant la réactivité pour l’inférence LLM à grande échelle.
Analyse approfondie de nvMatmulHeuristics, un optimiseur de méta-paramètres pour kernels GEMM qui accélère l’auto-tuning avec CUTLASS 4.2, livrant des kernels proches du meilleur en beaucoup moins de temps.
Découvrez comment la compilation ahead-of-time (AoT) de PyTorch accélère les ZeroGPU Spaces sur les GPUs Nvidia H200, avec rechargement instantané, quantification FP8, formes dynamiques et gains de performance (1,3×–1,8×) pour Flux, Wan et LTX.
CUDA Toolkit 13.0 pour Jetson Thor unifie les outils Arm, active la Mémoire Virtuelle Unifiée, le partage de GPU avancé, l’interopérabilité OpenRM/dmabuf, le support NUMA et des outils développeur améliorés pour les charges IA en edge.
Kit CUDA unifié pour Arm sur Jetson Thor avec cohérence mémoire complète, partage du GPU entre processus, interop OpenRM/dmabuf, support NUMA et outils améliorés pour l’embarqué et le serveur.
Exploitez le swap mémoire GPU (hot-swapping de modèles) pour partager les GPUs entre plusieurs LLM, réduire les coûts inoccupés et améliorer l’auto-Scaling tout en respectant les SLA.
Présente nvMatmulHeuristics pour sélectionner rapidement un petit ensemble de configurations de kernels GEMM à fort potentiel pour CUTLASS 4.2, réduisant considérablement le temps de tuning tout en approchant les performances d’une Recherche Exhaustive.
Découvrez comment la compilation AoT de PyTorch accélère ZeroGPU Spaces en exportant un modèle compilé et en le rechargeant instantanément, avec quantification FP8, formes dynamiques et intégration au flux Spaces GPU.
La division IA de Microsoft présente ses premiers modèles développés en interne, MAI-Voice-1 et MAI-1-preview, marquant une avancée vers des capacités IA axées sur le consommateur et des outils Copilot complémentaires.
Jetson Thor offre l’IA en bordure à échelle robotique, avec GPU Blackwell, MIG, FP4/FP8 et 128 Go de mémoire pour les plateformes robotiques de nouvelle génération.
Le NVIDIA Blackwell Ultra accélère l’entraînement et l’inférence IA avec une intégration à deux dies, NVFP4 4 bits, 288 Go de HBM3e et des interconnexions haute bande, ouvrant la voie à des usines IA à grande échelle.
OpenAI réorganise ses dirigeants avec Fidji Simo nommée CEO des Applications pour superviser la majeure partie des employés, pendant qu’Altman recentre son attention sur le calcul à grande échelle, les GPUs, les interfaces cerveau-ordinateur et le matériel grand public. Une startup BCI sera external
NVIDIA décrit comment l’architecture Blackwell, les bibliothèques CUDA-X et un écosystème open source florissant — de RAPIDS à Cosmos et Nemotron — accélèrent le développement de l’IA, du prototype à la production.
Une analyse approfondie de cinq goulets d'étranglement courants de pandas, des solutions CPU pratiques et une accélération GPU via cudf.pandas pour des flux de données plus rapides.
Ressource technique pour développeurs présentant cinq goulets d'étranglement courants, des solutions CPU et GPU, et l'accélération GPU en mode drop-in via cudf.pandas.
Profil détaillé du Blackwell Ultra, sa conception à double die NV‑HBI, sa précision NVFP4, ses 288 Go HBM3e par GPU et ses interconnexions système pour les usines IA et l'inférence à grande échelle.
Vue d'ensemble des modèles open source, du matériel Blackwell et d'une pile logicielle complète qui accélèrent l'IA, de la préparation des données au déploiement, grâce à une large disponibilité de modèles et d'outils.
CuPQC v0.4 étend le support des hachages et introduit les arbres de Merkle, accélérant les vérifications d’intégrité et la sécurité pour les charges cryptographiques à grande vitesse sur GPU.
Le NVIDIA HPC SDK v25.7 propose une programmation en mémoire unifiée pour le HPC avec GPU, automatisant les transferts CPU-GPU et améliorant la productivité sur des architectures cohérentes comme Grace Hopper.
NVIDIA décrit comment NVLink Fusion étend les technologies NVLink scale-up vers les hyperscalers, connectant CPUs et XPUs à une architecture de rack pour l’inférence IA à grande échelle.
Découvrez comment Code Editor et les espaces multiples dans SageMaker Unified Studio accélèrent les flux ML, de la préparation au déploiement optionnel.
cuPQC v0.4 élargit le support des fonctions de hachage et ajoute des calculs d’arbres de Merkle pour accélérer l’intégrité des données, la vérification et la cryptographie de préservation de la vie privée sur les GPU.
Vue d’ensemble de NVLink Fusion, permettant une inférence IA à grande échelle et à haut débit sur des configurations CPU/XPU personnalisées et des fabrics NVLink en rack.
NVIDIA HPC SDK v25.7 fait progresser la programmation à mémoire unifiée pour automatiser les transferts CPU-GPU, augmenter la productivité des développeurs et faciliter la portabilité des modèles océaniques comme NEMO sur des systèmes Grace Hopper.
Découvrez comment Kit App Streaming réduit les frictions d’installation et permet le streaming navigateur d’applications Kit basées sur OpenUSD via des GPUs RTX, avec des options de déploiement flexibles on‑premise et cloud.
NeMo-RL v0.3 introduit le backend Megatron-Core pour optimiser le throughput post-formation sur les grands modèles, avec parallélisme 6D, support du long contexte et réglage automatique.
Guide pour déployer et diffuser les applications Kit Omniverse à grande échelle avec des options flexibles sur le cloud, sur site et DGX Cloud.
Vue d'ensemble de NeMo-RL v0.3 avec le backend Megatron-Core pour le post-entraînement de grands modèles, présentant le parallélisme 6D/4D, des noyaux GPU optimisés et une configuration simplifiée pour accroître le débit en apprentissage par renforcement.
Nemotron Nano 2 9B, modèle de raisonnement ouvert, offre une précision de pointe et jusqu’à 6x de débit grâce à une architecture hybride Transformer–Mamba et un budget de pensée configurable.
Une vue d’ensemble détaillée, axée production, de l’outil kernel-builder de Hugging Face pour développer, compiler et partager des noyaux CUDA comme opérateurs PyTorch natifs, avec des flux complets du développement local au déploiement sur le hub.
Guide pratique pour développer, construire pour plusieurs architectures et déployer des kernels CUDA avec Hugging Face Kernel Builder. Apprenez à créer un flux robuste, du développement local à la diffusion sur le Hub.
Parcours pratique de kernel-builder de Hugging Face pour développer, compiler et déployer des kernels CUDA prêts pour la production, avec des builds reproductibles, le support multi-architecture et une distribution via Hub.
L’équipe Plateforme IA de Salesforce optimise l’utilisation des GPU et réduit les coûts en déployant plusieurs modèles fondation sur un seul endpoint SageMaker AI grâce aux composants d’inférence, avec un scaling dynamique et un contrôle granulaire par modèle.
Dynamo 0.4 introduit un service disaggregated, AIConfigurator et autoscaling basé sur les SLO pour dimensionner des modèles de pointe à coût maîtrisé. Gains jusqu’à 4x sur l’interactivité gpt-oss-120b sur B200, 2,5x de débit sur DeepSeek-R1, observabilité avancée et meilleures tolérances.
NVIDIA présente Wheel Variants et l’initiative WheelNext pour gérer la diversité matérielle dans l’empaquetage Python, avec un soutien expérimental de PyTorch 2.8 pour des roues optimisées GPU.
Cosmos Reason étend les capacités de raisonnement en robotics via un ajustement post-formation et un apprentissage par renforcement, offrant des performances accrues en IA physique avec un accès ouvert et des déploiements optimisés GPU.
Présentation des capacités ND‑Parallel d'Accelerate : composer data, tensor, sharded et context parallelism avec Axolotl pour entraîner de grands modèles sur multi‑GPU et multi‑node.
Ressource sur la composition de plusieurs stratégies de parallélisme (DP, FSDP, TP, CP) avec Accelerate et Axolotl pour entraîner de grands modèles sur de multiples GPU, avec configuration, cas d'utilisation et compromis.
cuDF optimise les transformations ETL sur GPU grâce à des transformations JIT, favorisant la fusion de kernels et les UDFs complexes.
XGBoost 3.0 permet un entraînement GBDT à l’échelle TB sur un seul GH200 Grace Hopper, via la mémoire externe, accélérant les résultats et simplifiant la scalabilité pour les charges massives.
OpenAI publie deux modèles ouverts MoE, GPT OSS 120B et GPT OSS 20B, avec quantification MXFP4 en 4 bits. Sous licence Apache 2.0 avec une politique d’utilisation minimale, accessibles via Hugging Face Inference Providers pour des déploiements sur appareil, sur site et dans le cloud.
Modèles de langage open-weight gpt-oss-120b et gpt-oss-20b offrant des performances solides, une utilisation d'outils avancée et des déploiements efficients sur matériel grand public, avec une licence Apache 2.0.
vGPU 19.0 déverrouille les GPU RTX PRO Blackwell compatibles MIG pour une virtualisation graphique et IA évolutive, améliorant l’efficacité et la densité des data centers virtuels.
OpenAI publie GPT OSS, une famille de modèles MoE 120B et 20B avec quantification MXFP4 en 4 bits, sous licence Apache 2.0, et accessibles via les Inference Providers de Hugging Face pour des déploiements locaux et serveurs.
Deux modèles à poids ouverts (gpt-oss-120b et gpt-oss-20b) utilisant des Mixture-of-Experts et une quantification MXFP4 pour une inférence rapide et économe en mémoire. Licenciés Apache 2.0, adaptés aux déploiements privés/local et à l’exécution sur périphérique, avec intégration via Hugging Face In
OpenAI annonce Stargate Norway, sa première centrale de données IA en Europe dans le cadre du programme OpenAI for Countries. Le projet vise une capacité initiale de 230MW avec expansion, 100 000 GPU NVIDIA d’ici 2026, via une coentreprise 50/50 entre Nscale et Aker à Narvik.
L’infrastructure IA de Meta repose sur des mécanismes robustes de détection et de mitigation des pannes matérielles, y compris les corruptions silencieuses de données (SDC). L’article détaille les catégories de pannes, la triage à l’échelle et les télémetries pour assurer un entraînement et une infé
Un cadre novateur, xT, permet le traitement de grandes images de manière end-to-end sur des GPU modernes grâce à une tokenisation imbriquée, des encodeurs de région et un encodeur de contexte.
Modélisation de très grandes images de bout en bout sur des GPUs modernes via tokenisation hiérarchique et encodeurs régionaux et contextuels, offrant un contexte riche avec une empreinte mémoire réduite.