Prévoir les phénomènes météorologiques extrêmes en quelques minutes sans superordinateur : Huge Ensembles (HENS)

TL;DR

• NVIDIA, en collaboration avec le Lawrence Berkeley National Laboratory, a publié Huge Ensembles (HENS), un outil d’apprentissage automatique pour la prévision des conditions météorologiques extrêmes, disponible en code source ouvert ou en modèle prêt à l’emploi.
• HENS génère 27 000 années de données avec 7 424 membres d’ensembles basés sur les conditions d’été 2023, soit environ 150 fois plus de membres que les modèles traditionnels.
• Il prévoit de 6 heures à 14 jours à l’avance à une résolution de 15 miles (25 km), offrant des résultats plus rapides et une consommation d’énergie et des coûts informatiques réduits.
• Construit sur NVIDIA PhysicsNeMo et les cadres Makani open source, entraîné sur des données ERA5 (40 ans), HENS offre des incertitudes plus faibles et une meilleure capacité de détection des événements rares.

Contexte et arrière-plan

Les prévisions météorologiques et climatiques reposent souvent sur des modèles numériques fondés sur la physique qui simulent les processus atmosphériques. Ces modèles produisent des ensembles—plusieurs simulations avec des conditions initiales légèrement différentes—pour capturer l’incertitude et estimer la probabilité de différents résultats. Les ensembles traditionnels sont coûteux en calcul, nécessitant souvent des superordinateurs et limitant le nombre de membres. L’approche HENS combine l’IA à une modélisation basée sur la physique pour générer des ensembles massifs avec des exigences informatiques sensiblement moindres, permettant d’explorer des événements de faible probabilité mais à fort impact sur des périodes longues. L’étude en deux parties présentant HENS a été publiée dans Geoscientific Model Development et se concentre sur la création d’une vaste base de données de trajectoires climatiques à haute fidélité. Le travail démontre que des prévisions à haute résolution peuvent être produites plus efficacement tout en conservant des estimations robustes de l’incertitude. Les chercheurs ont entraîné des modèles climatiques globaux en utilisant NVIDIA PhysicsNeMo, un cadre open source d’IA axé sur la physique, dans le cadre du pipeline HENS, et ont utilisé les cadres Makani pour faciliter l’expérimentation à grande échelle. « Vingt-sept mille années de simulations constituent une mine d’or pour étudier les statistiques et les moteurs des événements climatiques extrêmes », a déclaré Ankur Mahesh, coauteur et chercheur au Berkeley Lab. Le projet met aussi l’accent sur le réentraînement avec de nouvelles données pour maintenir l’exactitude tout en réduisant la consommation d’énergie.

Nouvelles fonctionnalités

• Introduction de Huge Ensembles (HENS), une approche IA pour la prévision des phénomènes climatiques extrêmes qui réduit la dépendance aux ressources traditionnelles de supercalcul.
• Disponibilité en code source ouvert ou en modèle prêt à l’emploi, permettant une expérimentation et une mise en œuvre rapides.
• Capacité à générer 27 000 années de données climatiques avec 7 424 membres d’ensemble basés sur les conditions de l’été 2023.
• Fenêtre de prévision étendue de 6 heures à 14 jours avec une résolution élevée (15 miles / 25 km).
• Démonstration d’incertitudes plus faibles que les modèles traditionnels et la capacité de capturer environ 96% des événements rares mais graves.
• Un ensemble de données totalisant environ 27 000 années de données climatiques (environ 20 Po) créé et validé au NERSC (DOE/DOE’s National Energy Research Scientific Computing Center).
• Entraînement et flux de travail d’évaluation basés sur les données ERA5 (40 ans) et implémentés avec les cadres open source NVIDIA PhysicsNeMo et Makani.

Pourquoi c’est important (impact pour les développeurs/entreprises)

HENS permet aux scientifiques du climat, aux autorités locales et aux gestionnaires d’urgence de tester rapidement des scénarios et de mettre à jour les plans de réponse avec beaucoup moins de puissance de calcul et de coût que les méthodes traditionnelles. En générant des ensembles massifs et des contrefactuels pour des événements tels que les vagues de chaleur et les ouragans, il devient possible d’explorer les risques de queue et de comprendre les moteurs des extrêmes sur des années et des décennies, plutôt que sur des événements à court terme. L’approche promet également des économies d’énergie grâce au réentraînement des modèles avec de nouvelles données, accélérant les mises à jour des prévisions au fur et à mesure que les conditions évoluent.

Détails techniques ou Mise en œuvre

HENS repose sur un modèle IA informé par la physique entraîné avec PhysicsNeMo en utilisant ERA5 comme principale source d’état atmosphérique historique sur 40 ans. Après l’entraînement, le modèle sert d’alternative computationnellement moins coûteuse aux simulations numériques traditionnelles pour créer de grands ensembles et tester des scénarios. Le flux de travail combine IA et contraintes basées sur la physique pour maintenir la fidélité tout en réduisant radicalement le temps de calcul et la consommation d’énergie. HENS produit 7 424 membres d’ensemble pour les conditions de l’été 2023, permettant une caractérisation plus riche de la queue de la distribution et des évaluations plus fiables des événements rares mais graves. L’ensemble de données généré offre un registre volumineux et haute résolution pour étudier les motifs et les moteurs des extrêmes climatiques tels que les vagues de chaleur, les ouragans et les rivières atmosphériques.

Composants techniques clés

• PhysicsNeMo : cadre open source pour construire et affiner des modèles IA basés sur la physique à grande échelle.
• Makani : cadres open source utilisés pour soutenir la modélisation et l’expérimentation.
• ERA5 : données historiques utilisées pour l’entraînement (40 ans).
• NERSC : environnement de validation où les prédictions d’ensemble ont été évaluées sur plusieurs diagnostics.
• Disponibilité open source / prêt à l’emploi : facilite l’adoption et les tests à grande échelle.

Points clés

• HENS est une méthode IA évolutive pour la prévision de climats extrêmes qui réduit la dépendance aux supercalculateurs.
• L’approche génère des ensembles massifs (7 424 membres) à partir d’une seule exécution d’entraînement.
• Les prévisions vont de l’heure à plusieurs jours (6 h – 14 jours) avec une résolution de 15 miles (25 km).
• Les incertitudes des prédictions HENS sont nettement plus faibles que celles des modèles traditionnels, avec une meilleure détection des événements rares.
• L’ensemble de données généré (27 000 ans, ~20 Po) soutient des perspectives à long terme et des améliorations méthodologiques futures.

Références

• NVIDIA Dev Blog