Renforcer la recherche sur la qualité de l’air avec des analyses prédictives sécurisées pilotées par le ML

TL;DR

• Un flux d’imputation de données comble les lacunes PM2.5 grâce à un modèle ML entraîné dans SageMaker Canvas, orchestré par AWS Lambda et AWS Step Functions.
• Le jeu de données d’exemple comprend plus de 15 millions d’enregistrements de mars 2022 à octobre 2022, en Kenya et en Nigérie, sur 23 capteurs dans 15 emplacements.
• Les prédictions comblent les valeurs PM2.5 manquantes dans une plage de ±4,875 µg/m³ pour préserver la fiabilité des tendances.
• La solution met l’accent sur la sécurité, le chiffrement et le déploiement en réseau privé, avec un cadre de responsabilité partagée pour la protection des données.

Contexte et antécédents

La pollution de l’air demeure un défi important pour la santé environnementale en Afrique. Des organisations comme sensors.AFRICA déployent des capteurs pour surveiller la qualité de l’air, mais les lacunes de données persistent en raison d’instabilités d’alimentation et de connectivité dans des zones à haut risque, où l’entretien est limité. Des données PM2.5 manquantes réduisent le pouvoir statistique et introduisent des biais dans les estimations, rendant difficile la détection fiable des tendances et les conclusions sur les schémas de qualité de l’air. Ces lacunes compromettent les décisions fondées sur des preuves pour le contrôle de la pollution et la conformité réglementaire. L’exposition au PM2.5 est associée à des millions de décès prématurés dans le monde, d’où l’importance de prévisions précises pour la santé publique. L’article met en évidence la capacité de prévision en séries temporelles d’Amazon SageMaker Canvas, une plateforme ML à faible code, pour prédire les valeurs PM2.5 à partir de jeux de données incomplets. Canvas offre une résilience face aux données manquantes, permettant une opération continue des réseaux de surveillance pendant les pannes ou la maintenance des capteurs. Cette approche aide les agences environnementales et les responsables de la santé publique à accéder à des informations critiques sans interruption pour des alertes et des analyses à long terme. L’approche combine des prévisions avec l’imputation des données à l’aide d’Amazon SageMaker AI, AWS Lambda et AWS Step Functions. Le jeu de données d’exemple provient d’openAFRICA et contient plus de 15 millions d’enregistrements (mars 2022 – octobre 2022) de 23 capteurs sur 15 sites, au Kenya et en Nigérie, démontrant comment adapter la solution à des données réelles. L’architecture repose sur deux composants ML : un flux d’entraînement et un flux d’inférence. Ces flux sont construits avec SageMaker Canvas pour le développement et l’exportation du modèle vers l’inférence en lot. Le processus d’entraînement commence par l’extraction des données des capteurs depuis une base de données, l’importation dans Canvas pour l’analyse prédictive et la préparation des données, puis l’exportation du modèle entraîné pour l’inférence en batch. L’approche prend en charge le ré-entrainement avec de nouveaux jeux PM2.5 pour s’adapter à l’évolution des capteurs.

Ce qu’il y a de nouveau

Cet article présente un flux complet et sécurisé d’imputation des données PM2.5 à partir de lacunes, en utilisant une combinaison de services AWS. Points clés:

• Prévision de séries temporelles avec SageMaker Canvas pour estimer les valeurs manquantes de PM2.5 dans des jeux de données comportant des lacunes.
• Flux de travail robuste de bout en bout : extraction des données, entraînement dans Canvas, export du modèle et pipeline d’inférence par batch.
• Orchestration quotidienne : une fonction Lambda lance un travail Transform Batch SageMaker toutes les 24 heures pour les données avec lacunes, puis met à jour le jeu de données avec les prédictions.
• Données d’exemple réalistes : plus de 15 millions d’enregistrements entre mars 2022 et octobre 2022, au Kenya et en Nigérie, issus de 23 capteurs sur 15 emplacements.
• Sécurité par conception : chiffrement au repos sur S3, la base de données Aurora PostgreSQL-compatible et SageMaker Canvas; chiffrement en transit via TLS; identifiants IAM temporaires pour l’accès RDS; rôles Lambda à privilèges minimaux; déploiement dans des sous-réseaux privés avec des points de terminaison VPC pour S3 et SageMaker AI.
• Déploiement via IaC : l’article décrit une approche CDK pour l’entraînement, l’enregistrement du modèle et le déploiement, facilitant les mises à jour répétables et traçables. Pour déployer, le projet fournit un dépôt avec du code d’exemple et un README détaillant les étapes.

Pourquoi cela compte (impact pour les développeurs/entreprises)

Pour les équipes et entreprises travaillant sur la surveillance environnementale, cette approche offre :

• Des pipelines de données résilients qui maintiennent l’opération malgré les pannes des capteurs, réduisant les lacunes et les coûts.
• Des insights exploitables de PM2.5 issus de données incomplètes sans nécessiter des flux parfaits, aidant les chercheurs et les décideurs à suivre les tendances en temps utile.
• Une solution scalable, sécurisée et cloud qui s’intègre à des systèmes existants (Aurora) et au stockage d’objets (S3), avec des contrôles de sécurité stricts.
• Un modèle d’implémentation traçable et reproductible grâce à l’Infrastructure as Code via CDK.
• Des pratiques claires de protection des données en transit et au repos, avec des permissions IAM granulaires et un réseau privé. Ce travail soutient les objectifs de santé publique en permettant une surveillance continue et des analyses PM2.5 plus fiables, favorisant les actions de contrôle de pollution et la conformité réglementaire.

Détails techniques ou Mise en œuvre

La solution comprend deux composants ML principaux : un flux d’entraînement et un flux d’inférence, intégrés dans un pipeline sécurisé.

• Données et entraînement
• Des données PM2.5 historiques sont extraites d’une base relationnelle et préparées dans SageMaker Canvas pour l’analyse prédictive.
• Canvas permet d’entraîner un modèle pour une cible unique avec des transformations et une ingénierie des caractéristiques adaptées aux séries temporelles.
• Après l’entraînement, Canvas exporte le modèle pour l’inférence en batch.
• Le jeu de données d’entraînement d’exemple comprend plus de 15 millions d’enregistrements entre mars 2022 et octobre 2022, issus de 23 capteurs dans 15 localisations au Kenya et en Nigérie.
• Inférence et imputation des données
• Le Step Functions coordonne le flux ; une fonction Lambda est appelée toutes les 24 heures.
• La Lambda démarre un travail Transform Batch SageMaker pour prédire les valeurs manquantes des données nouvelles.
• La transformation en batch traite l’ensemble du jeu de données en une seule passe et met à jour le jeu avec les prévisions.
• Cycle de vie du modèle et déploiement
• Après l’entraînement et l’évaluation ( RMSE et autres métriques ), le modèle est enregistré dans le SageMaker Model Registry et déployé pour l’inférence en batch.
• Le déploiement CDK crée un domaine SageMaker AI et un profil utilisateur, en provisionnant les ressources nécessaires pour l’entraînement et l’inférence.
• Le flux comprend la création du modèle SageMaker dans une VPC, le déploiement du travail batch et la mise à jour de l’infrastructure avec le nouvel ID de modèle via cdk deploy.
• La solution prend en charge le réentraînement avec de nouveaux jeux PM2.5.
• Sécurité et conformité
• Chiffrement en repos pour S3, Aurora et SageMaker Canvas.
• Chiffrement en transit via TLS pour toutes les communications Lambda.
• Identifiants IAM temporaires pour l’accès RDS, supprimant les mots de passe statiques.
• Fonctions Lambda fonctionnant avec des privilèges minimaux et des permissions adaptées.
• Déploiement dans des sous-réseaux privés sans accès direct à Internet public, avec des endpoints VPC pour S3 et SageMaker AI.
• Configuration et extensibilité
• L’architecture est conçue pour être adaptée à des changements de configuration futurs via CDK, avec un fichier de configuration décrivant les paramètres par défaut.
• L’approche favorise la sécurité et l’alignement avec le AWS Shared Responsibility Model, invitant les clients à examiner les responsabilités de déploiement sécurisé.
• Tableau: composants clés et rôles

• Références et notes de déploiement
• L’approche est documentée avec du code d’exemple et des guides d’installation dans le dépôt Git: [email protected]:aws-samples/sample-empowering-air-quality-research-secure-machine-learning-predictive-analytics.git
• L’article est accessible à l’adresse https://aws.amazon.com/blogs/machine-learning/empowering-air-quality-research-secure-ml-driven-predictive-analytics/.

Points à retenir

• L’imputation des lacunes PM2.5 peut être réalisée efficacement via un modèle SageMaker Canvas et un pipeline d’inférence en batch.
• Le déclenchement quotidien par Lambda maintient les jeux de données à jour avec un minimum d’interruptions de surveillance.
• Les mesures de sécurité — chiffrement, IAM à privilèges minimaux et réseau privé — protègent les données environnementales sensibles.
• Le modèle d’infrastructure-as-code facilite des déploiements reproductibles et évolutifs.

Références

• https://aws.amazon.com/blogs/machine-learning/empowering-air-quality-research-secure-ml-driven-predictive-analytics/
• [email protected]:aws-samples/sample-empowering-air-quality-research-secure-machine-learning-predictive-analytics.git