QA4Seas – assurance qualité pour produits de prévisions saisonniers multi-modèles

Début du projet 01.07.2016
Fin du projet 30.09.2018
Thèmes Météo
Région Monde
Statut Projets achevés

La commission européenne QASeas (Quality Assurance for Multi-model Seasonal Forecast Products, C3S_51 Lot3) a pour but de développer une stratégie pour l’évaluation et le contrôle de qualité (EQC) des produits de prévisions saisonnières multi-modèles fournis par le Copernicus Climate Change Service (C3S). MétéoSuisse est l’un des partenaires actif dans diverses parties du projet avec un point d’intérêt spécifique concernant les certifications scientifiques des prévisions saisonnières du C3S.

QA4Seas (C3S_51 Lot3) en résumé

La commission européenne Copernicus Climate Change Service (CS3) a pour but de soutenir des adaptations et fournir un support de prévention en mettant à disposition des données climatiques fiables et un système d’information à l’aide de son Climate Data Store (CDS). Observation et ré-analyses, prévisions saisonnières et projections climatiques, fournissent des informations sur le passé, le présent et les futurs changements climatiques. Un aspect clef pour le succès du C3Q est la fonction d’évaluation et de contrôle qualité qui fournit une information de qualité pour tous les produits et assure que les utilisateurs aient accès à l’information dont ils ont besoin pour utiliser le service.  Le projet QA4Seas (Quality Assurance for Multi-model Seasonal Forecast Products, C3S_51 Lot3) vise à développer une stratégie pour l’évaluation et le contrôle qualité (EQC) de prévisions saisonnières de multi-modèles fournis par le C3S en réponse aux besoins de nombreux stakeholders du CDS. Les éléments clefs du QA4Seas sont : a) une étude pour identifier les stakeholders du CDS, b) une évaluation scientifique des aspects de qualité multi-facettes des prévisions saisonnières disponibles par le CDS, c) une analyse des écarts identifiant les écarts scientifiques et techniques, d) développement d’un prototype du système de EQC, et e) le développement d’une solution afin d’inclure la provenance des prévisions/produits metadata. MétéoSuisse a été active dans tous les domaines de ce projet avec un focus particulier sur la certification scientifique des prévisions saisonnières du C3S.

Contribution de MétéoSuisse – Évaluation scientifique des prévisions saisonnières

La qualité des prévisions saisonnières est limitée et varie fortement dans l’espace, le temps (aussi bien pour la période de prévision que pour la validité de la prévision), par paramètre et avec le système de prévision. De plus, les modèles saisonniers souffrent d’erreurs systématiques et nécessitent des corrections afin de rendre les prévisions utilisables. Des recommandations sur la manière de corriger ces erreurs ont été développées, basées sur une analyse détaillée de prévisions recalculées avec le système de prévisions C3S du centre européen de prévision à moyenne échéance (ECMWF), Météo France et le Met Office pour la période 1993.2014. Les prévisions saisonnières sont communiquées en deux formats distincts : a) prévisions d’ensemble, qui est une prévision probabiliste de valeurs absolues (p.ex. probabilité pour qu’une température excède 18° C) et b) une prévision probabiliste multi-catégories, c-à-d une prévision probabiliste relative à la référence climatologique (p.ex. plus chaud ou froid que la norme). Pour cette dernière, la prévisions courante est comparée à une prévision archivée afin de déterminer les probabilités pour chaque catégorie.

Pour les trois variables considérées dans QA4Seas, c-à-d température à la surface du sol, température de surface des océans et précipitations, la correction du biais permet d’augmenter considérablement la qualité des prévisions. Toutefois, seules quelques différences mineures dans la qualité des prévisions ont pu être détectées parmi les différentes méthodes qui ont été testées. En général, des méthodes simples d’ajustement de biais sont meilleures que des approches plus sophistiquées, en raison de la période de formation trop courte (1993-2014). La combinaison multi-modèles améliore encore la cohérence des prévisions, mais le gain actuel dans le score de prévision grâce au multi-modèles reste plutôt petit. Le panneau, à droite de la figure, illustre un exemple d’une prévision d’un multi-modèles pour la prévision saisonnière d’El Niño, p.ex. anomalie positive de température dans l’océan Pacifique tropical, le score de l’ensemble saisonnier de l’ECMWF  avant tout traitement, le biais corrigé pour l’ensemble saisonnier de l’ECMWF, et la combinaison d’un multi-modèles de trois modèles saisonniers disponibles du CDS. 

Sur la base d’une évaluation scientifique, nous recommandons de traiter la prévision probabiliste d’ensemble et multi-catégories de manière différente. S’il est crucial d’ajuster le biais de l’ensemble de la prévision saisonnière, celle de la multi-catégories ne nécessite pas d’ajustement du biais, car elle est implicitement ajustée par le calcul des catégories de probabilités relatives à la référence climatologique. De plus, la nature différente des deux produits de prévision demande une approche de combinaison de multi-modèles. La prévision multi-catégories peut être combinée directement en calculant des moyennes (pondérées) de probabilités de prévisions fournies par différents modèles, en considérant que les prévisions multi-modèles peuvent être obtenues, soit par une simple mise en commun des ensembles, ou par une approche plus sophistiquée, basée sur un mélange de distributions. Le panneau de droite de la figure, illustre la probabilité multi-catégories semblable à l’exemple du paragraphe précédent.

L’évaluation scientifique QA4Seas identifie la qualité, la force et les limitations des modèles de prévisions saisonnières et des combinaisons de multi-modèles. Actuellement, MétéoSuisse publie des prévisions de température pour le nord-est, l'ouest et le sud de la Suisse sur la base d'ensembles saisonniers de l’ECMWF, basés sur des probabilités multi-catégories. Les résultats de QA4Seas ont confirmé cette pratique. Outre l'utilisation d'un ensemble multi-modèles pour calculer les probabilités de plusieurs catégories, il est peu probable que la pratique actuelle puisse être surpassée par des approches plus sophistiquées.

Panneau inférieur montrant différents produits de prévision.
Illustration de la génération des produits de prévision saisonnière. 1ère rangée : exemple de prévisions multi-modèles Nino3.4 (ECMWF, Met Office, et Météo France) initialisées en novembre 2013. 2ème ligne : compétence des ensembles bruts en termes de mesures de vérification probabilistes (CRPSS pour les prévisions d'ensemble continu et RPSS pour les prévisions de probabilité multi-catégories). 3ème ligne : performance des prévisions d'ensemble après calibration. Les prévisions de probabilités multi-catégories sont implicitement calibrées. 4e rangée : performance des prévisions multi-modèles. Le CRPSS et le RPSS sont tous deux orientés positivement, c'est-à-dire que plus la valeur est élevée, plus la performance de prévision est élevée, avec une prévision parfaite donnant un score de un et des valeurs inférieures à zéro reflétant des prévisions dont les performances sont inférieures à la climatologie de référence.