novembre 2007 (31)

jeudi, novembre 22 2007

L'assimilation de données

Chose promise, chose due. Alors, voici une vision générale de ce qui occupe les plus longues de mes heures : l'assimilation de données.

Ce billet regroupe les différents billets publiés sur le contexte général de l'assimilation de données sous forme d'une table des matières hiérarchisée. Peut-être verrez-vous d'ici quelques temps fleurir des billets sur le cadre plus particulier de mon travail : l'assimilation de données océanographique avec une méthode variationnelle. Qui sait ?

Bonne lecture...






Lire la suite

vendredi, novembre 16 2007

Modèle de covariance d'erreur - Modélisation des erreurs

Comme il a été expliqué précédemment, la matrice de covariances d'erreur d'ébauche \[\mathbf{B}\] complète est trop grande pour être spécifiée explicitement. En général, les variances qui représentent les \[n\] termes de la diagonale de \[\mathbf{B}\] sont tous définis. Les termes non-diagonaux sont plus difficiles à définir. En effet, la matrice \[\mathbf{B}\] doit être définie positive. Les modélisations des termes non-diagonaux doivent donc conserver cette qualité.

Lire la suite

Modèle de covariance d'erreur - Estimation des erreurs

Il est difficile d'estimer les erreurs car elles ne sont jamais observées directement. En effet, l'état vrai n'étant pas accessible, il est impossible d'obtenir des échantillons des erreurs d'ébauche et d'observation. Les données statistiques sont donc difficilement disponibles et très largement insuffisantes pour déterminer tous les éléments. Par ailleurs, les matrices de covariances d'erreur sont très grandes. Pour ces deux raisons, elles doivent être simplifiées et modélisées. De tailles réduites, ces matrices sont manipulables informatiquement parlant et nécessitent moins de d'informations statistiques pour les décrire.

La modélisation des covariances d'erreur est donc un problème difficile et il est nécessaire de faire des hypothèses d'homogénéités. La meilleure source d'information est clairement l'étude de l'innovation (\[\mathbf{d}=\mathbf{y}-H\mathbf{x}^b\]) et peut être utilisée de plusieurs manières différentes. D'autres informations peuvent être obtenues à partir du vecteur d'erreur d'analyse (\[\mathbf{y}-H\mathbf{x}^a\]) ou à partir de la valeur de la fonction coût pour les méthodes variationnelles. D'autres méthodes permettent d'estimer les covariances d'erreur d'ébauche avec des quantités dont les statistiques d'erreur sont équivalentes à celle de l'erreur d'ébauche. Parmi ce type de techniques, la méthode NMC est très connue mais ces bases théoriques sont friables. Une autre possibilité est d'utiliser une méthode d'ensemble de la même manière que pour le filtre de Kalman éponyme. Cette méthode est néanmoins applicable quelque soit la méthode d'assimilation utilisée.

Lire la suite

Modèle de covariance d'erreur - Description des erreurs


Variances d'erreur d'observation

Les variances d'erreur d'observation sont le plus souvent estimées à l'aide des connaissances sur les caractéristiques techniques des instruments de mesures. Ces caractéristiques peuvent être, par exemple, déterminées par des observations positionnées au même endroit. Ces variances doivent aussi inclure les variances d'erreur de représentativité qui sont loin d'être négligeables tant qu'il existe des phénomènes physiques qui ne sont pas bien représentés dans l'espace du modèle.

D'autre part, il ne faut absolument pas considérer qu'un biais puisse être considéré comme une contribution aux variances d'erreur d'observation. En effet, il occasionnerait un biais dans l'incrément d'analyse. Ainsi, à chaque fois qu'un biais est mis en évidence, il doit être retiré des observations ou de l'état d'ébauche en fonction de son origine supposée. Il est cependant souvent difficile de déterminer son origine.

Lire la suite

Modèle de covariance d'erreur

Une spécification correcte et adaptée des covariances d'erreur d'observation et d'ébauche est primordiale pour la qualité de l'analyse. En effet, ces covariances déterminent comment et à quel point les observations corrigeront l'état d'ébauche. Les variances d'erreur sont les paramètres essentiels.  […]

Lire la suite

Méthode d'assimilation - 4DVar

Le 4D-Var est l'extension temporelle du 3D-Var. Cette méthode ne vise pas à obtenir l'état optimal à un instant donné, mais la trajectoire optimale sur une fenêtre de temps donné. Les observations sont donc prises en compte aussi bien dans leur distribution spatiale que temporelle. Cet aspect est déjà pris en compte par le 3D-Var FGAT présenté dans la section ad-hoc. Néanmoins, le 4D-Var apporte un aspect temporel en plus car il propage l'information apportée par les observations à l'instant initial de la fenêtre d'assimilation. De ce fait, l'analyse obtenue doit permettre au modèle d'évolution d'avoir la trajectoire la plus proche possible de l'ensemble des observations utilisées.

Cette amélioration du 3D-Var permet d'ajouter la connaissance de l'évolution du système comme information pour l'analyse.

De nombreuses applications à des modèles réalistes météorologiques (Thépaut et Courtier, 1991 et Zupanski, 1993) et océanographiques (Moore, 1986 ; Shröter etal., 1993 ; Luong etal., 1998 et Greiner etal., 1998) ont depuis longtemps été effectuées.

L'amélioration ainsi apportée, conjuguée au fort développement des moyens de calculs, font que le 4D-Var est venu remplacer le 3D-Var dans les systèmes de prévision opérationnels atmosphériques du CEPMMT en 1997 et de Météo-France en 2000.

Lire la suite

jeudi, novembre 15 2007

Méthode d'assimilation - 3DVar


3D-Var

La méthode d'assimilation variationnelle tri-dimensionnelle, notée 3D-Var pour "3Dimensional VARiational assimilation", consiste à chercher l'état le plus vraisemblable à partir des connaissances disponibles sur les lois de probabilités des erreurs d'observation et d'ébauche.

Comme sont nom l'indique clairement, le 3D-Var traite de problèmes tri-dimensionels. Par abus de langage, cette appellation est aussi utilisée pour des problèmes à une ou deux dimensions afin d'éviter les risques de confusions avec l'extension temporelle de cette méthode. En effet, sur un problème bi-dimensionnel, le 3D-Var s'appellerait 2D-Var, tandis que le 4D-Var se nommerait 3D-Var. Ce qui serait particulièrement ambigu. De ce fait, tous les problèmes ne prenant pas en compte l'aspect temporel sont appelés 3D-Var.

Comme pour le filtre de Kalman, le 3D-Var consiste à minimiser la distance au sens des moindres carrés entre l'état estimé et les différentes sources d'informations telles que la prévision précédente et les observations. Le nouvel état analysé est, en général, utilisé comme point de départ de la prévision suivante.

Lire la suite

Méthode d'assimilation - Méthodes variationnelles

Introduites au début des années cinquante par Sasaki (Sasaki, 1955 et Sasaki, 1958), les méthodes variationnelles sont devenues pendant les années 1990 très populaires. De grands centres de prévisions météorologiques, tels que le NMC (U.S. National Meteorological Center, maintenant appelé National  […]

Lire la suite

Méthode d'assimilation - Filtre de Kalman d'ensemble (EnKF)

Le filtre de Kalman d'ensemble a été proposé par Evensen en 1994, puis corrigé en 1998. Pour une description détaillée, il est possible de se référer à Evensen (2003). Cette méthode a d'abord été présentée comme une alternative stochastique au filtre de Kalman étendu qui est déterministe. L'utilisation d'une méthode de Monte Carlo a été imaginée pour résoudre les deux principaux problèmes du filtre de Kalman étendu dans le cadre de système de grande taille non linéaire qui sont son coût très important et sa mauvaise réponse en cas de forte non-linéarité.

Le filtre de Kalman d'ensemble est très populaire car il est conceptuellement très simple et sa mise en oeuvre est aisée. En effet, il ne nécessite ni dérivation des opérateurs tangent-linéaires et des équations adjointes, ni intégration rétrograde du modèle d'évolution.

Lire la suite

Méthode d'assimilation - Coût de Calcul et filtres dégradés

Les différents filtres de Kalman à rang réduit représentent des approches réalistes permettant l'implémentation du filtre de Kalman à des problèmes complexes et de grandes tailles.

En effet, alors que l'utilisation des filtres de Kalman ou de Kalman étendu nécessitent des ressources informatiques hors de portée pour des problèmes de grandes tailles comme l'océanographie ou la météorologie, le passage à un sous-espace représentatif de taille beaucoup plus petite permet la mise en oeuvre réaliste des méthodes utilisant cette technique.

Lire la suite

Méthode d'assimilation - Filtre SEIK

Le filtre de Kalman étendu peut présenter des instabilités en présence de fortes non-linéarités jusqu'à, parfois, diverger complètement (Evensen, 1992 ; Gauthier etal., 1994 et Kushner, 1967). Une possibilité pour tenter de résoudre cette difficulté est de remplacer la linéarisation dans le filtre  […]

Lire la suite

Méthode d'assimilation - Filtre SEEK

Le filtre SEEK (Singular Evolutive Extended Kalman filter) a été introduit par Pham etal. en 1998. Il s'agit d'un filtre réduit déduit du filtre de Kalman étendu. Il repose sur la stagnation ou la décroissance du rang des matrices de covariances d'erreur, une propriété avérée ou forcée selon les cas.

Lire la suite

Méthode d'assimilation - Filtre RRSQRT

Le filtre RRSQRT est une réponde à ce problème. Il permet d'éviter les différentes difficultés d'implémentation mise en évidence auparavant en représentant les directions principales des matrices d'erreur par des modes réduits. Ainsi, il possible d'utiliser exclusivement les modes au détriment des matrices.

Lire la suite

Méthode d'assimilation - Les filtre de Kalman réduits

Depuis R. E. Kalman, les filtres ont été utilisés dans de nombreuses applications. Mais très vite, les aspects limitants de l'implémentation du filtre de Kalman sont apparus. Ainsi, l'assimilation de données n'était pas possible dans des domaines comme la météorologie, ou plus tard, l'océanographie  […]

Lire la suite

Méthode d'assimilation - L'exemple du naufragé

Revenons aux mésaventures de notre naufragé introduites précédemment. Finalement, ne sachant comment atteindre le rivage, il se résout à évaluer la distance le séparant du rivage toutes les heures. Il dispose ainsi de \[i\] mesures de la distance du canot au rivage (\[v^o_i\]) entre l'instant de son naufrage \[t_0\] et la dernière mesure au temps \[t_i\]. Cette évaluation est supposée sans biais et sa variance, notée comme précédemment \[s^o\], est supposée stationnaire. Les coordonnées réelles du canot sont \[(u_i,v_i)\],tandis que celle issues de l'analyse \[(u_i^a,v_i^a)\] et celles de la prévision \[(u_i^f,v_i^f)\]. A l'instant du naufrage (\[t_0\]), la position du canot est \[(u_0^a,v_0^a)=(0,0)\]. Entre deux mesures aux instants \[t_i\] et \[t_{i+1}\],le canot dérive mais sa direction n'est pas connue. Le naufragé imagine donc un modèle d'évolution comme un modèle de diffusion autour de son point d'origine. Il peut donc écrire le modèle (linéaire en l'occurrence) tel que \[\mathbf{M}_{i \to i+1}=\mathbf{I}\]) et l'erreur modèle, qu'il suppose importante, telle que

\[ \mathbf{Q}_i=\left( \begin{array}{cc} s^m & 0 \\ 0 & s^m \end{array} \right)\],

où \[s^m\] est proportionnel au temps écoulé entre \[t_{k+1}\] et \[t_0\].

Lire la suite

Méthode d'assimilation - Le coût de calcul

L'algorithme du filtre de Kalman complète le système d'équations lié à la détermination de l'état analysé et à sa propagation dans le temps avec deux équations de calcul et de propagation de la matrice de covariance d'erreur d'analyse. Le coût numérique du filtre de Kalman est donc la somme du coût  […]

Lire la suite

Méthode d'assimilation - Filtre de Kalman étendu (EKF)

Dans le filtre de Kalman classique, le modèle d'évolution et l'opérateur d'observation sont supposés linéaires. Cependant, il arrive souvent que l'hypothèse de linéarité ne soit pas valide. Dans ce cas, il est possible de généraliser le filtre de Kalman en utilisant des formes linéarisées de l'opérateur d'observation et du modèle d'évolution pour les Eqs. (032), (034) et (036) et la forme non-linéaire pour les Eqs. (033) et (035). Ce filtre est appelé filtre de Kalman étendu (EKF).

Lire la suite

Méthode d'assimilation - Le filtre de Kalman (KF)

Filtre de Kalman - KF

En 1960-61, Kalman et Bucy ont décrit une solution récursive pour des problèmes de filtrage linéaire de données discrète. Cette solution est depuis nommée filtre de Kalman. Ce filtre peut être appréhendé comme une extension du BLUE pour laquelle l'état analysé pour une étape donnée définit l'ébauche à l'étape d'analyse suivante. Outre ceci, le filtre de Kalman incorpore un modèle d'évolution de l'état du système entre deux instants \[t_i\] et \[t_{i+1\].

Lire la suite

Méthode d'assimilation - Interpolation Optimale (OI)

L'interpolation optimale (Gandin, 1963 ; Lorenc, 1981 ou Daley, 1991), notée OI, est une simplification algébrique du BLUE présenté précédemment. L'équation (009) est décomposée en un système d'équations résolvant cette équation pour chaque variable du modèle. L'hypothèse fondamentale de cette méthode est que pour chaque variable du modèle en chaque point de grille, un nombre réduit d'observations est pris prend en compte pour effectuer l'analyse. L'approximation vient donc de la technique de sélection d'une liste de données \[p_v\] utiles pour l'analyse de chaque variable \[\mathbf{x}_v\] en chaque point de grille. Le calcul de \[\mathbf{K}\] se fait ligne par ligne en n'utilisant qu'un nombre réduit d'observations voisines de chaque point de grille (Fig. 4).

Interpolation optimale
Fig. 4 : Représentation schématique de la sélection des observations au voisinage de deux points. Les analyses en ces deux points n'utilisent pas les mêmes observations bien qu'ils soient proches. Les champs analysé n'est donc généralement pas continu. De plus, le coût de l'analyse augmente avec la taille du voisinage utilisé.

Lire la suite

Interpolation statistiques - L'exemple du naufragé

Pour illustrer les différents concepts abordés, un exemple sera très utile. Supposons qu'à la suite d'une tempête, un marin naviguant en suivant la ligne de côtes, s'échoue sur des récifs. Le bateau étant bien équipé, il relève sa dernière position sur le GPS et monte dans le canot de sauvetage. Malheureusement, ce canot est dépourvu de rames. Les vagues et le vent l'emportent donc loin de son navire échoué. Définissons un référentiel de tel sorte que l'axe x soit parallèle à la côte et l'axe y lui soit perpendiculaire. La position du navire échoué dans ce référentiel est défini comme le point de référence de coordonnées (0,0). La position du canot de sauvetage est donc connu à l'instant \[ t_0=0 \]. Un peu plus tard, à l'instant t, le naufragé estime au jugé la distance qui le sépare de la côte. Le naufragé sait que son estimation est empreinte d'une erreur et il estime la variance de cette erreur \[s^o\]. Il se rappelle, par ailleurs, la position de l'épave et sait que le canot de sauvetage a dérivé malgré l'absence de courants marins prédominants dans cette région. Il suppose donc que la probabilité qu'il se trouve maintenant à la position \[(u^b,v^b)\] suit une loi normale de variance \[s^b\] qui dépend linéairement du temps écoulé. Après réflexion, il estime aussi que le processus de mesure au jugé n'est pas corrélé à celui de la dérive du canot. Il résume donc sa situation en faisant un schéma (Fig. 3).

La géométrie de la situation du naufragé
Fig. 3 : La géométrie de la situation du naufragé.

Lire la suite

Interpolation statistiques - Approche variationnelle

Équivalence avec le BLUE

En reprenant exactement les mêmes hypothèses que pour le BLUE, il est possible de résoudre le problème par une approche variationnelle. Pour cela, il faut définir une fonctionnelle :

(023)
\[J(\mathbf{x})=\frac{1}{2}(\mathbf{x}-\mathbf{x}^b)\mathbf{B}^{-1}(\mathbf{x}-\mathbf{x}^b)+\frac{1}{2}(\mathbf{y}^o-\mathbf{H}\mathbf{x})^T\mathbf{R}^{-1}(\mathbf{y}^o-\mathbf{H}\mathbf{x}) \],

appelée fonction coût et qui a pour caractéristique d'être quadratique en \[ \mathbf{x} \]. Comme, de plus, les matrices \[\mathbf{B}\] et \[ \mathbf{R} \] sont définies positives, alors cette fonction coût est convexe et possède un seul minimum qui peut être estimé par son gradient :

(024)
\[ \nabla J(\mathbf{x}) = \mathbf{B}^{-1}(\mathbf{x}-\mathbf{x}^b)-\mathbf{H}^T\mathbf{R}^{-1}(\mathbf{y}^o-\mathbf{H}\mathbf{x}) \].

Lire la suite

Interpolation statistique - Propriétés du BLUE

Formule de Sherman-Morrison-Woodbury

Le gain optimal est, en général, donné sous la forme de l'Eq. (015). Cependant, il peut être réécrit sous la forme :

\[\mathbf{K}^* = \mathbf{B}\mathbf{H}^T(\mathbf{H}\mathbf{B}\mathbf{H}^T+\mathbf{R})^{-1}\],

\[\mathbf{K}^* =\left( \mathbf{B}^{-1}+\mathbf{H}^T\mathbf{R}^{-1}\mathbf{H} \right)^{-1} \left(\mathbf{B}^{-1}+\mathbf{H}^T\mathbf{R}^{-1}\mathbf{H}\right) \mathbf{B}\mathbf{H}^T(\mathbf{H}\mathbf{B}\mathbf{H}^T+\mathbf{R})^{-1}\],

\[\mathbf{K}^* =\left( \mathbf{B}^{-1}+\mathbf{H}^T\mathbf{R}^{-1}\mathbf{H} \right)^{-1} \left(\mathbf{H}^T+\mathbf{H}^T\mathbf{R}^{-1}\mathbf{H}\mathbf{B}\mathbf{H}^T\right) (\mathbf{H}\mathbf{B}\mathbf{H}^T+\mathbf{R})^{-1}\],

\[\mathbf{K}^* =\left( \mathbf{B}^{-1}+\mathbf{H}^T\mathbf{R}^{-1}\mathbf{H} \right)^{-1} \mathbf{H}^T\mathbf{R}^{-1}\left(\mathbf{R}+\mathbf{H}\mathbf{B}\mathbf{H}^T\right) (\mathbf{H}\mathbf{B}\mathbf{H}^T+\mathbf{R})^{-1}\],

(016)
\[\mathbf{K}^* =\left( \mathbf{B}^{-1}+\mathbf{H}^T\mathbf{R}^{-1}\mathbf{H} \right)^{-1} \mathbf{H}^T\mathbf{R}^{-1}\].

Lire la suite

Interpolation statistique - Best Linear Unbiased Estimation

Connaissant la matrice de covariance d'erreur d'analyse, il est possible d'essayer de minimiser son erreur scalaire (\[ \mathrm{Tr}(\mathbf{A}) \]). Il doit donc exister un gain optimal \[ \mathbf{K}^*\] qui peut être obtenu en étudiant la variation de l'erreur scalaire d'analyse sous une variation  […]

Lire la suite

mercredi, novembre 14 2007

Interpolation statistique - Estimation non-optimisée

Définition du gain

Un ansatz pour le vecteur d'analyse \[ \mathbf{x}^a \] est de le décomposer de la manière suivante :

(006)
\[ \mathbf{x}^a = \mathbf{L}\mathbf{x}^b + \mathbf{K}\mathbf{y}^o \],

où \[\mathbf{L} \] est une matrice de dimension n x n et \[ \mathbf{K} \] une matrice de dimension n x p. L'état analysé est donc une combinaison linéaire des différentes informations disponibles.

Lire la suite

mardi, novembre 13 2007

Interpolation statistique - Le problème de l'estimation

Le système étudié est décrit par \[ \mathbf{x}^t \]. La première estimation faite est \[ \mathbf{x}^b \] qui peut, par exemple, provenir d'une analyse antérieure. C'est la meilleure estimation du système en l'absence d'autres informations. Des observations \[ \mathbf{y}^o \] permettent d'obtenir des  […]

Lire la suite

Interpolation statistique - Notations et hypothèses

Soit l'espace du modèle de dimensions n et l'espace des observations de dimensions p. En reprenant les définitions et notations précédentes :

Lire la suite

Présentation du problème - Modélisation des erreurs

Pour prendre en compte les incertitudes dans l'ébauche, les observations et l'analyse, il faut faire des hypothèses sur la modélisation des erreurs entre ces vecteurs et leurs équivalents "vrais". L'utilisation des fonctions de densité de probabilité, nommées pdf, est une approche adaptée pour construire des modèles d'erreur. Les fonctions de densité de probabilité sont largement et rigoureusement décrites à travers des théories mathématiques. Une description simplifiée est donnée ci-dessous.

Lire la suite

Présentation du problème - Description des vecteurs et espaces

Vecteur d'état

Pour formaliser mathématiquement le problème d'analyse, il faut définir un espace de travail. L'état du modèle est défini par une série de nombres ordonnés en une matrice colonne appelé vecteur d'état. Ce vecteur d'état \[ \mathbf{x} \] est le même que celui utilisé dans le modèle de prévision. Le choix de la discrétisation détermine comment les composantes vectorielles sont liées à l'état vrai du système. La discrétisation est ainsi équivalant au choix d'une base en mathématique.

Plusieurs vecteurs d'état peuvent être définis. Il n'est pas possible de décrire la réalité parfaitement car elle ne peut pas être représentée dans un vecteur d'état. Néanmoins, un vecteur \[ \mathbf{x}^t_c \] pourra permettre de décrire cet état vrai en continu. Plus classiquement, \[ \mathbf{x}^t" \] représentera la meilleure représentation possible de la réalité \[ \mathbf{x}^t_c" \] dans un vecteur d'état nommé état vrai. La première estimation de l'état analysé est appelé l'ébauche \[ \mathbf{x}^b" \], tandis que l'état analysé lui-même est noté \[ \mathbf{x}^a" \].

Lire la suite

Présentation du problème - Concepts de base

L'analyse

L'analyse est une description fiable de l'état vrai du système à un instant donné. Elle est déjà utile par elle même en tant que représentation globale et consistante du système étudié. Elle peut aussi servir comme état initial pour une prévision du système à l'aide du modèle ou comme pseudo-observation. Elle peut aussi servir de référence afin de vérifier la qualité des observations.

Pour obtenir l'état analysé, les seules informations objectives sont les mesures des observations effectuées sur l'état vrai. Le système peut parfois être surdéterminé. Dans ce cas, l'analyse se résume à un problème d'interpolation. Il est, en général, sous-déterminé car les observations sont clairsemées et pas toujours liées directement aux variables du modèle. Ce qui n'empêche pas d'avoir des régions où les observations sont très denses et où le système est ainsi sur-déterminé. Afin de bien poser le problème, il est nécessaire de disposer d'une ébauche de l'état du modèle (c'est-à-dire une estimation a priori de l'état du modèle). Des contraintes physiques peuvent aussi permettre de mieux déterminer le système. Cette ébauche peut aussi bien être une climatologie, un état quelconque ou état obtenu à partir de précédentes analyses.  Dans ce cas, si le système efficace, l'information est sensée s'accumuler dans l'état du système et se propager entre les variables du modèle.

Lire la suite

lundi, novembre 12 2007

Introduction - Un exemple plus théorique

Une autre façon de penser l'assimilation de données est de la comparer aux méthodes traditionnelles de la recherche scientifique.

En général, face à un système inconnu, la première démarche est d'essayer de comprendre comment il fonctionne. Ceci se traduit par le développement d'un modèle qui va tenter de simuler toutes les composantes internes du système. Ce modèle, aussi perfectionné soit-il, nécessite des paramètres d'entrée. Une fois le modèle abouti, il est ensuite comparé à des résultats expérimentaux. En supposant que le modèle est adapté, les comparaisons entre les sorties du modèle et les mesures expérimentales permettent d'améliorer les entrées du modèle. Il s'agit donc d'un problème inverse.

Lire la suite

Introduction - Un exemple simple : la météorologie

La première question que l'on peut se poser est : "A quoi sert l'assimilation de données ?". Une question bien peu scientifique car ne répondant pas à la question "Comment ?". Et pourtant, c'est souvent la première question posée lorsque l'assimilation de données fait irruption dans une discussion. Certes, c'est un sujet peu abordé d'ordinaire, mais que certains chercheurs ou doctorants travaillant dans le domaine rencontrent fréquemment.

Lire la suite