Loi normale multidimensionnelle

On nomme loi normale multidimensionnelle, ou loi multinormale ou loi de Gauss à plusieurs variables, une loi de probabilité qui est la généralisation multidimensionnelle de la loi normale.

Catégories :

Loi de probabilité - Statistiques - Probabilités

Page(s) en rapport avec ce sujet :

La loi normale multidimensionnelle. Exemple : taille du p`re et taille du fils aina suivant Pearson et Lee. N2 (µ, Σ) loi normale m#dimensionnelle de moyenne... (source : iecn.u-nancy)
La loi normale multidimensionnelle est utilisée depuis longtemps pour modéliser des données vectorielles, surtout en biométrie et en physique.... (source : cat.inist)
Users who used " Loi normale multidimensionnelle " :... Posted by bugb to Tests graphiques Loi normale multidimensionnelle Lhoste, Ernest normalisation on Thu... (source : connotea)

Distribution normale multidimensionnelle
Paramètres	$\mu = [\mu_1, \dots, \mu_N]ˆ\top$ moyenne (vecteur réel) $Σ$ matrice de variance-covariance (matrice définie positive réelle $N \times N$ )
Support	$x \in \mathbb{R}ˆN$
Densité de probabilité (fonction de masse)	$\frac {1} {(2\pi)ˆ{N/2} \left\|\Sigma\right\|ˆ{1/2}} eˆ{-\frac{1}{2}( x - \mu)ˆ\top \Sigmaˆ{-1} (x - \mu)}$
Espérance	$μ$
Médiane (centre)	$μ$
Mode	$μ$
Variance	$Σ$
Asymétrie (statistique)	0
Entropie	$\ln\left(\sqrt{(2\,\pi\,e)ˆN \left\| \Sigma \right\|}\right)\!$
Fonction génératrice des moments	$M_X(t)= \exp\left( \muˆ\top t + \frac{1}{2} tˆ\top \Sigma t\right)$
Fonction caractéristique	$\phi_X(t;\mu,\Sigma)=\exp\left( i \muˆ\top t - \frac{1}{2} tˆ\top \Sigma t\right)$

On nomme loi normale multidimensionnelle, ou loi multinormale ou loi de Gauss à plusieurs variables, une loi de probabilité qui est la généralisation multidimensionnelle de la loi normale.

Tandis que la loi normale classique est paramétrée par un scalaire $μ$ correspondant à sa moyenne et un second scalaire $σ 2$ correspondant à sa variance, la loi multinormale est paramétrée par un vecteur $\boldsymbol{\mu}$ de $\mathbb{R}ˆN$ représentant son centre et une matrice semi-définie positive $\boldsymbol{\Sigma}$ de $\mathcal{M}_N(\R)$ qui est sa matrice de variance-covariance.

Dans le cas non dégénéré où $Σ$ est définie positive, par conséquent inversible, la loi normale multidimensionnelle admet une densité de probabilité $f_\theta :\mathbb{R}ˆN \to \R$ définie de la manière suivante :

pour un vecteur $\boldsymbol{x}$ de $\mathbb{R}ˆN$ , en notant $\boldsymbol{\theta}=\left(\boldsymbol{\mu},\boldsymbol{\Sigma}\right)$ et $\left| \boldsymbol{\Sigma}\right|$ le déterminant de $\boldsymbol{\Sigma}$ :

$f_\theta\left(\boldsymbol{x}\right)= \frac{1} {(2\pi)ˆ{N/2} \left| \boldsymbol{\Sigma}\right|ˆ{1/2}}eˆ{ -\frac{1}{2}\left(\boldsymbol{x}-\boldsymbol{\mu}\right)ˆT\boldsymbol{\Sigma}ˆ{-1}\left(\boldsymbol{x}-\boldsymbol{\mu}\right) }.$

Cette loi est généralement notée $\mathcal{N}(\mu,\, \Sigma)$ par ressemblance avec la loi normale unidimensionnelle.

Loi non dégénérée

Cette section s'intéresse à la construction de la loi normale multidimensionnelle dans le cas non dégénéré où la matrice de variance-covariance $Σ$ est définie positive.

Rappel sur la loi normale unidimensionnelle

Le théorème de la limite centrale fait apparaître une variable $U\,$ de Gauss centrée réduite (moyenne nulle, variance unité) :

$E[U] = 0 \qquad E[Uˆ2] = 1$ $p_U(u) = \frac {1} {\sqrt{2 \pi}} eˆ{-\frac{1}{2}uˆ2}\,$

On passe à la variable de Gauss générale par le changement de variable

$X = \sigma U + \mu \,$

qui conduit à

$E[X] = \mu \qquad E[(X-\mu)ˆ2] = \sigmaˆ2$ $p_X(x) = \frac {1} {\sigma \sqrt{2 \pi}} eˆ{-{(x-\mu)ˆ2} \over {2 \sigmaˆ2}}$

Cette loi est caractérisée par une exponentielle comportant un exposant du second degré.

Loi unitaire à plusieurs variables

Étant données N variables aléatoires indépendantes de même loi de Gauss centrée réduite, leur densité de probabilité jointe s'écrit :

$p_{U_1...U_N}(u_1,...,u_N) = \frac {1} {{(2 \pi)}ˆ{N/2}} eˆ{-{1 \over 2} \sum_{j=1}ˆN u_jˆ2}$

C'est la loi qui est à la base de la loi du χ².

Elle peut être synthétisée dans des formules matricielles. On définit en premier lieu le vecteur aléatoire $\boldsymbol{U}\,$ qui a pour composantes les N variables et le vecteur d'état $\boldsymbol{u}\,$ qui a pour composantes leurs valeurs numériques.

On peut associer au vecteur d'état le vecteur moyenne qui a pour composantes les moyennes des composantes, c'est-à-dire, dans ce cas, le vecteur nul :

$E[\boldsymbol{U}] = \boldsymbol{0}\,$

La matrice de covariance possède des éléments diagonaux (les variances) qui sont égaux à 1 alors que les éléments non diagonaux (les covariances au sens strict) sont nuls : c'est la matrice unité. Elle peut s'écrire en utilisant la transposition :

$E[\boldsymbol{U} \boldsymbol{U}ˆT] = \boldsymbol{I}\,$

Enfin, la densité de probabilité s'écrit :

$p_\boldsymbol{U}(\boldsymbol{u}) = \frac {1} {{(2 \pi)}ˆ{N/2}} eˆ{-{1 \over 2} \boldsymbol{u}ˆT \boldsymbol{u}}$

Loi générale à plusieurs variables

Elle s'obtient à partir d'un changement de variable linéaire

$\boldsymbol{X} = \boldsymbol{a} \boldsymbol{U} + \boldsymbol{\mu}$

Le problème sera limité au cas d'une matrice $\boldsymbol{a}$ carrée (même nombre de variables en sortie) et régulière. L'opérateur espérance vectoriel étant linéaire, on obtient le vecteur moyen

$E[\boldsymbol{X}] = \boldsymbol{a} E[\boldsymbol{U}] + \boldsymbol{\mu} = \boldsymbol{\mu}\,$

et la matrice de covariance

$E[\boldsymbol{(X-\mu)} \boldsymbol{(X-\mu)}ˆT] = E[\boldsymbol{a} \boldsymbol{U} \boldsymbol{U}ˆT \boldsymbol{a}ˆT] = \boldsymbol{a}\boldsymbol{a}ˆT= \boldsymbol{\Sigma}\,$

La densité de probabilité s'écrit

$p_\boldsymbol{X}(\boldsymbol{x}) = \frac {1} {{(2 \pi)}ˆ{N/2} \left| \boldsymbol{\Sigma} \right|ˆ{1/2} } eˆ{-{1 \over 2} \boldsymbol{(x-\mu)}ˆT \boldsymbol{\Sigma}ˆ{-1} \boldsymbol{(x-\mu)}}$

Remarques diverses

Un nouveau changement de variables linéaire appliqué à $\boldsymbol{X}\,$ aboutit à une densité de probabilité qui a la même forme mathématique :

$\boldsymbol{Y} = \boldsymbol{b} \boldsymbol{X} + \boldsymbol{\nu} = \boldsymbol{b} \boldsymbol{a} \boldsymbol{U} + \boldsymbol{b} \boldsymbol{\mu} + \boldsymbol{\nu}$

Les formules principales, obtenues commodément à partir du calcul matriciel, se traduisent en termes scalaires :

$X_k = \sum_{j=1}ˆN {a_{kj}U_j}\,(k=1,N)\,$ $p_{X_1...X_N}(x_1,...x_N) = \frac {1} {{(2 \pi)}ˆ{N/2} \left| \boldsymbol{\Sigma} \right|ˆ{1/2}} eˆ{-{1 \over 2} \sum_{j=1}ˆN \sum_{k=1}ˆN t_{jk} (x_j - \mu_j) (x_k - \mu_k)}$

les $t_{jk}\,$ étant les cœfficients de l'inverse de la matrice de covariance.

L'exposant dans la formule qui précède est du second degré comparé à l'ensemble des variables. On vérifie qu'une intégration comparé à l'une d'entre elles donne un résultat analogue. (N-1) intégrations successives aboutissent à une loi de probabilité marginale pourvue d'un exposant quadratique : chaque variable est gaussienne, ce qui n'était pas évident a priori.

En combinant les remarques précédentes, on aboutit au résultat selon lequel toute combinaison linéaire des composantes d'un vecteur gaussien est une variable gaussienne.

Dans cette loi de probabilité jointe, à tout couple de variables décorrélées correspond une matrice de covariance diagonale, ce qui assure leur indépendance. En effet, le couple est lui-même gaussien, et sa densité jointe est le produit des densités de ses deux composantes.
Le terme présent dans l'exponentielle $\left(\boldsymbol{x}-\boldsymbol{\mu}\right)'\boldsymbol{\Sigma}ˆ{-1}\left(\boldsymbol{x}-\boldsymbol{\mu}\right)$ est le carré de la distance de Mahalanobis.

Distributions conditionnelles

Si $μ$ et $Σ$ sont partitionnées comme décrit ci-dessous

$\mu = \begin{bmatrix} \mu_1 \\ \mu_2 \end{bmatrix} \quad$ avec les dimensions $\begin{bmatrix} q \times 1 \\ (N-q) \times 1 \end{bmatrix}$

$\Sigma = \begin{bmatrix} \Sigma_{11} & \Sigma_{12} \\ \Sigma_{21} & \Sigma_{22} \end{bmatrix} \quad$ avec les dimensions $\begin{bmatrix} q \times q & q \times (N-q) \\ (N-q) \times q & (N-q) \times (N-q) \end{bmatrix}$

alors la distribution de $x 1$ conditionnellement à $x 2 = a$ est une loi normale multidimensionnelle $(X_1|X_2=a) \sim \mathcal{N}(\bar{\mu}, \overline{\Sigma})$ où

$\bar{\mu} = \mu_1 + \Sigma_{12} \Sigma_{22}ˆ{-1} \left( a - \mu_2 \right)$

et la matrice de variance-covariance s'écrit

$\overline{\Sigma} = \Sigma_{11} - \Sigma_{12} \Sigma_{22}ˆ{-1} \Sigma_{21}.$

Cette matrice est le complément de Schur de ${\mathbf\Sigma_{22}}$ dans ${\mathbf\Sigma}$ .

On remarquera que savoir que $x 2$ vaut $a$ change la variance mais que, de manière plus étonnante, la moyenne est aussi modifiée et ce par un décalage de $\Sigma_{12} \Sigma_{22}ˆ{-1} \left(a - \mu_2 \right)$ . Cela est à comparer avec la situation dans laquelle on ne connait pas $a$ , au quel cas $x 1$ a pour distribution $\mathcal{N}_q \left(\mu_1, \Sigma_{11} \right)$ .

La matrice $\Sigma_{12} \Sigma_{22}ˆ{-1}$ est nommée matrice des cœfficients de régression.

Propriétés

Les iso-contours d'une loi normale multidimensionnelle non singulière sont des ellipsoïdes centrés sur la moyenne $μ$ . Les directions des axes principaux de ces ellipsoïdes sont les vecteurs propres de $Σ$ . Les carrés des longueurs relatives de ces axes sont donnés par les valeurs propres associées à ces vecteurs propres.

L'entropie différentielle de la loi normale multidimensionnelle est donnée par ^[1]

$H\left(f\right)= -\int_{\mathbb{R}ˆN}f(x)\ln f(x)\,dx$

$=\frac12 \left(N+N\ln\left(2\pi\right)+\ln\left| \Sigma \right|\right)\!$

$=\frac{1}{2}\ln\{(2\pi e)ˆN \left| \Sigma \right|\}$

La divergence de Kullback-Leibler prend une forme spécifique dans le cas de deux lois normales multidimensionnelles $\mathcal{N}_0(\mu_0, \Sigma_0)$ et $\mathcal{N}_1(\mu_1, \Sigma_1)$

$D_\text{KL}(N_0 \| N_1) = { 1 \over 2 } \left( \ln \left(\frac { \left| \Sigma_1 \right|}{\left| \Sigma_0 \right|} \right) + \mathrm{tr} \left( \Sigma_1ˆ{-1} \Sigma_0 \right) + \left( \mu_1 - \mu_0\right)ˆ\top \Sigma_1ˆ{-1} ( \mu_1 - \mu_0 ) - N \right).$

Applications

La loi normale multidimensionnelle est surtout utilisée dans le traitement d'images médicales. Ainsi elle est par exemple souvent utilisée dans l'imagerie du tenseur de diffusion. Cette imagerie modélise en effet la distribution des principales directions de diffusion de l'eau par une loi normale multidimensionnelle de moyenne nulle. Ainsi le tenseur en chaque point de l'image n'est autre que la matrice de covariance de la loi normale multidimensionnelle.

Une seconde application de la loi normale multidimensionnelle est la détermination, à partir des intensités dans des IRM du cerveau d'un patient, des différentes classes de tissus (matière grise, matière blanche, liquide céphalo-rachidien) qui le composent. Cette technique est basée sur l'utilisation d'un algorithme espérance-maximisation dans lequel chacune des classes est modélisée par une loi normale multidimensionnelle dont la dimension est égale aux nombre de modalités utilisées pour la classification.

Notes et références

↑ «Entropy Expressions and Their Estimators for Multivariate Distributions», dans IEEE Transactions on Information Theory, vol. 35, n^o 3, May 1989, p. 688–692

Voir aussi

Loi normale
Loi de probabilité à plusieurs variables
Algorithme espérance-maximisation : contenant le détail de l'application à la classification tissulaire

Recherche sur Amazon (livres) :

Ce texte est issu de l'encyclopédie Wikipedia. Vous pouvez consulter sa version originale dans cette encyclopédie à l'adresse http://fr.wikipedia.org/wiki/Loi_normale_multidimensionnelle.
Voir la liste des contributeurs.
La version présentée ici à été extraite depuis cette source le 07/04/2010.
Ce texte est disponible sous les termes de la licence de documentation libre GNU (GFDL).
La liste des définitions proposées en tête de page est une sélection parmi les résultats obtenus à l'aide de la commande "define:" de Google.
Cette page fait partie du projet Wikibis.