Loi de Dirichlet

En Probabilité et Statistiques, la loi de Dirichlet, fréquemment notée Dir, est une famille de lois de probabilité continues pour des variables aléatoires multinomiales.

Catégories :

Loi de probabilité - Statistiques

Plusieurs images de la densité de la loi de Dirichlet distribution quand K=3 pour différents vecteurs de paramètres α. Dans le sens horaire à partir du coin supérieur gauche : α= (6, 2, 2), (3, 7, 5), (6, 2, 6), (2, 3, 4).

En Probabilité et Statistiques, la loi de Dirichlet, fréquemment notée Dir (α), est une famille de lois de probabilité continues pour des variables aléatoires multinomiales. Cette loi (ou encore distribution) est paramétrée par le vecteur α de nombres réels positifs et tire son nom de Johann Peter Gustav Lejeune Dirichlet. Elle est vue comme la généralisation multinomiale de la Loi bêta.

Densité de probabilité

Fichier :LogDirichletDensity-alpha 0.3 to alpha 2.0. gif

Illustration du changement de la log-densité avec K=3 quand le vecteur α fluctue de α= (0.3, 0.3, 0.3) à (2.0, 2.0, 2.0), en conservant l'ensemble des composantes individuelles

α i

identiques entre elles.

La loi de Dirichlet d'ordre K ≥ 2 de paramètres α₁, ..., α_K > 0 possède pour Densité de probabilité :

$f(x_1,\dots, x_{K-1}; \alpha_1,\dots, \alpha_K) = \frac{1}{\mathrm{B}(\alpha)} \prod_{i=1}ˆK x_iˆ{\alpha_i - 1}$

pour l'ensemble des x₁, ..., x_K–1 > 0 vérifiant x₁ +... + x_K–1 < 1, où x_K est une abréviation pour 1 – x₁ –... – x_K–1. La densité est nulle en dehors de ce Simplexe ouvert de dimension (K − 1).

La constante de normalisation est la Fonction bêta multinomiale, qui s'exprime avec la Fonction gamma :

$\mathrm{B}(\alpha) = \frac{\prod_{i=1}ˆK \Gamma(\alpha_i)}{\Gamma\bigl(\sum_{i=1}ˆK \alpha_i\bigr)},\qquad\alpha=(\alpha_1,\dots,\alpha_K).$

Propriétés

Soit $X = (X_1, \ldots, X_K)\sim\operatorname{Dir}(\alpha)$ , signifiant que les K – 1 premières composantes possèdent la distribution précédente et que

$X_K=1-X_1-\cdots-X_{K-1}.$

Posons $\textstyle\alpha_0 = \sum_{i=1}ˆK\alpha_i$ . Alors

$\mathrm{E}[X_i] = \frac{\alpha_i}{\alpha_0},$

$\mathrm{Var}[X_i] = \frac{\alpha_i (\alpha_0-\alpha_i)}{\alpha_0ˆ2 (\alpha_0+1)},$

En réalité, les densités marginales sont des lois bêta :

$X_i \sim \operatorname{Beta}(\alpha_i, \alpha_0 - \alpha_i).$

Qui plus est ,

$\mathrm{Cov}[X_iX_j] = -\frac{\alpha_i \alpha_j}{\alpha_0ˆ2 (\alpha_0+1)}.$

Le mode de la distribution est le vecteur (x₁, ..., x_K) avec

$<img class=$ Agrégation

Si $X = (X_1, \ldots, X_K)\sim\operatorname{Dir}(\alpha_1,\ldots,\alpha_K)$ , alors $X' = (X_1, \ldots, X_i + X_j, \ldots, X_K)\sim\operatorname{Dir}(\alpha_1,\ldots,\alpha_i+\alpha_j,\ldots,\alpha_K)$ . Cette propriété d'agrégation permet d'obtenir la distribution marginale de $X i$ mentionnée plus haut.

Distributions associées

Si, pour

$Y_i\sim\operatorname{Gamma}(\textrm{shape}=\alpha_i,\textrm{scale}=1),$ indépendamment

alors

$V=\sum_{i=1}ˆK Y_i\sim\operatorname{Gamma}(\textrm{shape}=\sum_{i=1}ˆK\alpha_i,\textrm{scale}=1),$

$(X_1,\ldots,X_K) = (Y_1/V,\ldots,Y_K/V)\sim \operatorname{Dir}(\alpha_1,\ldots,\alpha_K).$

Bien que les X_i ne sont pas indépendants, ils peuvent néanmoins générer un échantillon de

K

variables aléatoires, distribuées selon une Distribution Gamma. Malheureusement, puisque la somme

V

est perdue lors de la génération de X = (X₁, ..., X_K), il n'est pas envisageable de retrouver les variables Gamma initiales.

Génération de (pseudo-) nombres aléatoires (RNG)

Une méthode pour obtenir un vecteur aléatoire $x=(x_1, \ldots, x_K)$ à partir de la distribution Dirichlet de dimension K de paramètres $(\alpha_1, \ldots, \alpha_K)$ est apportée par la remarque précédente. Dans un premier temps, on tire K variables indépendantes $y_1, \ldots, y_K$ selon des distributions Gamma, chacune avec la densité

$\textrm{Gamma}(\alpha_i, 1) = \frac{y_iˆ{\alpha_i-1} \; eˆ{-y_i}}{\Gamma (\alpha_i)}, \!$

et on pose au final

$x_i = y_i/\sum_{j=1}ˆK y_j. \!$

Interprétations intuitives des paramètres

Découpage d'une ficelle

Une illustration de la distribution de Dirichlet apparaît quand on désire découper des ficelles (toutes de longueur d'origine 1.0) en K pièces de différentes longueurs, où chaque pièce a, en moyenne, une longueur désignée mais cette longueur est autorisée à fluctuer. Les valeurs α/α₀ spécifient les longueurs moyennes des découpes résultant de la distribution. La variance (disparité autour de la moyenne) fluctue inversement avec α₀.

Example of Dirichlet(1/2,1/3,1/6) distribution

Urne

Considérons une urne contenant K différentes couleurs. Originellement, l'urne contient $α 1$ boules de couleur 1, $α 2$ boules de couleur 2, etc.. Procédons alors à N tirages dans l'urne, et la balle tirée est replacée dans l'urne, en ajoutant dans l'urne une boule supplémentaire de même couleur. Quand N devient particulièrement grand, les proportions des boules de différente couleur sont distribuées selon $\operatorname{Dir}(\alpha_1,\ldots,\alpha_K)$ . ^[1]

Notons que chaque tirage modifie la probabilité d'obtenir une couleur donnée. Cette modification s'atténue d'ailleurs avec le nombre de tirages, puisque l'effet marginal d'ajout une boule supplémentaire diminue quand l'urne contient de plus en plus de boules.

Références

↑ D. Blackwell and J. B. MacQueen 1973. Ferguson distributions via Pólya urn schemes. The Annals of Statistics, volume 1, number 2, pp353--355

Voir aussi

Liens externes

Non-Uniform Random Variate Generation, par Luc Devroye http ://cg. scs. carleton. ca/∼luc/rnbookindex. html

Recherche sur Amazon (livres) :

Ce texte est issu de l'encyclopédie Wikipedia. Vous pouvez consulter sa version originale dans cette encyclopédie à l'adresse http://fr.wikipedia.org/wiki/Loi_de_Dirichlet.
Voir la liste des contributeurs.
La version présentée ici à été extraite depuis cette source le 07/04/2010.
Ce texte est disponible sous les termes de la licence de documentation libre GNU (GFDL).
La liste des définitions proposées en tête de page est une sélection parmi les résultats obtenus à l'aide de la commande "define:" de Google.
Cette page fait partie du projet Wikibis.