Maximum de vraisemblance

L'estimation du maximum de vraisemblance est une méthode statistique courante utilisée pour inférer les paramètres de la distribution de probabilité d'un échantillon donné.

Définitions

Soit $X$ une variable aléatoire réelle, de loi ou bien discrète ou bien continue, dont on veut estimer un paramètre $θ$ . On note $\mathcal{D}_\theta$ cette famille de lois paramétriques. Alors on définit une fonction $f$ telle que : $f(x;\theta) = \begin{cases} f_\theta(x) & \text{si X est une v continue} \\ P_\theta(X=x) & \text{si X est une v discrete} \end{cases}$

$f θ (x)$ représente la densité de X (où $θ$ apparaît) et $P θ (X = x)$ représente une probabilité discrète (où $θ$ apparaît).

On nomme vraisemblance de $θ$ au vu des observations $(x 1, ..., x i, ..., x n)$ d'un n-échantillon indépendamment et semblablement distribué selon la loi $\mathcal{D}_\theta$ , le nombre :

$L(x_1,...,x_i,...,x_n;\theta) = f(x_1;\theta) \times f(x_2;\theta) \times ...\times f(x_n;\theta) = \prod_{i=1}ˆn f(x_i;\theta)$

On cherche à trouver le maximum de cette vraisemblance pour que les probabilités des réalisations observées soient aussi maximum. Ceci est un problème d'optimisation. On utilise le plus souvent le fait que si L est dérivable (ce qui n'est pas forcément le cas) et si L admet un maximum global en une valeur $\theta = \hat \theta$ , alors la dérivée première s'annule en $\theta = \hat \theta$ et que la dérivée seconde est négative. Réciproquement, si la dérivée première s'annule en $\theta = \hat \theta$ et que la dérivée seconde est négative en $\theta = \hat \theta$ , alors $\theta = \hat \theta$ est un maximum local (et non global) de $L (x 1, ..., x i, ..., x n;θ)$ . Il est alors indispensable de vérifier qu'il s'agit bien d'un maximum global. La vraisemblance étant positive et le logarithme népérien une fonction croissante, il est équivalent et fréquemment plus simple de maximiser le logarithme népérien de la vraisemblance (le produit se transforme en somme, ce qui est plus simple à dériver). On peut aisément construire la statistique $Y n = Θ$ qui est l'estimateur voulu.

Ainsi en pratique :

La condition nécessaire

$\frac{\partial L(x_1,...,x_i,...,x_n;\theta)}{\partial \theta} = 0$

$\frac{\partial \ln L(x_1,...,x_i,...,x_n;\theta)}{\partial \theta} = 0$

permet de trouver la valeur $\theta = \hat \theta$ .

$\theta = \hat \theta$ est un maximum local si la condition suffisante est remplie au point critique $\theta = \hat \theta$ :

$\frac{\partialˆ2 L(x_1,...,x_i,...,x_n;\theta)}{\partial \thetaˆ2} \le 0$

$\frac{\partialˆ2 \ln L(x_1,...,x_i,...,x_n;\theta)}{\partial \thetaˆ2} \le 0$

Pour simplifier, dans les cas de lois continues, où quelquefois la densité de probabilité est nulle sur un certain intervalle, on peut omettre d'écrire la vraisemblance pour cet intervalle seulement.

Généralisation

Pour une variable aléatoire réelle X de loi quelconque définie par une fonction de répartition F (x) , on considère généralement des petits voisinages V autour de (x₁, ..., x_n) dans $\mathbb{R}ˆn$ , par exemple une boule de rayon ε. On obtient ainsi une fonction de vraisemblance $L(\theta; V) = P[(X_{1,\theta}, ..., X_{n,\theta}) \in V]$ dont on cherche un maximum $\theta = \hat \theta(V)$ . On fait ensuite tendre la taille de V vers 0 dans $\hat \theta(V)$ pour obtenir l'estimateur $\hat \theta$ de maximum de vraisemblance.

On retombe sur les fonctions de vraisemblance précédentes lorsque X est à loi discrète ou continue.

Propriétés

L'estimateur obtenu par la méthode du maximum de vraisemblance est :

convergent, mais il peut être biaisé en échantillon fini.
asymptotiquement efficient, il atteint la limite de Cramer Rao.
asymptotiquement distribué selon une loi normale.

Exemples

Avec une loi discrète

On souhaite estimer le paramètre $λ$ d'une loi de Poisson à partir d'un n-échantillon.

$f(x,\lambda) = P_\lambda(X=x) = eˆ{-\lambda} \frac{\lambdaˆx}{x!}$

L'estimateur du maximum de vraisemblance est : $\hat {\lambda}_{ML}= \bar x$

Démonstration

La vraisemblance s'écrit :

$L(x_1,...,x_i,...,x_n;\lambda) = \prod_{i=1}ˆn eˆ{-\lambda} \frac{\lambdaˆ{x_i}}{x_i!}$

$L(x_1,...,x_i,...,x_n;\lambda) = eˆ{-\lambda n} \prod_{i=1}ˆn \frac{\lambdaˆ{x_i}}{x_i!}$

La vraisemblance étant positive, on considère son Logarithme naturel :

$\ln L(x_1,...,x_i,...,x_n;\lambda) = \ln eˆ{-\lambda n} + \ln \prod_{i=1}ˆn \frac{\lambdaˆ{x_i}}{x_i!}$

$\ln L(x_1,...,x_i,...,x_n;\lambda) = - \lambda n + \sum_{i=1}ˆn \ln \frac{\lambdaˆ{x_i}}{x_i!}$

$\ln L(x_1,...,x_i,...,x_n;\lambda) = - \lambda n + \ln \lambda \sum_{i=1}ˆn x_i - \sum_{i=1}ˆn \ln (x_i!)$

La dérivée première s'annule quand :

$\frac{\partial \ln L(x_1,...,x_i,...,x_n;\lambda)}{\partial \lambda} = 0$

$-n + \frac{\sum_{i=1}ˆn x_i}{\lambda} = 0$

$\hat \lambda = \frac{\sum_{i=1}ˆn x_i}{n}$

La dérivée seconde s'écrit :

$\frac{\partialˆ2 \ln L(x_1,...,x_i,...,x_n;\lambda)}{\partial \lambdaˆ2} = - \frac{\sum_{i=1}ˆn x_i}{\lambdaˆ2} \le 0$

Ce ratio étant toujours négatif alors, l'estimation est donnée par :

$Y_n = \Lambda = \frac{\sum_{i=1}ˆn X_i}{n} = \bar X$

Il est particulièrement normal de retrouver dans cet exemple didactique la moyenne empirique, car c'est le meilleur estimateur envisageable pour le paramètre $λ$ (qui représente aussi l'espérance d'une loi de Poisson).

Avec une loi continue

Loi exponentielle

On souhaite estimer le paramètre $α$ d'une loi exponentielle à partir d'un n-échantillon.

$f(x,\alpha) = f_\alpha(x) = \begin{cases} \alpha eˆ{-\alpha x} & \text{si} \quad x \ge 0 \\ 0 & \text{sinon} \end{cases}$

L'estimateur du maximum de vraisemblance est : $\hat {\alpha}_{ML}= \frac{1}{\bar x}$

Démonstration

La vraisemblance s'écrit :

$L(x_1,...,x_i,...,x_n;\alpha) = \prod_{i=1}ˆn \alpha eˆ{-\alpha x_i} = \alphaˆn \prod_{i=1}ˆn eˆ{-\alpha x_i} = \alphaˆn eˆ{\sum_{i=1}ˆn -\alpha x_i}$

$L(x_1,...,x_i,...,x_n;\alpha) = \alphaˆn eˆ{-\alpha \sum_{i=1}ˆn x_i}$

La vraisemblance étant positive, on considère son logarithme népérien :

$\ln L(x_1,...,x_i,...,x_n;\alpha) = \ln \alphaˆn eˆ{-\alpha \sum_{i=1}ˆn x_i}$

$\ln L(x_1,...,x_i,...,x_n;\alpha) = n \ln \alpha - \alpha \sum_{i=1}ˆn x_i$

La dérivée première s'annule quand :

$\frac{\partial \ln L(x_1,...,x_i,...,x_n;\alpha)}{\partial \alpha} = 0$

$\frac{n}{\alpha} - \sum_{i=1}ˆn x_i = 0$

$\hat \alpha = \frac{n}{\sum_{i=1}ˆn x_i} = \frac{1}{\frac {1}{n} \sum_{i=1}ˆn x_i}$

La dérivée seconde s'écrit :

$\frac{\partialˆ2 \ln L(x_1,...,x_i,...,x_n;\alpha)}{\partial \alphaˆ2} = - \frac{n}{\alphaˆ2} \le 0$

Ce ratio est toujours négatif par conséquent l'estimation est donnée par :

$Z_n = \Alpha = \frac{1}{\frac {1}{n} \sum_{i=1}ˆn X_i} = \frac{1}{\bar X}$

Ici encore, il est particulièrement normal de retrouver l'inverse de la moyenne empirique, car on sait que l'espérance d'une loi exponentielle correspond à l'inverse du paramètre $α$ .

Loi normale

L'estimateur du maximum de vraisemblance de l'espérance $μ$ et la variance $σ 2$ d'une loi normale est :

$\hat{\mu}_{ML} = \bar{x} = \frac{1}{n}\sumˆ{n}_{i=1}x_i$

$\widehat{\sigma}ˆ2_{ML} = \frac{1}{n}\sum_{i=1}ˆn(x_i-\bar{x})ˆ2$

Démonstration

Une loi normale

$\mathcal{N}(\mu, \sigmaˆ2)$ a la fonction de densité :

$f(x\mid \mu,\sigmaˆ2) = \frac{1}{\sigma \sqrt{2\pi}} \exp{\left(-\frac {(x-\mu)ˆ2}{2\sigmaˆ2} \right)}$

la fonction de vraisemblance pour un échantillon de n valeurs indépendantes :

$f(x_1,\ldots,x_n \mid \mu,\sigmaˆ2) = \prod_{i=1}ˆ{n} f( x_{i}\mid \mu, \sigmaˆ2) = \left( \frac{1}{2\pi\sigmaˆ2} \right)ˆ{n/2} \exp\left( -\frac{ \sum_{i=1}ˆ{n}(x_i-\mu)ˆ2}{2\sigmaˆ2}\right),$

qui peut s'écrire plus simplement (voir Théorème de König-Huyghens) :

$f(x_1,\ldots,x_n \mid \mu,\sigmaˆ2) = \left( \frac{1}{2\pi\sigmaˆ2} \right)ˆ{n/2} \exp\left(-\frac{ \sum_{i=1}ˆ{n}(x_i-\bar{x})ˆ2+n(\bar{x}-\mu)ˆ2}{2\sigmaˆ2}\right),$

où $\bar{x}$ représente la moyenne de l'échantillon.

Nous avons là deux paramètres : $θ = μ, σ 2$ , par conséquent il faut maximiser la fonction $\mathcal{L} (\mu,\sigma) = f(x_1,\ldots,x_n \mid \mu, \sigma)$ selon les deux paramètres.

On va par conséquent chercher la dérivée première et l'égaliser à zéro.

En l'occurrence, c'est la fonction de log-vraisemblance qui est maximisée ici.

$0 = \frac{\partial}{\partial \mu} \ln \left( \left( \frac{1}{2\pi\sigmaˆ2} \right)ˆ{n/2} \exp\left(-\frac{ \sum_{i=1}ˆ{n}(x_i-\bar{x})ˆ2+n(\bar{x}-\mu)ˆ2}{2\sigmaˆ2}\right) \right)$

$= \frac{\partial}{\partial \mu} \left( \ln\left( \frac{1}{2\pi\sigmaˆ2} \right)ˆ{n/2} - \frac{ \sum_{i=1}ˆ{n}(x_i-\bar{x})ˆ2+n(\bar{x}-\mu)ˆ2}{2\sigmaˆ2} \right)$

$= 0 - \frac{-2n(\bar{x}-\mu)}{2\sigmaˆ2}$

et on obtient par conséquent l'estimateur par le maximum de vraisemblance de l'espérance :

$\hat\mu = \bar{x} = \sumˆ{n}_{i=1}x_i/n$

On peut montrer en plus que cet estimateur sans biais :

$\mathbb{E} \left[ \widehat\mu \right] = \mu$

Pour le second paramètre, σ, on cherche par ressemblance le maximum selon σ.

$0 = \frac{\partial}{\partial \sigma} \ln \left( \left( \frac{1}{2\pi\sigmaˆ2} \right)ˆ{n/2} \exp\left(-\frac{ \sum_{i=1}ˆ{n}(x_i-\bar{x})ˆ2+n(\bar{x}-\mu)ˆ2}{2\sigmaˆ2}\right) \right)$

$= \frac{\partial}{\partial \sigma} \left( \frac{n}{2}\ln\left( \frac{1}{2\pi\sigmaˆ2} \right) - \frac{ \sum_{i=1}ˆ{n}(x_i-\bar{x})ˆ2+n(\bar{x}-\mu)ˆ2}{2\sigmaˆ2} \right)$

$= -\frac{n}{\sigma} + \frac{ \sum_{i=1}ˆ{n}(x_i-\bar{x})ˆ2+n(\bar{x}-\mu)ˆ2}{\sigmaˆ3}$

donc

$\widehat\sigmaˆ2 = \sum_{i=1}ˆn(x_i-\widehat{\mu})ˆ2/n$

et on obtient finalement l'estimateur par le maximum de vraisemblance de la variance :

$\widehat\sigmaˆ2 = \frac{1}{n} \sum_{i=1}ˆ{n} (x_{i} - \bar{x})ˆ2$

L'estimateur de la variance est par contre biaisé :

$\mathbb{E} \left[ \widehat{\sigmaˆ2} \right]= \frac{n-1}{n}\sigmaˆ2$

L'estimateur de la variance est un bon exemple pour montrer que le maximum de vraisemblance peut apporter des estimateurs biaisés : un estimateur sans biais est donné en effet par : $\widehat\sigmaˆ2 = \frac{1}{n-1}\sum_{i=1}ˆn(x_i-\widehat{x})ˆ2$ . Néanmoins, asymptotiquement, lorsque n tend vers l'infini, ce biais, qui est de $\frac{n}{n-1},$ tend vers 1 et l'estimateur est alors asymptotiquement sans biais.

Si la dérivée ne s'annule jamais

On souhaite estimer le paramètre a d'une loi uniforme à partir d'un n-échantillon.

$f(x,a) = f_a(x) = \begin{cases} \frac {1}{a} & \text{si} \quad x \in [0;a] \\ 0 & \text{sinon} \end{cases}$

La vraisemblance s'écrit :

$L(x_1,...,x_i,...,x_n;a) = \prod_{i=1}ˆn \frac {1}{a} = \frac {1}{aˆn}$

Intuitivement, il est clair que cette expression de la vraisemblance ne s'annule jamais (on peut la dériver pour s'en convaincre). Graphiquement dans le repère (a, L), sa représentation est une courbe décroissante de type «inverse» (convexe tournée vers l'origine).

La valeur de L sera maximale lorsque a sera particulièrement près de 0, par conséquent lorsque a sera le plus petit envisageable (l'intervalle de la densité est alors réduit). Mais, pour que la densité soit vraie, le paramètre a doit être obligatoirement plus grand que l'ensemble des $x i$ de l'échantillon.

On prend par conséquent comme valeur qui maximise L, tout en vérifiant la définition de la loi de probabilité :

$\hat a = max(x_1,...,x_n)$

$W n = A = m a x (X 1, ..., X n)$

Cet exemple sert à montrer, qu'un estimateur n'est pas forcément défini par une expression numérique explicite. Ainsi on sera amené quelquefois à considérer le maximum ou le minimum des échantillons.

Voir aussi

Le maximum a posteriori est une généralisation lorsque la distribution a priori n'est pas uniforme.
Information de Fisher
Fonction de vraisemblance

Recherche sur Amazone (livres) :

Ce texte est issu de l'encyclopédie Wikipedia. Vous pouvez consulter sa version originale dans cette encyclopédie à l'adresse http://fr.wikipedia.org/wiki/Maximum_de_vraisemblance.
Voir la liste des contributeurs.
La version présentée ici à été extraite depuis cette source le 07/04/2010.
Ce texte est disponible sous les termes de la licence de documentation libre GNU (GFDL).
La liste des définitions proposées en tête de page est une sélection parmi les résultats obtenus à l'aide de la commande "define:" de Google.
Cette page fait partie du projet Wikibis.