Test du χ²

Le test du χ² permet, partant d'une hypothèse et d'un risque supposé au départ, de rejeter l'hypothèse si la distance entre deux ensembles d'informations est jugée excessive.



Catégories :

Test statistique - Statistiques - Méthode d'analyse

Recherche sur Google Images :


Source image : ilemaths.net
Cette image est un résultat de recherche de Google Image. Elle est peut-être réduite par rapport à l'originale et/ou protégée par des droits d'auteur.

Page(s) en rapport avec ce sujet :

  • Un exemple typique de variable suivant une loi du Chi-2 est n fois la variance d'un échantillon... Une variante de ce test sert à remplacer les valeurs imposées (p1, .... The Z ² statistic. Phi-square. Number of estimated parameters... (source : aiaccess)
  • Si la loi est continue, on se ramène à une loi discrète en ... On a par conséquent D ² = n. d ². Comme pour le test du χ², si les valeurs observées sont proches les ... (source : vivienfrederic.free)
  • -½) ², nombre noté d² : d² = (f1-½) ² + (f2-½) ²... Pour palier à ce problème, au lieu de considérer seulement la valeur d², on choisit de .... tandis qu'une simple variable aléatoire dont on cherche la Loi de Probabilité.... (source : maths-express)
Densité du χ² selon le nombre de degrés de liberté

Le test du χ² (prononcer «khi-deux» ou «khi carré», qu'on écrit aussi à l'anglaise «chi-deux» ou «chi carré») permet, partant d'une hypothèse et d'un risque supposé au départ, de rejeter l'hypothèse si la distance entre deux ensembles d'informations est jugée excessive.

Il est spécifiquement utilisé comme test de correction d'une loi de probabilité à un échantillon d'observations supposées indépendantes et de même loi de probabilité. Un test d'homogénéité concerne un problème voisin, la comparaison d'échantillons issus de populations différentes. De manière assez différente, un test d'indépendance porte sur des données qualitatives.

Son usage est particulièrement répandu surtout en génétique où il sert à déterminer, à un seuil donné, la validité d'une hypothèse.

Vulgarisation

En sciences, on essaie fréquemment de représenter un phénomène par une formule mathématique la plus simple envisageable — à condition évidemment qu'on ait des paramètres chiffrés mesurables. On nomme cette formule «loi théorique». Ceci sert à comparer les phénomènes, de prédire leur tendance… Par conséquent se pose une question principale : la formule que j'utilise représente-t-elle bien la réalité ?

Pour cela, on compare les mesures faites à la loi théorique.

A titre d'exemple, on veut représenter la stature des personnes de sexe masculin, et on formule la loi simple : «la masse est égale au nombre de centimètres de taille au-dessus d'un mètre» (par exemple, une personne de 1, 60 m pèse 60 kg). Cette loi correspond-elle à la réalité ? Pour cela, on prend plusieurs personnes, on les pèse et on les mesure, et on regarde si cela correspond.

Mais on n'obtient jamais une correction idéale. Il faut par conséquent trouver un critère quantitatif, qui permette de dire si la loi convient bien, moyennement bien, assez mal ou absolument pas à la réalité.

On peut, par exemple, pour une taille donnée, faire la différence entre la masse mesurée et la masse donnée par la loi théorique, et faire la somme des différences pour l'ensemble des personnes. Cependant, occasionnellemen, la différence sera positive, dans d'autres cas elle sera négative, et deux écarts pourront se compenser. Pour éviter ce problème, on peut faire la somme des valeurs absolues des différences entre masse mesurée et masse théorique. On préfère le plus souvent minimiser la somme des carrés des différences, qui présente les mêmes avantages tandis qu'elle se manipule plus aisément, ce qui conduit à la méthode des moindres carrés au début du XIXe siècle.

Le test du χ² a comme origine un problème principalement différent, la comparaison de données, non à une loi physique, mais à une loi de probabilité. En 1900, un mathématicien britannique, Karl Pearson, proposa de diviser ces carrés par les valeurs attendues. Ainsi, une grande différence entre la loi théorique et la mesure réelle a plus d'importance que plusieurs petites différences. Cela a donné le test du χ² qui est un cas spécifique de test statistique d'hypothèse. Ce dernier a été ensuite étendu à d'autres problèmes.

Dans certains problèmes, on a des valeurs chiffrées discrètes et non pas continues. A titre d'exemple, si on regarde le nombre d'enfants par famille, on a un nombre entier pour chaque famille. Dans ce cas-là, on regarde le nombre d'événements ayant la même valeur discrète, et c'est la fréquence d'apparition d'une valeur qui forme la mesure (quand le nombre de valeurs envisageables est élevé, on est le plus souvent amené à regrouper plusieurs valeurs dans une même classe, comme pour les valeurs continues, de façon à satisfaire la règle indiquée ci-dessous).

Dans d'autres problèmes, on se contente de mettre les événements dans une catégorie, nommée «classe». On se retrouve dans le même cas que pour les valeurs discrètes : on regarde le nombre d'événements dans chaque classe, et c'est la fréquence des occurrences d'une classe qui forme la mesure.

Un des problèmes importants est de savoir combien de mesures au minimum il faut faire pour bien comparer la loi théorique à la réalité. Une règle empirique fréquemment utilisée consiste à dire que chaque classe doit contenir au moins cinq événements. Si on est en dessous, cela veut dire qu'il faut regrouper les classes, à condition que leur nombre d'origine et le nombre total d'observations soient suffisants. Si la classe contient entre 5 à 10 événements, alors nous appliquerons la correction de Yates pour gommer ou de neutraliser la différence d'effectifs.

Principe

À la base d'un test statistique il y a la formulation d'une hypothèse nommée hypothèse zéro. Dans le cas présent, elle suppose que l'ensemble des données reconnues dérivent de la même loi de probabilité.

Ces données ayant été réparties en classes, il faut

Si cette distance est supérieure à la distance critique, on conclut que le résultat n'est pas dû uniquement aux fluctuations d'échantillonnage et que l'hypothèse nulle doit par conséquent être rejetée. Le risque choisi au départ est celui de donner une réponse fausse quand les fluctuations d'échantillonnage sont seules en cause. Le rejet est bien entendu une réponse négative dans les tests de correction et d'homogénéité mais il apporte une information positive dans les tests d'indépendance. Pour ceux-ci, il montre le caractère significatif de la différence, ce qui est intéressant surtout dans les tests de traitement d'une maladie.

Utilisations envisageables

Test du χ² de correction

Généralités

Il s'agit de juger de l'correction entre une série de données statistiques et une loi de probabilité définie a priori (comme une loi uniforme ou une loi de Poisson par exemple).

Exemple concret : Soit un nombre donné de cultures cellulaires rigoureusement semblables. Chacune comporte un certain nombre de colonies. L'ensemble des cultures sont en fait des cultures de cellules cancéreuses et on cherche à déterminer dans quelle mesure l'action d'un produit empêche leur division. Exactement on veut savoir si le nombre de colonies dont la croissance sera interrompue par le produit suit une loi de Poisson de paramètre λ.

Après avoir exposé les cellules au produit, on obtient des résultats précis : X1 colonies de la première culture ont subi l'influence du produit, X2 pour la seconde culture... Xn pour la n-ième culture. On effectuera un test du χ² sur ces valeurs pour juger l'hypothèse selon laquelle leur distribution suit une loi de Poisson.

La statistique mathématique a pour but la description d'une population dont on ne connaît qu'un nombre assez petit d'individus. Pour cela on associe une loi de probabilité à cette population. Mis à part certains problèmes de physique principale et , à l'opposé, certains problèmes élémentaires (jeux de hasard équitables, par exemple), cette loi de probabilité est en toute rigueur inconnue. L'hypothèse selon laquelle la population suit une loi de probabilité donnée a priori peut être testée par la méthode décrite ci-après.

Quand on découvre un élément de la population, ce dernier est reconnu comme une réalisation d'une variable aléatoire correspondant à la loi de probabilité choisie. D'une façon plus générale, un ensemble d'éléments est une réalisation de ce qu'on nomme un échantillon aléatoire.

Les valeurs connues doivent être réparties entre diverses classes. En supposant l'indépendance des n\, valeurs reconnues regroupées dans m\, classes, l'effectif de chaque classe i\, est une variable aléatoire définie par la loi multinomiale. La loi de probabilité testée sert à définir aussi pour chaque classe la probabilité p_i\,.

Les effectifs mesurés étant n_i\,, la quantité \sum_{i=1}ˆm \frac {(n_i - n \times p_i)ˆ2} {n \times p_i} représente, d'une certaine manière, la distance entre les données et la loi de probabilité supposée. C'est une réalisation d'une variable aléatoire qui dérive d'une loi du χ² à (m-1) degrés de liberté. La probabilité donnée par les tables de dépassement de la valeur calculée donne alors une indication sur le réalisme de l'hypothèse.

Il est peu vraisemblable que les paramètres qui caractérisent la loi de probabilité (moyenne, variance, ... ) soient connus au moment du test . Les données sont par conséquent utilisées pour estimer ceux-ci, ce qui favorise l'correction. Il faut alors diminuer le nombre de degrés de liberté du nombre de paramètres estimé.

Choix des classes

Celles-ci doivent être assez nombreuses pour ne pas perdre trop d'information mais, à l'inverse, pour satisfaire les conditions requises par la méthode, elles ne doivent pas être trop petites. En principe, il faudrait que les effectifs soient illimités pour que la loi normale s'applique mais il est le plus souvent admis qu'il faut 5 éléments dans chaque classe. Cette règle a été particulièrement discutée et celle qui semble recueillir le plus de suffrages est due à Cochran : 80 % des classes doivent satisfaire la règle des cinq éléments alors que les autres doivent être non vides.

Le critère porte sur les np_i\, déduits de la distribution de référence et non sur les n_i\, des données analysées. Il est fréquemment satisfait sans difficulté car, à la différence de la construction d'un histogramme, il est envisageable de jouer sur la largeur des classes.

Test du χ² d'homogénéité

Il s'agit alors de se demander si deux listes de nombres de même effectif peuvent dériver de la même loi de probabilité. La méthode précédente s'applique en remplaçant le terme n p_i\, relatif à la loi de probabilité par n'_i\, relatif à la seconde liste et le \chiˆ2\, est donné par \sum_{i=1}ˆm \frac {(n_i - n'_i)ˆ2} {n'_i}.

Cette notation s'inspire de celle utilisée pour le test de correction, elle-même déduite de la notation classique de la loi multinomiale. Ici, comme dans le test d'indépendance, la notion de probabilité n'apparaît plus de manière explicite. De nombreux utilisateurs préfèrent par conséquent adopter la notation qui utilise les symboles O_i\, pour les valeurs observées et E_i\, pour les valeurs espérées, ce qui conduit à l'expression \sum_{i=1}ˆm \frac {(O_i - E_i)ˆ2} {E_i}.

Test du χ² d'indépendance

Exemple

Problème

Quand on considère plusieurs populations auxquelles on associe le même ensemble de critères qualitatifs, l'hypothèse à tester est l'indépendance de ces populations.

Pour ce problème, il est commode de partir d'un exemple concret, comme la relation entre le revenu et le sexe d'un individu. La distribution du revenu des hommes est-elle différente de celui des femmes ? Une représentation sur une table de contingence des occurrences des variables permet d'illustrer la question.

Salaire 1000-2000 2000-3000 3000-4000 4000-5000 Total
Hommes 50 70 110 60 290
Femmes 60 75 100 50 285
Total 110 145 210 110 575

Dans cet exemple fictif on remarque que les femmes sont plus nombreuses dans les classes à bas salaires et moins nombreuses dans celles à haut salaire que les hommes. Cette différence (c'est-à-dire cette dépendance entre les variables) est-elle statistiquement significative ? Le test du χ² aide à répondre à cette question.

Préparation

On peut constater que l'effectif total de chaque colonne correspond à 4-1 = 3 variables indépendantes alors que celui de chaque ligne correspond à 2-1 = 1 variable indépendante, ce qui conduit à 3 x 1 = 3 degrés de liberté.

Si on se donne un risque de se tromper égal à 5 %, la valeur critique trouvée dans les tables est 7, 82.

Hypothèse

Il faut bâtir l'hypothèse nulle qui, dans ce cas, ne dépend ni d'une loi de probabilité, ni d'une distribution de référence. On suppose qu'il n'y a pas de différence entre les salaires des hommes et ceux des femmes, les proportions des différentes catégories de salaires étant par conséquent conservées d'une ligne à l'autre.

Les données correspondantes sont obtenues en remplaçant la valeur de chaque cellule par le produit du total de sa ligne par le total de sa colonne divisé par le total général. On vérifie que les totaux sont inchangés.

Hypothèse 1000-2000 2000-3000 3000-4000 4000-5000 Total
Hommes 55, 5 73, 1 105, 9 55, 5 290, 0
Femmes 54, 5 71, 9 104, 1 54, 5 285, 0
Total 110, 0 145, 0 210, 0 110, 0 575, 0
Calcul

Le calcul du χ² des données s'effectue en remplaçant le terme relatif à chaque cellule par la quantité \frac {(O-E)ˆ2} E\, indiquée pour le test d'homogénéité et calculée à partir des deux tableaux qui ont précédé.

\Chiˆ2\, 1000-2000 2000-3000 3000-4000 4000-5000 Total
Hommes 0, 54 0, 13 0, 15 0, 36 1, 18
Femmes 0, 55 0, 14 0, 15 0, 37 1, 21
Total 1, 09 0, 27 0, 30 0, 73 2, 39
Conclusion

La distance calculée (2, 39) étant inférieure à la distance critique (7, 81), il n'y a pas lieu de mettre en cause l'égalité des salaires, avec un risque de se tromper égal à 5%.

Il convient de rappeler que ce résultat repose sur des données choisies arbitrairement qui ont... peu de chance de représenter une réalité quelconque. D'autre part, si on disposait d'un échantillon 10 fois plus grand sans modification de la répartition de population, le χ² serait multiplié par 10, soit (23, 9) et on pourrait rejeter l'hypothèse d'égalité avec moins de 5% de risque de se tromper.

De manière plus profonde, les classes choisies, à la différence de ce qui se passait dans les tests de correction et d'homogénéité, quoique présentant ici un aspect numérique, pourraient fort bien être associées à des notions qualitatives sans que le raisonnement soit modifié.

Test utilisé

Le test utilisé, le Chi-carré de Pearson, s'intéresse à la différence entre la valeur observée Oij (ou valeur empirique) et la valeur attendue s'il y avait indépendance Eij; (ou valeur théorique).

 \chiˆ2 = \sum_{i,j} \frac{(O_{ij} - E_{ij})ˆ2}{E_{ij}}

avec

On a :

 E_{i,j} = \frac{O_{i+} \times O_{+j}}{N}

  O_{i+}=\sum_{j=1}ˆ{J}{O_{ij}}

et

  O_{+j}=\sum_{i=1}ˆ{I}{O_{ij}}

Formulation du test

H0 : p(\mathrm{A \cap B})=p(\mathrm{A})\times p(\mathrm{B}) : les variables sont indépendantes (Hypothèse nulle).

H1 : p(\mathrm{A \cap B}) \ne p(\mathrm{A}) \times p(\mathrm{B}) : les variables ne sont pas indépendantes, l'écart entre valeur observée et attendue n'est pas dû au hasard).

Distribution du test

Cette statistique suit asymptotiquement une Loi du χ² à (I-1) (J-1) degrés de liberté, avec I le nombre de modalités de la première variable et J les nombre de modalités de la seconde variable.

Conditions du test

Plusieurs auteurs proposent des critères pour savoir si un test est valide, voir par exemple [pdf] The Power of Categoriel Goodness-Of-Fit Test Statistics p. 19 (p. 11 du ch. 2), Michæl C. Steele. On utilise généralement le critère de Cochran de 1954 selon lequel l'ensemble des classes i, j doivent avoir une valeur théorique non nulle (E i, j ≥ 1), et que 80 % des classes doivent avoir une valeur théorique supérieure ou égal à 5 :

E i, j ≥ 5

Quand le nombre de classes est petit, cela revient à dire que l'ensemble des classes doivent contenir un effectif théorique supérieur ou égal à 5.

D'autres valeurs ont été proposées pour l'effectif théorique minimal : 5 ou 10 pour tous (Cochran, 1952), 10 (Cramér, 1946) ou 20 (Kendall, 1952). Dans l'ensemble des cas, ces valeurs sont arbitraires.

Certains auteurs ont proposé des critères basés sur des simulations, par exemple :

Tests apparentés

Il existe un test asymptotique particulièrement identique, le test du rapport de vraisemblance (likelihood ratio test ) , ainsi qu'un test exact, le test de Fisher.

Justification

Le développement des méthodes bayésiennes - seules utilisables quand on n'a que peu de données sous la main - a dégagé un test de vraisemblance appelé le psi-test , dont Myron Tribus fait remarquer qu'il devient asymptotiquement semblable au χ² à mesure que le nombre de données augmente[1].

Indépendance

Soient A et B les deux variables dont on souhaite tester l'indépendance.

Pour rappel, si A et B sont indépendantes on a la relation suivante :

p(A\cap B) = p(A) \times p(B)

ou pour la fonction de densité conjointe :

 f_{X,Y}(x,y)=\ f_X(x) \times f_Y(y)

Soit ici

E_{ij} = p(\mathrm{A} = i \cap \mathrm{B} = j) \times N = p(\mathrm{A} = i) \times p(\mathrm{B} = j) \times N
Estimation des valeurs attendues (théoriques)

Que vaut p (A=i )  ?

À partir de la table de contingence, on prendra simplement la somme de l'ensemble des valeurs où A = 1, soit, dans notre notation

O1+

Ainsi

E_{ij} = \frac{O_{i+}}{N} \times \frac{O_{+j}}{N} \times N = \frac{O_{i+} \times O_{+j}}{N}
Distribution du test

Pour la preuve que le test suit une loi Chi-carré, on en donnera ici que quelques «pistes».

Si on suppose que chaque xij suit une loi de Poisson, on peut montrer que les valeurs standardisées

z_{ij}=(x_{ij}-\bar x_{ij})/\sqrt {\bar x_{ij}}

suivent asymptotiquement une loi normale. Alors

\sum_{i} \sum_{j} z_{ij}ˆ2

suit asymptotiquement une loi Chi-carré à IJ-1 degrés de liberté

Quant aux degrés de libertés, comme on doit estimer les \bar x_{ij}, on perd (I-1) + (J-1) degrés de liberté (et non pas I+J car \sum O_{i+} = \sum O_{+j} =1  : le dernier paramètre se déduit des autres). On a alors au final

IJ-1- (I-1) - (J-1) = I (J-1) - (J-1) = (I-1) × (J-1)

Remarque

Les phénomènes quantifiables au sein d'une population sont soumis à des fluctuations statistiques. Considérons par exemple le taux de chômage dans un état donné, ou bien le taux de croissance.

D'une année sur l'autre, des variations dans ces taux sont toujours enregistrées (baisse ou hausse) pour tout autant elles ne signifient pas en elle-même, au contraire de une croyance trop répandue, que la variable reconnue (taux de croissance ou de chômage) a bel et bien changé (rigoureusement qu'elle a changé de loi, c'est-à-dire que des procédés mis en place sont venus influencer sa distribution). Quand on considère une variable, il faut distinguer l'impact causal de la fluctuation statistique aléatoire. Ainsi, une baisse du taux de chômage de 2% d'une année à l'autre peut particulièrement bien n'être imputable qu'au caractère aléatoire de la variable «taux de chômage» et ne rien signifier sur le plan causal. Cette baisse ne veut pas dire d'elle-même que des mesures efficaces ont influencé la loi de distribution du chômage. Seuls les tests statistiques sont connus aujourd'hui pour faire foi et déterminer (à un seuil donné) si cette variation est le fruit du hasard ou non. À cet égard les tests du χ² sont exceptionnellement utiles.

Notes et références

  1. Myron Tribus, Décisions rationnelles dans l'incertain, Traduction française de Jacques Pézier, Masson, 1974

Voir aussi

Liens externes

Recherche sur Amazone (livres) :



Ce texte est issu de l'encyclopédie Wikipedia. Vous pouvez consulter sa version originale dans cette encyclopédie à l'adresse http://fr.wikipedia.org/wiki/Test_du_%CF%87%C2%B2.
Voir la liste des contributeurs.
La version présentée ici à été extraite depuis cette source le 07/04/2010.
Ce texte est disponible sous les termes de la licence de documentation libre GNU (GFDL).
La liste des définitions proposées en tête de page est une sélection parmi les résultats obtenus à l'aide de la commande "define:" de Google.
Cette page fait partie du projet Wikibis.
Accueil Recherche Aller au contenuDébut page
ContactContact ImprimerImprimer liens d'évitement et raccourcis clavierAccessibilité
Aller au menu