Paradoxe de Simpson

Le paradoxe de Simpson ou effet de Yule-Simpson est un paradoxe statistique décrit par Edward Simpson en 1951 et George Udny Yule en 1903, dans lequel le succès de plusieurs groupes semble s'inverser quand les groupes sont combinés. Ce résultat qui paraît impossible est fréquemment rencontré dans la réalité, surtout dans les sciences sociales et les statistiques médicales.

Explication à travers un exemple

Pour illustrer ce paradoxe de Simpson, on considère deux contributeurs de Wikipédia, Lisa et Bart.

La première semaine, Lisa perfectionne 60 % des articles qu'elle édite tandis que Bart perfectionne 90 % des articles qu'il édite. La seconde semaine, Lisa n'perfectionne que 10 % des articles et Bart s'en tient à un score de 30 %.

Les deux fois, Bart obtient un meilleur score que Lisa. Mais quand les deux actions sont combinées, Lisa a perfectionné un plus grand pourcentage que Bart : elle a perfectionné légèrement plus de 55 % des articles qu'elle a édité tandis que Bart n'en a perfectionné même pas 36 %.

Il faut bien noter que le résultat au bout des 2 semaines ne pouvait être déduit des seuls 4 premiers pourcentages car il dépend du nombre de pages éditées par chaque contributeur. Il faut par conséquent disposer de ces nombres pour élucider ce paradoxe :

La première semaine, Lisa édite 100 articles. Elle perfectionne par conséquent 60 articles. Pendant ce temps, Bart s'occupe de 10 articles et en perfectionne ainsi 9. La seconde semaine, Lisa n'édite que 10 articles et n'perfectionne qu'une seule page. Bart édite 100 articles et en perfectionne 30. Lorsque le résultat à la fin des deux semaines est combiné, on constate que les deux contributeurs ont édités le même nombre d'articles (110) mais que Lisa en a perfectionné 61 tandis que Bart n'en a perfectionné que 39.

	Semaine 1	Semaine 2	Total
Lisa	60/100 = 60%	1/10 = 10%	61/110 = 55, 45%
Bart	9/10 = 90%	30/100 = 30%	39/110 = 35, 45%

Il apparaît que les deux données, scindées, soutiennent une hypothèse donnée mais, une fois rassemblées, démontrent l'hypothèse inverse.

D'une manière plus formelle :

• La première semaine :

• — Lisa perfectionne 60% des articles qu'elle édite
• — Bart perfectionne 90% des articles qu'il édite

La notion de succès est associée à Bart.

• La seconde semaine :

• — Lisa perfectionne 10% des articles qu'elle édite
• — Bart perfectionne 30% des articles qu'il édite

Le succès est ici encore attribué à Bart.

Dans les deux cas, Bart a un meilleur pourcentage d'amélioration. Mais en combinant les deux résultats, nous voyons que Lisa et Bart ont édité 110 articles. On établit ainsi :

• — Lisa a perfectionné 61 articles.
• — Bart en perfectionné uniquement 39.
• doit être plus grand que . Mais si des pondérations différentes sont utilisées pour obtenir le score final de chaque personne, alors cette tendance s'inverse.

  Le premier score de Lisa est pondéré : ; de même pour Bart : .

  Mais ces poids sont inversés ensuite.

  • 
  • 

  Au final, la question est de savoir qui est le plus efficace. Lisa paraît supérieure grâce à son succès global qui est le plus grand. Mais il est envisageable de reformuler la situation pour que Bart apparaisse plus efficace. Supposons que le cas se présente comme suit :

  La première semaine, Lisa et Bart corrigent des erreurs simples, par exemple des coquilles. Mais la seconde semaine, ils s'attaquent à la neutralité des articles, tâche qui nécessite une réflexion plus poussée. Maintenant, on remarque que Bart s'en sort mieux que Lisa dans la correction de la neutralité. Malgré ses interventions, Bart est globalement moins efficace que Lisa mais la grande différence vient du fait que Lisa s'est essentiellement occupée de tâches triviales de la première semaine tandis que Bart a fait légèrement de tout, et en particulier des neutralisations plus complexes.

  On remarque ainsi à travers cet exemple que le contexte est important pour qualifier la notion de succès, concept qui peut être trompeur si on s'en tient aux chiffres.

  Exemple médical

  Un exemple réel provenant d'une étude médicale^[1] sur le succès de deux traitements contre les calculs rénaux sert à voir le paradoxe sous un autre angle.

  La première table montre le succès global et le nombre de traitements pour chaque méthode.

  taux de succès (succès/total)

  Traitement A	Traitement B
  78% (273/350)	83% (289/350)

  
  Cela semble révéler que le traitement B est plus efficace. Maintenant, en ajoutant des données concernant la taille des calculs, la comparaison prend une autre tournure :

  Résultats selon la taille des calculs

  petits calculs		gros calculs
  Traitement A	Traitement B	Traitement A	Traitement B
  93% (81/87)	87% (234/270)	73% (192/263)	69% (55/80)

  
  

  L'information au sujet de la taille des calculs a inversé les conclusions concernant l'efficacité de chaque traitement. Le traitement A est désormais reconnu comme plus efficace dans les deux cas. Le traitement le plus efficace peut être déterminé grâce à l'inégalité entre les deux rapports (succès/total). Le rebroussement de cette inégalité, qui conduit au paradoxe, se produit à cause de deux effets concurrents :

  1. la variable supplémentaire (ici la taille) a un impact significatif sur les rapports
  2. les tailles des groupes qui sont combinés lorsque la variable supplémentaire est ignorée sont particulièrement différentes

  Notes et références

  Agresti Chapter 2 STA665 fall 2009

  1. ↑ (en) Confounding and Simpson's paradox, Steven A Julious, Mark A Mullee, University of Southampton, 1994

  Littérature

  • Simpson, E. H. (1951), "The Interpretation of Interaction in Contingency Tables, " Journal of the Royal Statistical Society, Ser. B, 13, 238-241
  • Gauvrit, N. (2007), Statistiques, Méfiez-vous ! Paris : Ellipses.

Ce texte est issu de l'encyclopédie Wikipedia. Vous pouvez consulter sa version originale dans cette encyclopédie à l'adresse http://fr.wikipedia.org/wiki/Paradoxe_de_Simpson.
Voir la liste des contributeurs.
La version présentée ici à été extraite depuis cette source le 07/04/2010.
Ce texte est disponible sous les termes de la licence de documentation libre GNU (GFDL).
La liste des définitions proposées en tête de page est une sélection parmi les résultats obtenus à l'aide de la commande "define:" de Google.
Cette page fait partie du projet Wikibis.