Vous cherchez à comparer la fiabilité de deux systèmes, les systèmes A et B. Le système retenu sera celui qui, sur 140 tests, aura le nombre de succès le plus élevé.

Au premier semestre de l’année, le système A subit 40 tests et remporte 26 succès (65%) tandis que le système B, sur 100 tentatives, ne fonctionne que 60 fois (60%). Il semble donc que le système A, bien que les tests soient moins avancés que pour son concurrent, soit plus performant.

Au second semestre, le système A passe les 100 tests qui lui manquaient et obtient 30 succès (30%). Le système B, auquel il ne manquait que 40 tests, n’obtient que 10 réussites (25%). Vous en concluez logiquement que la supériorité du système A se confirme et vous apprêtez à signer le bon de commande.

Sauf que, à y regarder de plus près, le système B a réussit 70 (50%) de ses 140 tests tandis que le système A n’en a passé que 56 (40%) avec succès.

C’est un effet Yule-Simpson.

L’effet Yule-Simpson (a.k.a. paradoxe de Simpson) décrit les situations dans lesquelles une tendance apparaît dans deux populations distinctes mais disparaît ou même s’inverse quand ces populations sont combinées.

Considérez, par exemple, les deux paires de variables aléatoires ci-dessous :

Manifestement, dans les deux cas, nous sommes en présence de corrélations positives. De fait, la paire rouge est corrélée à hauteur de 41.6% et la paire bleue à hauteur de 49%. Mais si vous faîtes le même exercice sur l’ensemble des observations…

… vous obtenez une corrélation négative de l’ordre de -23.3%.