La confusion et le renversement

Commencez par des nombres qui semblent impossibles, et résistez à l'envie de chercher l'erreur de calcul. Il n'y en a pas.

Le tableau

Un traitement est donné à 60 patients et refusé à 60 autres.

Chez les cas graves, le traitement augmente la guérison de cinq points. Chez les cas légers, de cinq points également. Globalement, les traités font cinq points de moins.

Chaque patient appartient à exactement une strate. Les deux bras comptent 60 patients : il ne s'agit donc pas de tailles de groupes inégales. L'addition est juste.

Ce que le chiffre global compare vraiment

Regardez qui se trouve dans chaque bras.

• sur les 60 traités, 40 étaient graves - deux tiers
• sur les 60 non traités, 20 étaient graves - un tiers

Les médecins ont donné le médicament aux patients qui en avaient besoin, ce que ferait tout clinicien consciencieux. La conséquence est que le bras traité est chargé des cas les plus difficiles.

Les patients graves guérissent moins souvent quoi qu'on leur fasse. La comparaison globale ne mesure donc pas le traitement : elle compare un groupe majoritairement grave à un groupe majoritairement léger, et cette différence de composition pèse plus que les cinq points apportés par le traitement.

La confusion, et les deux flèches qu'elle exige

La gravité a fait deux choses à la fois :

1. elle à influencé qui a été traité
2. elle influence qui guérit

Une variable qui fait les deux est un facteur de confusion, et les deux flèches sont requises.

Une variable n'agissant que sur le résultat - un facteur de risque que personne n'a consulté au moment de prescrire - coûte de la précision sans biaiser la comparaison, puisqu'elle se répartit également entre les bras. Une variable n'agissant que sur l'attribution, comme une pièce de monnaie, est inoffensive pour la même raison.

C'est la cause commune qui fait les dégâts, et c'est pourquoi la question qui compte devant toute comparaison observationnelle est : comment ces groupes se sont-ils formes ?

Standardiser

Comme la gravité a été enregistrée, on peut l'ajuster. Le chiffre global moyenne la guérison de chaque bras sur la composition propre à ce bras. Moyennez plutôt les taux internes sur une composition commune :

$$\text{traites : } 0,5 \times 0,400 + 0,5 \times 0,700 = 0,550$$ $$\text{non traites : } 0,5 \times 0,350 + 0,5 \times 0,650 = 0,500$$

Une différence d'exactement $+0,05$ : les cinq points mêmes visibles dans chaque strate, et le signe oppose au $-0,05$ naïf.

Pourquoi plus de données n'aide pas

C'est le point qui sépare un problème statistique d'un problème causal, et il mérite d'être dit sans détour.

Le bruit d'échantillonnage diminue quand l'échantillon grandit. La confusion, non. Elle est une propriété de la façon dont les données sont apparues, pas de leur quantité.

Menez la même étude sur un million de patients avec les mêmes habitudes de prescription : l'estimation naïve converge - vers $-0,05$. Vous obtenez un intervalle de confiance étroit autour d'un nombre au mauvais signe, et toutes les vérifications habituelles auront l'air saines.

Remarquez aussi ce que les données ne peuvent pas dire. L'estimation naïve et l'estimation standardisée sont toutes deux des calculs corrects sur le même tableau. Rien à l'intérieur n'annonce laquelle répond à la question causale. Ce jugement vient de la connaissance de la façon dont le traitement a été attribué, c'est-à-dire du monde et non des nombres.

Ce que cela prépare

La standardisation a fonctionné parce que la gravité avait été enregistrée. C'est le cas favorable, et il repose sur une affirmation invérifiable de l'intérieur des données : que la gravité était la seule cause commune.

Deux questions suivent, et ce sont les deux leçons suivantes. Que faire si vous ne pouvez pas dresser la liste des facteurs de confusion - existe-t-il un moyen de les vaincre sans les nommer ? Et une fois que l'on ajuste, pour quelles variables faut-il ajuster, sachant que certains ajustements dégradent la réponse ?