Le traitement qui aide tout le monde et nuit à la moyenne

Voici une série de nombres. Tous sont exacts, aucun n'est un tour de passe-passe, et ensemble ils disent quelque chose qui semble impossible.

Un traitement est donné à 60 patients et refusé à 60 autres. Chez les cas graves il augmente la guérison de $0,350$ à $0,400$. Chez les cas légers, de $0,650$ à $0,700$. Cinq points, dans les deux groupes.

Globalement, les traités guérissent $0,500$ et les non traités $0,550$. Le traitement semble nuire.

Chaque patient appartient à exactement un de ces deux groupes. Le traitement a aidé dans les deux. Et il a abaissé le taux global des cinq points mêmes dont il relève chaque groupe.

D'où viennent les nombres

Vérifiez l'addition : $16 + 14 = 30$ sur $40 + 20 = 60$, et $7 + 26 = 33$ sur $20 + 40 = 60$. Les deux bras comptent 60 patients : la comparaison globale n'est donc pas faussée par des tailles inégales.

Ce qui diffère, c'est qui se trouve dans chaque bras. Deux tiers des traités étaient graves ; seulement un tiers des non traités l'étaient. Et les patients graves guérissent moins souvent quoi qu'on leur fasse.

Le chiffre global ne compare donc pas le traitement. Il compare un groupe majoritairement grave à un groupe majoritairement léger, et la composition pèse plus que les cinq points apportés par le traitement.

Le mécanisme à un nom et une forme

La gravité à influencé qui a été traité - les médecins ont donné le médicament aux patients qui en avaient besoin - et elle influence qui guérit. Une variable portant ces deux flèches est un facteur de confusion.

Les deux flèches sont nécessaires. Une variable n'agissant que sur le résultat, tel un facteur de risque que personne n'a consulté au moment de prescrire, coûte de la précision sans biaiser la comparaison. Une variable n'agissant que sur l'attribution, comme une pièce, est tout aussi inoffensive. Le dégât exige une cause commune.

La réparation, et ce qu'elle donne

La gravité ayant été enregistrée, on peut l'ajuster. Calculez l'effet dans chaque strate, puis moyennez sur une composition commune au lieu de celle que chaque bras avait :

$$0,5 \times 0,400 + 0,5 \times 0,700 = 0,550 \qquad\text{contre}\qquad 0,5 \times 0,350 + 0,5 \times 0,650 = 0,500$$

Une différence d'exactement $+0,05$ - les cinq points mêmes visibles dans chaque strate, et le signe oppose au $-0,05$ naïf.

Pourquoi ce n'est pas un problème de taille d'échantillon

C'est la partie à intérioriser, car elle sépare une difficulté statistique d'une difficulté causale.

Le bruit d'échantillonnage diminue à mesure que les données s'accumulent. La confusion, non. Elle est une propriété de la façon dont les données sont apparues : recueillir un million de patients de plus avec les mêmes habitudes de prescription produit un intervalle de confiance de plus en plus étroit autour de la mauvaise réponse - et du mauvais signe.

Rien de ce qui se calcule sur le tableau n'annonce laquelle des deux estimations est causale. Les deux sont de l'arithmétique correcte sur les mêmes données. Ce qui les distingue est la connaissance de la façon dont le traitement a été attribué, et cela vient de l'extérieur des données.

Ce que la randomisation achète

Prenez maintenant un monde voisin, et non celui du tableau : la moitié des patients graves, une guérison sans traitement de $0,5$ pour les graves et de $0,8$ pour les légers, et un bénéfice vrai fixé à exactement $+0,1000$ par construction. Calculez-le deux fois, en ne changeant que celui qui décide du traitement - des médecins qui traitent 80 % des graves et 20 % des légers, ou une pièce :

Ce sont les valeurs exactes de la population ; une simulation de 1 500 essais du même monde tombe à quelques millièmes, vers $-0,082$ et $+0,098$.

Le traitement est identique dans les deux cas. Quand les médecins attribuent, la gravité passe dans la variable de traitement et l'estimation s'inverse. Quand une pièce attribue, aucune caractéristique du patient ne peut influencer le bras, et la comparaison naïve retrouve l'effet.

Voilà tout l'argument en faveur de la randomisation, et il est plus fort que l'ajustement d'une manière précise : l'ajustement ne peut traiter que les facteurs que vous connaissez et avez enregistrés, et l'affirmation que votre liste est complète ne se vérifie pas de l'intérieur des données. La randomisation coupe d'un coup la flèche de toute cause non mesurée, sans avoir a en nommer aucune.

Il vaut la peine d'être précis sur la promesse. La randomisation équilibre les bras en moyenne ; un petit essai peut encore être malchanceux, et c'est pourquoi les essais sont dimensionnés délibérément et les tableaux de départ examinés. Et elle protège exactement un point de la chaine : l'attribution. Si des patients abandonnent ensuite pour des raisons liées à leur traitement, les groupes restants sont de nouveau confondus, et c'est pourquoi les analyses sont spécifiées en intention de traiter.

Le monde est spécifié assez précisément pour qu'aucune des deux lignes n'ait besoin d'être simulée, et la figure ci-dessous calcule les deux : -0,08 quand la gravité décide et +0,10 quand c'est une pièce, soit les valeurs exactes du tableau ci-dessus. Le curseur est l'exercice. Rapprochez les deux probabilités d'attribution et la première ligne devient la seconde, car le biais vaut exactement le déséquilibre de gravité multiplié par l'écart de 0,3 entre les taux de base. Et cela n'a jamais exigé une pièce équilibrée : n'importe quelle probabilité commune suffit.

L'ajustement qui aggrave les choses

La leçon jusqu'ici sonne comme « ajustez sur ce que vous pouvez ». C'est la que beaucoup d'analyses dérapent, car certains ajustements créent du biais.

Prenez deux causes réellement indépendantes - chacune survenant avec probabilité $1/2$, sans aucun lien. Supposez qu'un cas soit admis dans une étude quand l'une ou l'autre cause est présente.

Parmi les admis :

• la probabilité de la première cause vaut $2/3$
• mais sachant que la seconde est aussi présente, elle tombe à $1/2$

La probabilité jointe parmi les admis vaut $1/3$, tandis que le produit des marginales vaut $4/9$. L'indépendance à disparu.

Rien n'a changé dans le monde. Conditionner sur un effet commun - un collider - a fabriqué une dépendance entre des causes qui n'en avaient aucune. Intuitivement : sachant qu'un cas a été admis, apprendre qu'une cause était présente explique l'admission et rend l'autre moins probable.

Voilà pourquoi « contrôlez tout ce que vous avez mesuré » n'est pas un bon conseil, et pourquoi ajouter des variables à une régression est une affirmation causale et non une précaution.

La figure ci-dessous vérifie un choix de contrôles dans les deux sens à la fois. Le côté graphe applique la d-séparation aux chemins énumérés ; le côté arithmétique applique la formule d’ajustement à la loi jointe. Aucun ne consulte l’autre, et ils ne se contredisent jamais. Ajoutez le collisionneur et regardez un critère échouer et une estimation bouger du même clic ; ajoutez ensuite le facteur de confusion, et constatez que le dégât demeure, car un mauvais contrôle n’est pas annulé par un bon.

La règle, et son prix

Dessiner les hypothèses en graphe rend la distinction lisible. Trois formes couvrent l'essentiel :

• fourche ($T \leftarrow Z \rightarrow Y$) : une cause commune. Ajustez sur $Z$ - c'est la confusion.
• chaine ($T \rightarrow M \rightarrow Y$) : un médiateur. Ajuster sur $M$ retiré une partie de l'effet même que vous mesurez.
• collider ($T \rightarrow C \leftarrow Y$) : un effet commun. Ajuster sur $C$ crée une association fallacieuse.

Le critère de porte dérobée en fait une règle : ajustez sur un ensemble de variables qui bloque tout chemin entrant dans le traitement par l'arrière et ne contient aucun descendant du traitement, afin de ne retirer aucun médiateur ni d'ouvrir aucun collider.

Quand les hypothèses tiennent, le résultat est exact et non approche. Dans un monde bâti pour que l'effet vrai vaille exactement $0,200000$, la comparaison naïve donne $0,375325$ - surestimant de $0,175325$ - et l'ajustement par porte dérobée renvoie $0,200000$ exactement. Les deux chiffres sont calcules en fractions exactes sans aucun échantillonnage : cet écart est du biais, non du bruit.

Le prix est l'honnêteté sur ce qui fondé les flèches. La corrélation est symétrique, la causalité ne l'est pas : plusieurs graphes différents peuvent engendrer le même tableau. Le graphe ne se lit pas dans les données ; il leur est apporté depuis la connaissance du fonctionnement des choses.

C'est une qualité. Cela force l'hypothèse au grand jour, ou elle peut être discutée, au lieu de la laisser implicite dans une liste de contrôles.

Ce qu'il faut emporter

Une comparaison entre traités et non traités ne répond à la question causale que si les groupes étaient par ailleurs semblables. Quand ils ne l'étaient pas, l'estimation n'est pas seulement imprécise - elle peut pointer dans le mauvais sens, et plus de données la rendra plus assurée plutôt que plus juste.

La question la plus utile devant tout résultat observationnel n'est donc ni quel test a été mène ni quelle était la taille de l'échantillon. C'est : comment ces groupes se sont-ils formes ?

Le parcours Inférence causale travaille les trois arguments en détail, avec chaque calcul exécutable et modifiable dans le navigateur.