La variable de contrôle qui invente une relation

Voici tout le dispositif. Deux causes, indépendantes l’une de l’autre, et un effet qu’elles produisent toutes deux :

$$A \longrightarrow C \longleftarrow B.$$

$C$ est un collisionneur : les flèches y entrent en collision. Rien ne relie $A$ à $B$ ; ce qui a engendré l’un ignorait tout de l’autre.

Contrôlez maintenant $C$. Mettez-le dans la régression, ou stratifiez dessus, ou - le cas qui piège - constituez un échantillon où il est maintenu fixe.

A. La version binaire, exactement

Soit $A$ et $B$ deux tirages à pile ou face indépendants et équitables, et $C = A \text{ ou } B$. Trois quarts de la population ont $C = 1$. Parmi eux :

$$P(A = 1 \mid B = 0, C = 1) = 1.0000, \qquad P(A = 1 \mid B = 1, C = 1) = 0.5000.$$

La corrélation entre $A$ et $B$ vaut $0$ dans la population et $\mathbf{-0.5000}$ dès qu’on conditionne à $C = 1$. Le raisonnement se fait de tête : si l’alarme a sonné et que ce n’était pas $B$, c’était forcément $A$. Connaître $B$ vous renseigne désormais sur $A$, parce qu’on vous a déjà dit que l’un des deux s’était déclenché.

B. La version continue, et une régression

Soit $A$ et $B$ des lois normales centrées réduites indépendantes et $C = A + B$. Sur 200 000 tirages :

Ajouter une seule variable de contrôle fait passer un coefficient d’indiscernable-de-zéro à exactement moins un. Ce n’est pas un artefact d’échantillonnage : la corrélation partielle est exacte, car $\rho_{AC} = \rho_{BC} = 1/\sqrt{2}$ et

$$\rho_{AB \cdot C} = \frac{0 - \tfrac{1}{2}}{1 - \tfrac{1}{2}} = -1.$$

En se restreignant aux observations dont le $C$ est proche de zéro, on obtient $-0.9992$ sur 5 606 points : la même chose, faite par sélection plutôt que par ajustement.

C. Sélectionner, c’est conditionner, et cela ne se voit pas

La version par régression laisse au moins une trace : quelqu’un a choisi d’ajouter $C$. La version par sélection n’en laisse aucune, car le conditionnement a eu lieu avant l’arrivée des données.

• Patients admis. Deux affections indépendantes augmentent chacune la probabilité d’admission. Parmi les admis, elles paraissent négativement associées, et l’une semble protéger de l’autre.
• Candidats recrutés. Si les entretiens pèsent l’expérience et les résultats aux tests, et que la barre est une combinaison des deux, alors parmi les recrutés les deux sont négativement corrélés même s’ils sont sans rapport dans le vivier. Toute remarque du type « nos meilleurs ingénieurs n’avaient pas les meilleurs scores » a ceci pour première explication candidate.
• Startups à succès, articles publiés, produits survivants. Tout échantillon défini par un seuil sur un résultat qu’alimentent plusieurs causes.

Le signe est toujours le même : la population d’analyse a été choisie en utilisant quelque chose situé en aval des variables comparées.

D. Ce qui en découle en pratique

• « Contrôlez tout ce que vous avez mesuré » n’est pas une règle, c’est un tirage à pile ou face. Ajuster sur un facteur de confusion supprime un biais ; ajuster sur un collisionneur en crée un. Les deux sont indiscernables dans les données et ne se distinguent que par la structure causale que vous acceptez d’énoncer.
• Dessinez le graphe avant de choisir les covariables. Il n’a pas besoin d’être juste dans le détail pour être utile ; il doit dire quelles variables sont en amont du traitement et lesquelles sont en aval du résultat.
• N’ajustez jamais sur quoi que ce soit causé par le résultat ou par le traitement. Cette seule interdiction couvre la plupart de ces cas, y compris toute la famille des « variables post-traitement ».
• Dites comment l’échantillon a été sélectionné, à chaque fois. Si la règle de sélection fait intervenir un résultat, l’analyse conditionne sur un collisionneur, que quelqu’un ait écrit une variable de contrôle ou non.

La figure réunit les deux sur un même graphe traitement-résultat, avec un facteur de confusion Z et un collisionneur C. Sous Contrôler pour, choisir Z supprime le biais, et ajouter C le fait revenir.