Les deux variables qui ressemblent à du bruit

Soit $X$ uniforme sur $\{-2, -1, 1, 2\}$ et $Y = |X|$. Connaître $X$ donne $Y$ avec certitude. La corrélation entre les deux vaut

$$\rho(X, Y) = 0.0000000000,$$

exactement, par symétrie. La corrélation mesure une chose : la part de $Y$ qui varie linéairement avec $X$. Ici, aucune, et pourtant tout est déterminé.

L’information mutuelle ne s’y laisse pas prendre :

$$H(X) = 2 \text{ bits}, \qquad H(Y) = 1 \text{ bit}, \qquad I(X;Y) = 1 \text{ bit}.$$

Connaître $X$ supprime toute l’incertitude sur $Y$. Cette partie de l’histoire est familière, et la conclusion habituelle est « utilisez l’information mutuelle plutôt que la corrélation ». C’est la seconde construction qui doit inquiéter, car l’information mutuelle n’en sauve pas non plus.

A. Trois variables, aucune paire informative

Soit $A$ et $B$ deux bits équitables indépendants et $C = A \oplus B$, le ou exclusif. Toutes les informations mutuelles par paire :

$$I(A;B) = I(A;C) = I(B;C) = 0.0000000000 \text{ bit}.$$

Deux quelconques des trois sont indépendantes. Regardez $A$ seul et $C$ ressemble à un tirage à pile ou face. Regardez $B$ seul et $C$ ressemble à un tirage à pile ou face. Pourtant

$$I(A, B \,;\, C) = 1 \text{ bit},$$

c’est-à-dire tout $C$. Le couple détermine entièrement la cible et aucun de ses deux membres n’en porte le moindre bit.

Ouvrez le second onglet de la figure, la paire qui se cache ensemble, pour ce couple XOR : chaque entrée seule porte 0 bit sur la cible, et le couple en porte 1.

B. Ce que cela fait à la sélection de variables

La première étape standard sur un jeu de données large est le filtrage univarié : noter chaque variable face à la cible, garder les meilleures, modéliser celles-là. Corrélation, information mutuelle, AUC à une variable, test du khi-deux - peu importe laquelle, elles s’accordent toutes ici.

Sur les données XOR, toute méthode de filtrage note $A$ et $B$ à exactement zéro et les écarte toutes les deux. Un filtre gardant les 10 % meilleures parmi mille variables les écarterait ; un filtre gardant les 90 % meilleures les écarterait aussi. Elles ne sont pas près du seuil, elles sont au plancher.

Et cet échec n’est pas un coin rare. Toute variable qui agit par interaction y ressemble à un degré ou à un autre :

• un médicament qui aide un génotype et nuit à un autre, sans effet principal
• un réglage qui ne compte qu’au-dessus d’une température
• la différence entre deux mesures dont aucune n’est informative seule
• toute cible qui dépend d’une parité, d’un rapport, ou d’une correspondance entre deux champs

C. Que faire à la place

• Filtrez avec un modèle capable de voir des paires. Un arbre boosté peu profond sur toutes les variables, noté par importance de permutation, trouve $A$ et $B$ immédiatement, car un arbre de profondeur deux représente XOR et une coupure unique ne le peut pas.
• Filtrez par blocs plutôt qu’une à une, quand les variables ont une structure connue : les deux bouts d’une mesure, l’avant et l’après, le couple de champs qui sont comparés en aval.
• Construisez l’interaction si vous en soupçonnez une. Une différence, un rapport ou un produit calculé avant le filtrage transforme un effet de paire en effet univarié, et se vérifie en une ligne.
• Traitez « aucune variable n’était prédictive » comme une hypothèse, pas comme un résultat. La table XOR est à quoi ressemble cette conclusion quand elle est fausse.

L’énoncé général mérite d’être gardé sous la forme exacte que lui donnent les nombres. L’indépendance de chaque paire n’entraîne pas l’indépendance de l’ensemble : la loi conjointe de $(A, B, C)$ n’est pas le produit de ses marges alors même que toutes les marges à deux se factorisent. Toute procédure de filtrage qui note les variables une à une suppose le contraire.