Comprendre Information mutuelle
L’information mutuelle demande de combien l’incertitude sur une variable diminue lorsqu’on en observe une autre. Comme elle est bâtie sur la loi jointe plutôt que sur une droite ajustée, elle répond à cette question pour toute forme de dépendance, et elle est nulle si et seulement si les deux variables sont indépendantes. C’est cette dernière clause que la corrélation ne peut pas offrir : une corrélation nulle exclut une relation linéaire et rien d’autre.
La démonstration la plus nette est le ou exclusif. Engendrez deux bits indépendants et prenez leur ou exclusif comme cible. Chaque entrée seule a avec la cible une corrélation d’environ +0,002 et une information mutuelle de 0,0000 bit, et les deux lectures sont justes : aucune entrée seule ne dit quoi que ce soit. Prises en paire, elles ont une information mutuelle de 1,0000 bit, car la paire détermine exactement la cible. L’information n’existe que dans la combinaison, si bien que toute procédure de filtrage qui classe les variables individuellement écarte les deux.
Appliquée à un canal, la même quantité dit ce qui peut être transporté. Un canal binaire qui inverse chaque bit avec probabilité 0,1 a une capacité de 1 - H(0,1) = 0,5310 bit par usage, et une simulation en mesure 0,5329. À une probabilité d’inversion de 0,5 la capacité est exactement nulle, car la distribution de sortie est alors la même quoi que l’on ait envoyé. À 0,9 la capacité revient à 0,5310 : mentir systématiquement est aussi informatif que dire systématiquement la vérité.
L’inégalité de traitement des données ferme le sujet. Tout ce que vous calculez à partir de la sortie du canal est une fonction de cette sortie, donc cela ne peut pas en savoir plus sur l’entrée que la sortie n’en savait. Dans la même simulation, effacer trois bits reçus sur dix fait tomber l’information mesurée de 0,5329 à 0,2763 bit. Aucun décodeur, aucune reconstruction et aucune profondeur de réseau ne récupère ce que le canal a détruit, ce qui constitue le plafond honnête de ce qu’un modèle peut extraire d’un jeu de variables donné.
Comment calculer
I(X;Y) = Σ p(x,y) log2( p(x,y) / (p(x) p(y)) ) = H(X) − H(X|Y); capacity of a BSC = 1 − H(flip)
où
- I(X;Y) ≥ 0
- nulle exactement quand X et Y sont indépendantes
- H(X|Y)
- l’incertitude qui reste sur X une fois Y observée
- H(flip)
- l’entropie binaire du taux d’erreur du canal
- X → Y → Z
- une chaîne où I(X;Z) ne peut jamais dépasser I(X;Y)
Exemple : Information mutuelle
Deux bits indépendants et leur ou exclusif, sur 200 000 tirages : chaque entrée seule a une corrélation de +0,0016 et une information mutuelle de 0,0000 bit avec la cible ; la paire en a 1,0000.
Un canal binaire à 10 % d’erreur : capacité 1 − H(0,1) = 0,5310 bit par usage, mesurée à 0,5329. À 50 % d’erreur la capacité vaut 0,0000.
Effacer trois bits reçus sur dix dans la même simulation abaisse l’information mesurée de 0,5329 à 0,2763 bit, et aucun traitement ne la relève.
Questions fréquentes
Faut-il préférer l’information mutuelle à la corrélation pour sélectionner des variables ?
Elle capte davantage, mais elle est plus difficile à estimer : sur des variables continues elle dépend d’un découpage ou d’une estimation de densité, et elle est biaisée vers le haut sur de petits échantillons. Utilisez-la en sachant qu’une valeur élevée sur peu de points peut être un artefact de l’estimateur plutôt qu’un résultat.
Une information mutuelle élevée signifie-t-elle qu’une variable cause l’autre ?
Non. Elle est symétrique en ses deux arguments et ne dit rien de la direction : une cause commune donne exactement la même lecture qu’un effet direct. Les questions causales exigent des hypothèses sur la façon dont les données sont nées.
Un réseau assez profond peut-il récupérer l’information perdue par le capteur ?
Non, et l’inégalité de traitement des données en est la preuve. Chaque couche est une fonction de la précédente, donc le plafond est fixé là où l’information a été détruite. Améliorer les variables est la seule chose qui le relève.
En résumé
L’information mutuelle mesure une dépendance de n’importe quelle forme, en bits, et elle pose un plafond dur sur ce qui peut être extrait en aval. C’est la quantité à saisir quand la corrélation n’annonce rien et que vous soupçonnez qu’il y a quelque chose, et le théorème qui l’accompagne vous dit quand cesser de chercher.