Composantes principales et variance

Six points, deux mesures chacun. À la fin de cette leçon, un seul nombre remplacera les deux et conservera 98,83 % de tout ce qui variait.

C’est là toute l’idée des composantes principales : la plupart des jeux de données à nombreuses colonnes ne sont pas si larges en réalité. Les colonnes bougent ensemble, et ce mouvement se tient près d’une forme de dimension plus basse. Trouver cette forme permet de porter presque toute l’information avec bien moins de nombres.

Le piège, c’est qu’il n’y a rien pour vérifier votre réponse. Tout, dans le parcours supervisé, avait une réponse à prédire : un modèle pouvait donc avoir tort ou raison. Ici il n’y a aucune réponse - seulement les données - et « quelle structure contiennent-elles » est une question franchement plus difficile ne serait-ce qu’à poser. Le premier travail est donc de dire précisément ce que serait une bonne réponse.

L’analyse en composantes principales rend la question précise d’une manière : trouver un petit nombre de directions le long desquelles les données varient autant que possible, et les employer à la place des variables d’origine.

La première composante principale

La première composante principale est la combinaison linéaire normalisée

$$Z_1 = \phi_{11}X_1 + \phi_{21}X_2 + \dots + \phi_{p1}X_p, \qquad \sum_{j=1}^{p}\phi_{j1}^2 = 1,$$

de plus grande variance. La contrainte n’est pas décorative. Sans elle, vous pourriez doubler chaque $\phi_{j1}$, quadrupler la variance, et recommencer indéfiniment : la maximisation n’aurait aucune solution. Fixer la norme à un rend le problème affaire de direction et non de magnitude.

Le vecteur $\phi_1 = (\phi_{11}, \dots, \phi_{p1})$ est le vecteur de charges. Il décrit une direction dans l’espace des variables et appartient au jeu de données pris comme un tout. Projeter les observations dessus donne les scores $z_{11}, \dots, z_{n1}$, un par observation.

Charges et scores répondent à des questions différentes. Une charge dit combien une variable contribue à une composante ; un score dit où se situe une observation le long de celle-ci. Les confondre est la façon la plus courante de mal lire une sortie d’ACP.

James et al. ajoutent une seconde caractérisation équivalente, qu’il vaut la peine de retenir : la direction de la première composante est aussi la droite la plus proche des $n$ observations, au sens des distances perpendiculaires au carré. Maximiser la variance des projections et minimiser la distance à la droite sont un seul et même problème.

Exemple travaillé

Six observations sur deux variables :

$$X = \begin{bmatrix} 2&0\\ 3&1\\ 4&3\\ 5&4\\ 6&7\\ 4&2 \end{bmatrix}, \qquad \bar x = (4{,}0000;\; 2{,}8333).$$

En centrant les colonnes, la matrice de covariance empirique est

$$S = \begin{bmatrix} 2{,}0000 & 3{,}4000 \\ 3{,}4000 & 6{,}1667 \end{bmatrix}.$$

Ses valeurs propres sont $\lambda_1 = 8{,}0708$ et $\lambda_2 = 0{,}0958$, et le premier vecteur propre - le premier vecteur de charges - vaut

$$\phi_1 = (0{,}4886;\; 0{,}8725), \qquad \|\phi_1\| = 1 .$$

Les deux charges sont positives et la seconde est plus grande : la composante est donc essentiellement « les deux variables ensemble, pondérées vers la seconde ». Les scores sont

$$z_{i1} = (-3{,}4493;\; -2{,}0882;\; 0{,}1454;\; 1{,}5065;\; 4{,}6126;\; -0{,}7271),$$

et leur variance empirique vaut $8{,}0708$ - exactement $\lambda_1$. Ce n’est pas une coïncidence : la valeur propre est la variance captée par sa composante.

Proportion de variance expliquée

Chaque composante capte une part de la variance totale, et la proportion de variance expliquée (PVE) la rapporte :

$$\text{PVE}_m = \frac{\lambda_m}{\sum_{k=1}^{p}\lambda_k}.$$

Ici $\text{PVE}_1 = 8{,}0708 / 8{,}1667 = 0{,}9883$ et $\text{PVE}_2 = 0{,}0117$. Une seule direction porte 98,83 % de la variation d’un jeu de données à deux variables : remplacer les deux variables par un unique score ne perd presque rien.

Un éboulis (scree plot) place la PVE de chaque composante dans l’ordre, et le conseil habituel est de chercher un coude. Il vaut la peine d’être franc sur ce que c’est : un jugement à l’œil, non un test. Il n’existe pas de méthode objective largement acceptée pour décider combien de composantes suffisent, et en contexte non supervisé il n’y a pas non plus d’erreur hors échantillon à invoquer - c’est précisément la difficulté de n’avoir pas de $y$.

Pourquoi la standardisation n’est pas optionnelle

L’ACP maximise la variance, et la variance a des unités. Mesurez une longueur en millimètres plutôt qu’en mètres et sa variance est multipliée par $10^6$ : cette variable dominera la première composante sans autre raison que le choix de la règle.

Le remède est de mettre chaque variable à écart-type un avant de calculer les composantes - ce qui revient à faire l’ACP sur la matrice de corrélation plutôt que de covariance. James et al. décrivent cela comme la pratique usuelle, et l’exception mérite d’être nommée : quand les variables sont déjà dans les mêmes unités et que leurs variances différentes sont réellement significatives, mettre à l’échelle jetterait une information véritable.

Avant le quiz

Sachez énoncer ce que maximise la première composante et pourquoi la contrainte de norme est nécessaire, distinguer une charge d’un score, calculer une PVE à partir des valeurs propres, et dire ce qui se gâte si l’on saute la standardisation. L’entrée d’encyclopédie Analyse en composantes principales couvre le même matériel comme référence.