Les moindres carrés par la dérivée

La régression linéaire est d’ordinaire présentée comme une formule à appliquer. On la comprend mieux comme la réponse à une question de calcul différentiel : quelle droite rend les erreurs au carré les plus petites ? Une fois la question posée ainsi, les coefficients tombent de deux dérivées et il ne reste rien à mémoriser.

L’objectif

Ajustez $\hat y_i = \beta_0 + \beta_1 x_i$ et mesurez le désajustement par la somme des carrés des résidus :

$$\mathrm{RSS}(\beta_0, \beta_1) = \sum_{i=1}^{n}\big(y_i - \beta_0 - \beta_1 x_i\big)^2 .$$

L’élévation au carré fait deux choses : elle empêche les erreurs positives et négatives de s’annuler, et elle fait de la RSS une fonction lisse et convexe, si bien qu’annuler les dérivées trouve le minimum global plutôt qu’un simple point stationnaire.

Dériver

Par rapport à l’ordonnée à l’origine :

$$\frac{\partial \mathrm{RSS}}{\partial \beta_0} = -2\sum_{i=1}^{n}\big(y_i - \beta_0 - \beta_1 x_i\big) = 0 \quad\Longrightarrow\quad \sum_{i=1}^{n} e_i = 0 ,$$

en notant $e_i$ le résidu. La condition sur l’ordonnée à l’origine garantit que les résidus somment exactement à zéro - de façon équivalente, que la droite ajustée passe par le point des moyennes $(\bar x, \bar y)$. Ce n’est ni une coïncidence ni une convention ; c’est ce que dit cette seule dérivée.

Par rapport à la pente, et en substituant $\beta_0 = \bar y - \beta_1 \bar x$ :

$$\hat\beta_1 = \frac{\sum_i (x_i - \bar x)(y_i - \bar y)}{\sum_i (x_i - \bar x)^2}, \qquad \hat\beta_0 = \bar y - \hat\beta_1 \bar x .$$

Exemple résolu

Cinq points : $x = (1,2,3,4,5)$, $y = (2.1, 3.9, 6.2, 7.8, 10.1)$.

$\bar x = 3.0$, $\bar y = 6.02$. Alors

$$S_{xy} = \sum (x_i - \bar x)(y_i - \bar y) = 19.90 , \qquad S_{xx} = \sum (x_i - \bar x)^2 = 10.00 ,$$

donc

$$\hat\beta_1 = \frac{19.90}{10.00} = 1.9900 , \qquad \hat\beta_0 = 6.02 - 1.99 \times 3 = 0.0500 .$$

Les résidus valent $(0.06,\, -0.13,\, 0.18,\, -0.21,\, 0.10)$ - et ils somment exactement à $0$, comme la dérivée en l’ordonnée à l’origine le promettait. Vérifiez-le vous-même ; cette somme est le moyen le plus rapide d’attraper une erreur de calcul.

Le R², et son piège

$$R^2 = 1 - \frac{\mathrm{RSS}}{\mathrm{TSS}}, \qquad \mathrm{TSS} = \sum_i (y_i - \bar y)^2 .$$

Ici $\mathrm{TSS} = 39.7080$ et $\mathrm{RSS} = 0.1070$, donnant $R^2 = 0.9973$ - la droite explique 99,73 % de la variation de $y$.

Pourquoi le $R^2$ ne peut pas classer des modèles de tailles différentes. Ajouter n’importe quel prédicteur, fût-ce du bruit pur, donne aux moindres carrés strictement plus de liberté pour réduire la RSS. La RSS ne peut donc jamais augmenter quand on ajoute un prédicteur, et le $R^2$ ne peut jamais décroître. Une métrique qui récompense toujours davantage de prédicteurs ne peut pas servir à décider si un prédicteur mérite d’être gardé. Les comparaisons exigent quelque chose qui pénalise la taille - $R^2$ ajusté, un critère d’information, ou une estimation hors échantillon par validation croisée.

Voyez les carrés. La figure ci-dessous utilise cinq autres points, $(1,2), (2,4), (3,5), (4,4), (5,5)$, bien plus dispersés que ceux de l’exemple traité. Chaque résidu y est tracé avec son carré, si bien que la RSS (SCR dans la figure) est leur aire totale, mise en regard de la TSS (SCT) que laisse la moyenne constante. Déplacez Ordonnée à l’origine et Pente, ou cliquez sur Aller à la droite des moindres carrés : on arrive à $\hat y = 2.2 + 0.6x$, où $\mathrm{RSS} = 2.4$, $\mathrm{TSS} = 6$ et $R^2 = 0.6$, et les résidus ont de nouveau une somme exactement nulle.

Voyez-le bouger. Les moindres carrés sont un membre d’une famille plus large : faites glisser le paramètre et regardez une log-vraisemblance culminer exactement là où l’estimateur atterrit.

Essayez-le en direct. Ajustez un modèle linéaire généralisé en itérant jusqu’à convergence la même étape d’équation normale :

Avant le quiz

Sachez dire ce que garantit $\partial \mathrm{RSS}/\partial \beta_0 = 0$, et pourquoi le $R^2$ est le mauvais outil pour la sélection de modèles. Dérivation complète : La régression linéaire à partir des premiers principes.