La régression linéaire à partir des premiers principes

La régression linéaire est ancienne, simple, et reste la bonne première chose à essayer. C’est aussi l’endroit le plus net pour voir le schéma que suit toute autre méthode supervisée : écrire une mesure de la mauvaise qualité de l’ajustement, puis choisir les paramètres qui la minimisent. Ici, cette minimisation se fait exactement, en forme close, avec le calcul différentiel que vous possédez déjà.

A. Le modèle

Avec un seul prédicteur, nous supposons

$$Y \approx \beta_0 + \beta_1 X ,$$

où $\beta_0$ est l’ordonnée à l’origine et $\beta_1$ la pente. Ensemble elles forment les coefficients du modèle. Les estimer à partir des données donne $\hat\beta_0$ et $\hat\beta_1$, et les prédictions

$$\hat y_i = \hat\beta_0 + \hat\beta_1 x_i .$$

Le $i$-ème résidu est $e_i = y_i - \hat y_i$, l’écart entre ce que nous avons observé et ce que nous avons prédit.

B. Ce que « meilleur ajustement » veut dire

Il nous faut un nombre unique mesurant à quel point une droite candidate ajuste mal. Le choix standard est la somme des carrés des résidus :

$$\mathrm{RSS} = \sum_{i=1}^{n} e_i^2 = \sum_{i=1}^{n}\big(y_i - \beta_0 - \beta_1 x_i\big)^2 .$$

L’élévation au carré fait deux choses : elle donne le même poids aux écarts positifs et négatifs, et elle pénalise un grand écart plus lourdement que plusieurs petits. Elle est en outre différentiable partout, ce qui rend possible la solution en forme close ci-dessous.

Les moindres carrés choisissent $\hat\beta_0, \hat\beta_1$ qui minimisent la RSS.

C. Dériver les coefficients

La RSS est une fonction lisse de deux variables : son minimum se situe là où les deux dérivées partielles s’annulent.

Par rapport à l’ordonnée à l’origine :

$$\frac{\partial\,\mathrm{RSS}}{\partial \beta_0} = \sum_{i=1}^n 2\big(y_i - \beta_0 - \beta_1 x_i\big)(-1) = 0 \;\Longrightarrow\; \sum_{i=1}^n \big(y_i - \beta_0 - \beta_1 x_i\big) = 0 .$$

En divisant par $n$ on obtient $\bar y - \beta_0 - \beta_1 \bar x = 0$, donc

$$\hat\beta_0 = \bar y - \hat\beta_1 \bar x .$$

Deux conséquences immédiates : les résidus somment à zéro, et la droite ajustée passe toujours par $(\bar x, \bar y)$.

Par rapport à la pente :

$$\frac{\partial\,\mathrm{RSS}}{\partial \beta_1} = \sum_{i=1}^n 2\big(y_i - \beta_0 - \beta_1 x_i\big)(-x_i) = 0 .$$

En substituant $\beta_0 = \bar y - \beta_1\bar x$ et en réarrangeant, on obtient

$$\hat\beta_1 = \frac{\sum_{i=1}^n (x_i - \bar x)(y_i - \bar y)}{\sum_{i=1}^n (x_i - \bar x)^2} .$$

Le numérateur est la covariance empirique de $x$ et $y$ (à une constante près) et le dénominateur la variance empirique de $x$. La pente est donc la mesure de combien $x$ et $y$ bougent ensemble, rapportée à combien $x$ bouge seul - ce qu’une pente doit être exactement.

D. Un ajustement complet, mené à la main

Cinq observations :

Étape 1 - les moyennes.

$$\bar x = \frac{1+2+3+4+5}{5} = 3, \qquad \bar y = \frac{2+4+5+4+5}{5} = 4 .$$

Étape 2 - les produits d’écarts.

Étape 3 - les coefficients.

$$\hat\beta_1 = \frac{6}{10} = 0.6 = \tfrac{3}{5}, \qquad \hat\beta_0 = 4 - 0.6 \times 3 = 4 - 1.8 = 2.2 = \tfrac{11}{5} .$$

La droite ajustée est

$$\hat y = 2.2 + 0.6\,x .$$

Étape 4 - valeurs ajustées et résidus.

Les résidus somment exactement à zéro, comme la dérivation le promettait, et la droite passe par $(3, 4) = (\bar x, \bar y)$ - vérifiez la ligne 3.

$$\mathrm{RSS} = 2.40 .$$

E. La qualité de l’ajustement

La RSS seule est ininterprétable : elle dépend des unités et de la taille de l’échantillon. Comparez-la plutôt à la somme totale des carrés, l’erreur de la meilleure prédiction constante possible $\bar y$ :

$$\mathrm{TSS} = \sum (y_i - \bar y)^2 = 4 + 0 + 1 + 0 + 1 = 6 .$$

Alors

$$R^2 = 1 - \frac{\mathrm{RSS}}{\mathrm{TSS}} = 1 - \frac{2.4}{6} = 0.6 .$$

Le prédicteur explique 60 % de la variabilité de $y$ ; les 40 % restants lui échappent. Le $R^2$ appartient à $[0,1]$ pour un modèle ajusté avec ordonnée à l’origine, et il est sans unité, ce qui le rend comparable d’un problème à l’autre.

Le $R^2$ ne décroît jamais quand on ajoute un prédicteur, fût-ce une colonne de bruit pur, car la liberté supplémentaire ne peut que réduire la RSS. Il ne peut donc pas servir à départager des modèles de tailles différentes - c’est à cela que sert la validation croisée.

F. Vérifier chaque nombre

Son exécution reproduit le tableau à l’identique - pente $0.6$, ordonnée à l’origine $2.2$, résidus sommant à $0$ (à la précision machine), $\mathrm{RSS} = 2.4$, $\mathrm{TSS} = 6.0$, $R^2 = 0.6$ - ainsi que sklearn: 2.2 0.6 0.6, une confirmation indépendante.

G. Ce que le modèle suppose

Les moindres carrés renvoient toujours une réponse. Qu’elle ait un sens dépend d’hypothèses qu’il vaut mieux énoncer clairement :

• Linéarité. La relation est réellement une droite. Si elle s’incurve, l’ajustement est biaisé quelle que soit la quantité de données collectées - le mode de défaillance de Le compromis biais-variance.
• Erreurs indépendantes. Des résidus corrélés (séries temporelles, données groupées) laissent les coefficients utilisables mais rendent les erreurs types bien trop petites.
• Variance d’erreur constante. Si la dispersion croît avec $x$, l’ajustement surpondère la région bruitée.
• Points influents. Avec $n = 5$, une seule valeur aberrante déplace sensiblement la droite - comme l’a montré le pli 1 de la LOOCV, retirer $(1,2)$ y a fait passer la prédiction de $2.8$ à $4.0$, un déplacement de $1.2$.

Tracer les résidus contre les valeurs ajustées vérifie les deux hypothèses centrales plus vite que n’importe quel test formel.

À retenir

• Les moindres carrés minimisent la RSS, et annuler les deux dérivées partielles donne des coefficients en forme close - aucune itération requise.
• $\hat\beta_1$ est la covariance de $x$ et $y$ sur la variance de $x$ ; $\hat\beta_0$ force la droite à passer par $(\bar x, \bar y)$.
• La dérivation garantit que les résidus somment à zéro.
• Notre ajustement : $\hat y = 2.2 + 0.6x$, $\mathrm{RSS} = 2.4$, $\mathrm{TSS} = 6$, $R^2 = 0.6$.
• Le $R^2$ ne décroît jamais quand on ajoute des prédicteurs : il ne peut donc pas comparer des modèles de tailles différentes.

La suite

L’erreur quadratique est la mauvaise cible lorsque la réponse est une catégorie plutôt qu’un nombre - une droite ajustée prédira volontiers une probabilité de $1.4$. Adapter le modèle linéaire à la classification, c’est La régression logistique et la classification.