La régression logistique et la classification

La régression linéaire à partir des premiers principes ajustait une réponse numérique. Beaucoup de problèmes posent au contraire une question catégorielle : cet élément appartient-il à la classe A ou à la classe B ? Ce que nous voulons d’ordinaire n’est pas l’étiquette mais la probabilité de l’étiquette, et les probabilités sont contraintes d’une manière dont les droites ne le sont pas.

A. Pourquoi ne pas simplement ajuster une droite ?

Codez les deux classes par $0$ et $1$ et lancez les moindres carrés. La droite ajustée est $\hat\beta_0 + \hat\beta_1 X$, définie pour tout $X$ réel, et elle finit donc par dépasser $1$ et par tomber sous $0$. Comme estimation de $P(Y = 1 \mid X)$, ce n’est pas seulement inexact, c’est impossible - cela viole les axiomes de Les probabilités à partir de zéro.

Il nous faut un modèle dont la sortie est confinée à $(0, 1)$ par construction.

B. La fonction logistique

La régression logistique modélise directement la probabilité :

$$p(X) = P(Y = 1 \mid X) = \frac{e^{\beta_0 + \beta_1 X}}{1 + e^{\beta_0 + \beta_1 X}} .$$

En posant $z = \beta_0 + \beta_1 X$, c’est la fonction logistique (ou sigmoïde)

$$\sigma(z) = \frac{1}{1 + e^{-z}} ,$$

les deux formes étant algébriquement identiques (divisez numérateur et dénominateur de la première par $e^{z}$). Son comportement est exactement ce dont nous avons besoin : quand $z \to +\infty$, $\sigma \to 1$ ; quand $z \to -\infty$, $\sigma \to 0$ ; et $\sigma(0) = 0.5$. La sortie peut approcher les bornes sans jamais les atteindre.

Quelques valeurs, avec $z = -4 + x$ :

C. Cotes et log-cotes : ce que signifient les coefficients

Réarranger le modèle donne les cotes :

$$\frac{p(X)}{1 - p(X)} = e^{\beta_0 + \beta_1 X} ,$$

et prendre le logarithme donne les log-cotes ou logit :

$$\log\!\left(\frac{p(X)}{1 - p(X)}\right) = \beta_0 + \beta_1 X .$$

C’est en ce sens que la régression logistique est un modèle linéaire - linéaire dans les log-cotes, non dans la probabilité. Les cotes vont de $0$ à $\infty$ et les log-cotes couvrent toute la droite réelle, ce qui est précisément l’étendue dont une fonction linéaire a besoin.

Ainsi $\beta_1$ est la variation des log-cotes par unité supplémentaire de $X$, et $e^{\beta_1}$ la variation multiplicative des cotes.

Le contresens le plus fréquent. $\beta_1$ n’est pas la variation de probabilité par unité de $X$. Comme la courbe logistique est en S, le même pas d’une unité déplace beaucoup la probabilité près de $p = 0.5$ et presque pas du tout dans les queues. Seules les log-cotes varient d’une quantité constante.

D. L’ajustement par maximum de vraisemblance

Les moindres carrés ne sont pas le critère naturel ici. Nous choisissons plutôt les coefficients qui rendent les étiquettes observées les plus probables. Chaque observation contribue $p(x_i)$ si $y_i = 1$ et $1 - p(x_i)$ si $y_i = 0$, ce qui se combine en la vraisemblance

$$\ell(\beta_0, \beta_1) = \prod_{i:\,y_i=1} p(x_i) \prod_{i:\,y_i=0}\big(1 - p(x_i)\big) .$$

Le logarithme transforme le produit en somme - numériquement bien mieux conditionné - donnant la log-vraisemblance

$$\log \ell = \sum_{i=1}^{n}\Big[y_i \log p(x_i) + (1-y_i)\log\big(1 - p(x_i)\big)\Big] .$$

Contrairement aux moindres carrés, elle n’a aucune solution en forme close ; on la maximise numériquement. Son gradient est remarquablement propre :

$$\frac{\partial \log\ell}{\partial \beta_0} = \sum_i (y_i - p_i), \qquad \frac{\partial \log\ell}{\partial \beta_1} = \sum_i (y_i - p_i)\,x_i .$$

Chaque observation pousse les coefficients proportionnellement à l’erreur de la prédiction courante - un schéma qui réapparaît dans La rétropropagation et la descente de gradient.

E. Un pas de gradient, à la main

Six observations, délibérément non parfaitement séparables (la raison est en section G) :

Partons de $\beta_0 = \beta_1 = 0$. Alors $z_i = 0$ et $p_i = \sigma(0) = 0.5$ pour chaque observation, donc

$$\log\ell = 6\log(0.5) = -4.158883 .$$

Les composantes du gradient :

$$\sum_i (y_i - p_i) = (0-0.5)+(1-0.5)+(0-0.5)+(1-0.5)+(1-0.5)+(1-0.5) = 1.0 ,$$ $$\sum_i (y_i - p_i)x_i = -0.5 + 1.0 - 1.5 + 2.0 + 2.5 + 3.0 = 6.5 .$$

En faisant un pas de taille $\eta = 0.05$ vers le haut (nous maximisons) :

$$\beta_0 \leftarrow 0 + 0.05(1.0) = 0.05, \qquad \beta_1 \leftarrow 0 + 0.05(6.5) = 0.325 .$$

Les nouvelles probabilités sont $[0.5927, 0.6682, 0.7359, 0.7941, 0.8422, 0.8808]$ et la log-vraisemblance est montée à $-3.162034$. Un pas a amélioré l’ajustement.

La taille du pas n’est pas un paramètre libre. Avec $\eta = 0.5$, le même pas atterrit en $\beta = (0.5, 3.25)$ et la log-vraisemblance chute à $-14.024$ - bien pire que le point de départ. Il est facile de dépasser un maximum ; qu’un pas monte localement ne signifie pas que toute longueur de pas dans cette direction soit une amélioration.

En itérant jusqu’à convergence on obtient

$$\hat\beta_0 = -2.7700, \qquad \hat\beta_1 = 1.1447,$$

avec une log-vraisemblance de $-2.440125$.

Interpréter le résultat. Chaque unité supplémentaire de $x$ multiplie les cotes par $e^{1.14466} = 3.1414$ - les triplant à peu près. La frontière de décision, où $p = 0.5$, est là où $z = 0$ :

$$x = -\frac{\hat\beta_0}{\hat\beta_1} = \frac{2.7700}{1.14466} = 2.4199 .$$

Sous $x \approx 2.42$ nous prédisons la classe 0, au-dessus la classe 1.

Chaque nombre ci-dessus est reproduit par cette exécution.

F. De la probabilité à la décision

Le modèle produit une probabilité ; une décision exige un seuil. Le seuil par défaut $0.5$ n’est correct que lorsque les deux types d’erreur coûtent la même chose. Quand un faux négatif coûte bien plus cher qu’un faux positif, le bon seuil est plus bas - et c’est une décision sur des conséquences, non une question statistique à laquelle les données peuvent répondre.

La leçon du taux de base tirée du théorème de Bayes s’applique ici pleinement : avec une classe positive rare, un modèle peut être très exact et se tromper malgré tout la plupart des fois où il prédit « positif ».

G. Quand l’ajustement explose

Si les classes sont parfaitement séparables - un seuil les sépare sans recouvrement - la vraisemblance peut toujours être augmentée en agrandissant $\beta_1$, ce qui pousse les probabilités ajustées vers exactement $0$ et $1$. Il n’y a pas de maximum, et l’EMV n’existe pas.

Ce n’est pas hypothétique. En remplaçant nos données par les données proprement séparées $x = (1,2,3,4)$, $y = (0,0,1,1)$, un solveur non régularisé renvoie $\hat\beta_1 \approx 18.2$ avec $\hat\beta_0 \approx -45.8$ - des nombres qui sont des artefacts de l’endroit où l’optimiseur s’est arrêté, non des estimations. Le logiciel peut vous avertir ou non. Le remède standard est une pénalité sur la taille des coefficients, ce qui est exactement le sujet de l’article suivant.

À retenir

• Un modèle linéaire d’une probabilité produit des valeurs hors de $[0,1]$ ; la fonction logistique confine la sortie à $(0,1)$ par construction.
• La régression logistique est linéaire dans les log-cotes : $\beta_1$ est la variation des log-cotes par unité de $X$, et $e^{\beta_1}$ le multiplicateur des cotes - non une variation de probabilité.
• L’ajustement maximise la log-vraisemblance, sans forme close, résolue numériquement ; le gradient vaut $\sum(y_i - p_i)$ et $\sum(y_i - p_i)x_i$.
• Notre ajustement a convergé vers $\hat\beta_0 = -2.7700$, $\hat\beta_1 = 1.1447$ : cotes $\times 3.14$ par unité, frontière en $x = 2.4199$.
• La taille du pas compte - $\eta = 0.05$ a amélioré l’ajustement, $\eta = 0.5$ l’a bien empiré.
• Sous séparation parfaite, l’EMV n’existe pas et les coefficients divergent.

La suite

Les deux modes de défaillance que nous venons de voir - des coefficients qui s’emballent sous séparation, et des modèles souples qui poursuivent le bruit - se traitent par la même idée : ajouter une pénalité qui rende les grands coefficients coûteux. C’est La régularisation : ridge et lasso.