Les probabilités à partir de zéro : le langage de l’incertitude

Presque toutes les idées de ce site reposent en fin de compte sur une seule phrase : nous ne savons pas ce qui va se produire, mais nous pouvons dire à quel point chaque issue est vraisemblable. Cet article rend cette phrase précise. Nous construisons les probabilités à partir de deux axiomes, nous démontrons les règles familières au lieu de les supposer, et nous terminons avec les outils nécessaires à tous les articles suivants de cette série.

Rien ici n’est admis sur parole. Chaque règle ci-dessous est démontrée à partir des deux axiomes : à la fin, vous saurez non seulement ce que disent les formules, mais pourquoi elles sont nécessairement vraies.

A. Mondes possibles et univers

Russell & Norvig présentent les probabilités en termes de mondes possibles. Une assertion probabiliste indique à quel point chaque monde est vraisemblable, là où une assertion logique se contenterait de dire quels mondes sont exclus.

L’ensemble de tous les mondes possibles est l’univers, noté $\Omega$ (oméga majuscule). Un monde particulier se note $\omega$. Deux propriétés le définissent :

• Les mondes sont mutuellement exclusifs - deux d’entre eux ne peuvent pas être réalisés en même temps.
• Les mondes sont exhaustifs - l’un d’eux doit nécessairement être réalisé.

Pour un unique lancer d’un dé ordinaire, l’univers est

$$\Omega = \{1, 2, 3, 4, 5, 6\}.$$

Pour un lancer de deux dés distinguables, il y a 36 mondes possibles : $(1,1), (1,2), \dots, (6,6)$. Cela mérite qu’on s’y arrête, car c’est sur ce dénombrement que les débutants se trompent le plus souvent : les mondes sont des couples ordonnés, donc $(2,5)$ et $(5,2)$ sont deux mondes différents, et non un seul.

Un modèle de probabilité attribue un nombre $P(\omega)$ à chaque monde possible.

B. Les deux axiomes

Tout découle de deux exigences sur cette attribution :

$$0 \le P(\omega) \le 1 \quad \text{pour tout } \omega, \qquad\text{et}\qquad \sum_{\omega \in \Omega} P(\omega) = 1 .$$

Autrement dit : aucune probabilité n’est négative ni supérieure à un, et les probabilités de tous les mondes possibles totalisent exactement un - il faut bien que quelque chose se produise.

Voilà toute la fondation. Ces axiomes remontent aux Fondements de la théorie des probabilités de Kolmogorov (1950), et toutes les formules du reste de cet article en sont des conséquences.

Si les deux dés sont équilibrés et n’interfèrent pas l’un avec l’autre, la symétrie impose que chacun des 36 mondes porte la même probabilité ; comme leur somme doit valoir 1, chacun vaut $1/36$.

C. Événements : des mondes aux propositions

Nous nous intéressons rarement à un monde isolé. Nous nous intéressons à une proposition telle que « le résultat est pair ». Un événement est l’ensemble des mondes où la proposition est vraie, et sa probabilité est la somme de leurs probabilités :

$$P(a) = \sum_{\omega \in a} P(\omega).$$

Pour un dé équilibré et $a =$ « pair » $= \{2, 4, 6\}$ :

$$P(a) = \tfrac{1}{6} + \tfrac{1}{6} + \tfrac{1}{6} = \tfrac{3}{6} = 0.5 .$$

Pourquoi « cas favorables sur cas totaux » est un cas particulier, et non la définition. Compter les issues et diviser ne fonctionne que si tous les mondes sont équiprobables. Un dé pipé possède un modèle de probabilité parfaitement valable ; il attribue simplement des $P(\omega)$ inégaux. La somme ci-dessus est la véritable définition et s’applique toujours.

D. Démontrer la règle du complémentaire

Voici la machinerie à l’œuvre. Les mondes où $a$ est vrai et ceux où $\neg a$ (« non $a$ ») est vrai sont disjoints, et réunis ils forment tout $\Omega$. En scindant la somme du second axiome :

$$\sum_{\omega \in a} P(\omega) \;+\; \sum_{\omega \in \neg a} P(\omega) = \sum_{\omega \in \Omega} P(\omega) = 1 ,$$

ce qui est exactement

$$P(a) + P(\neg a) = 1 \quad\Longrightarrow\quad P(\neg a) = 1 - P(a).$$

Si un modèle attribue à un événement la probabilité $0.05$, sa non-réalisation a la probabilité $0.95$ - et vous le savez désormais comme un théorème, non comme une intuition.

E. La règle d’addition, et le piège qu’elle évite

Pour deux événements qui peuvent se chevaucher, additionner les probabilités compte deux fois les mondes communs. Retrancher le chevauchement exactement une fois donne

$$P(a \text{ ou } b) = P(a) + P(b) - P(a \text{ et } b).$$

Exemple résolu. On tire une carte d’un jeu standard de 52 cartes. Soit $a$ = « c’est un cœur » et $b$ = « c’est un roi ».

• $P(a) = 13/52$ - treize cœurs.
• $P(b) = 4/52$ - quatre rois.
• $P(a \text{ et } b) = 1/52$ - exactement un roi de cœur.

$$P(a \text{ ou } b) = \frac{13}{52} + \frac{4}{52} - \frac{1}{52} = \frac{16}{52} = \frac{4}{13} \approx 0.3077 .$$

L’addition naïve aurait donné $17/52 \approx 0.3269$, en comptant deux fois le roi de cœur. Le terme de chevauchement n’est pas un détail technique : c’est la différence entre une bonne et une mauvaise réponse.

F. Probabilité conditionnelle

Apprendre quelque chose change ce que nous devons attendre. La probabilité de $a$ sachant que $b$ est réalisé est définie par

$$P(a \mid b) = \frac{P(a \text{ et } b)}{P(b)}, \qquad P(b) > 0 .$$

L’intuition : on restreint l’attention aux mondes où $b$ est vrai, puis on demande quelle fraction de cet ensemble restreint vérifie aussi $a$. La division par $P(b)$ est ce qui renormalise l’ensemble restreint pour que sa probabilité totale revienne à 1.

En réarrangeant, on obtient la règle de multiplication :

$$P(a \text{ et } b) = P(b)\, P(a \mid b).$$

Exemple résolu. Dans une population, 10 % des membres appartiennent à un groupe à haut risque. Au sein de ce groupe, un événement survient avec une probabilité de 20 %. La probabilité qu’un membre choisi au hasard soit à la fois à haut risque et subisse l’événement vaut

$$P(\text{haut risque et événement}) = 0.10 \times 0.20 = 0.02 ,$$

soit 2 % de la population entière.

G. Indépendance, et pourquoi elle se mérite

Deux événements sont indépendants lorsque connaître l’un n’apprend rien sur l’autre - formellement, lorsque $P(a \mid b) = P(a)$. En substituant dans la règle de multiplication, celle-ci se réduit à la version dont tout le monde se souvient :

$$P(a \text{ et } b) = P(a)\,P(b) \qquad \text{(événements indépendants uniquement).}$$

Pour deux événements réellement sans lien, chacun de probabilité $0.03$, la chance que les deux surviennent vaut $0.03 \times 0.03 = 0.0009$, soit $0.09\%$.

L’erreur la plus coûteuse en probabilités appliquées. Multiplier des probabilités n’est valable que sous l’hypothèse d’indépendance. Lorsqu’une cause commune entraîne de nombreuses issues à la fois - un mode de défaillance partagé, un choc affectant tout un marché, une unique dépendance en amont - les événements sont fortement dépendants, et la multiplication sous-estime radicalement la probabilité qu’un grand nombre d’entre eux surviennent ensemble. L’indépendance est une hypothèse à vérifier face au processus qui engendre les données, jamais un acquis gratuit.

H. Vérifier l’arithmétique des dés et des cartes

Les nombres ci-dessus sont assez petits pour être vérifiés par énumération exhaustive, ce qu’il vaut la peine de faire une fois afin de faire confiance aux règles plutôt qu’à l’arithmétique :

L’exécution affiche 16 16 4/13 : l’union comptée directement et l’union calculée par la règle d’addition coïncident exactement, et la probabilité est bien le $4/13$ démontré plus haut.

À retenir

• Un modèle de probabilité est un univers $\Omega$ de mondes possibles mutuellement exclusifs et exhaustifs, chacun portant une probabilité.
• Les deux axiomes sont que les probabilités appartiennent à $[0, 1]$ et qu’elles somment à 1 sur $\Omega$. Tout le reste en est déduit.
• La probabilité d’un événement est la somme sur les mondes où il est réalisé ; c’est la définition, et « favorables sur total » n’en est que le cas particulier équiprobable.
• Le « ou » exige la règle d’addition avec le chevauchement retranché ; le « et » exige la règle de multiplication avec une probabilité conditionnelle.
• L’indépendance est le cas particulier où le conditionnement ne change rien. Elle doit être vérifiée, jamais supposée.

La suite

La probabilité conditionnelle a une conséquence bien plus utile qu’il n’y paraît d’abord : elle peut être inversée, ce qui permet de transformer « comment se comporte l’indice sachant une cause » en « quelle est la vraisemblance de la cause sachant l’indice ». Cette inversion, c’est le théorème de Bayes, et il produit des résultats qui surprennent immanquablement. C’est le sujet de Le théorème de Bayes et la mise à jour des croyances.