Les mondes possibles et les axiomes

Lancez deux dés. Combien de choses différentes peuvent arriver ?

La plupart des gens répondent 21, en comptant des combinaisons : un 2 et un 5, c'est le même lancer qu'un 5 et un 2. La bonne réponse est 36, et l'écart entre ces deux nombres est toute la raison d'être de cette leçon. Dressez mal la liste de ce qui peut arriver, et toutes les probabilités calculées ensuite sont fausses avec elle.

Rien ici ne demande de probabilités que vous n'ayez déjà. Il y a deux règles, et tout le reste de la leçon en est déduit sous vos yeux.

Les mondes possibles

Russell et Norvig présentent les probabilités en termes de mondes possibles : une façon complète dont les choses pourraient tourner. Là où un énoncé logique exclut certains mondes, un énoncé probabiliste dit à quel point chacun est vraisemblable.

Notez l'ensemble de tous ces mondes $\Omega$, la lettre grecque oméga majuscule, appelée l'univers. Un monde particulier est $\omega$, oméga minuscule. Ces mondes doivent être :

• mutuellement exclusifs, c'est-à-dire que deux d'entre eux ne peuvent pas se réaliser ensemble, et
• exhaustifs, c'est-à-dire que l'un d'eux se réalise à coup sûr.

Revenons aux dés. Si vous pouvez distinguer les deux dés, un monde est un couple ordonné : le nombre du premier dé, puis celui du second. Cela donne

$$(1,1),\ (1,2),\ \dots,\ (6,6), \qquad 6 \times 6 = 36 \text{ mondes}.$$

Le compte de 21 traite $(2,5)$ et $(5,2)$ comme un seul monde. Ce sont deux mondes, et les confondre écrase discrètement une différence réelle : une paire mixte comme $\{2,5\}$ est bel et bien deux fois plus probable qu'un double comme $(3,3)$, alors que le modèle à 21 mondes leur donne le même $1/21$. C'est le faux pas le plus courant de la matière, et il se produit avant qu'aucune formule ne soit écrite.

Les deux axiomes

$$0 \le P(\omega) \le 1 \quad\text{pour tout }\omega, \qquad \sum_{\omega \in \Omega} P(\omega) = 1 .$$

Lisez-les en mots. Le premier dit qu'aucun monde n'est moins probable qu'impossible ni plus probable que certain. Le second dit que les probabilités de tous les mondes s'additionnent à un, façon formelle de dire que quelque chose se produit.

C'est là toute la fondation. Si les dés sont équilibrés, alors par symétrie chaque monde porte la même probabilité, et le second axiome impose que cette valeur commune soit $1/36$.

Les événements

Un événement n'est qu'un ensemble de mondes : « la somme vaut 7 » est l'événement qui contient les six mondes $(1,6), (2,5), \dots, (6,1)$. Sa probabilité est la somme sur les mondes qu'il contient :

$$P(a) = \sum_{\omega \in a} P(\omega) .$$

C'est la définition. La règle scolaire, « cas favorables sur cas totaux », n'en est que le cas particulier où tous les mondes se trouvent être équiprobables. Un dé pipé possède encore un modèle de probabilité parfaitement valable ; il attribue simplement des $P(\omega)$ inégaux, et la somme ci-dessus fonctionne toujours.

Démontrer la règle du complémentaire

Voici la première démonstration, et elle tient en deux lignes. Soit $\neg a$ pour « $a$ ne se produit pas ». Les mondes où $a$ est vrai et ceux où $\neg a$ l'est n'ont rien en commun et couvrent ensemble tout $\Omega$. Scinder la somme du second axiome en ces deux groupes donne donc

$$P(a) + P(\neg a) = 1 \quad\Longrightarrow\quad P(\neg a) = 1 - P(a) .$$

Rien n'a été supposé au-delà des axiomes. C'est le schéma de tout ce qui suit : démontrer, ne pas mémoriser.

La règle d’addition

Et pour « $a$ ou $b$ », quand les deux peuvent se produire en même temps ? Additionner leurs probabilités compte deux fois les mondes qu'ils partagent : retranchez donc ce chevauchement exactement une fois :

$$P(a \text{ ou } b) = P(a) + P(b) - P(a \text{ et } b) .$$

Exemple résolu. Tirez une carte parmi 52. Il y a 13 cœurs et 4 rois, donc $P(\text{coeur}) = 13/52$ et $P(\text{roi}) = 4/52$. Exactement une carte est les deux, le roi de cœur, donc

$$P(\text{coeur ou roi}) = \frac{13}{52} + \frac{4}{52} - \frac{1}{52} = \frac{16}{52} = \frac{4}{13} .$$

L'addition naïve donne $17/52$. Comptez les cartes à la main et vous en trouvez 16, pas 17 : le roi de cœur a été compté une fois comme cœur et une fois comme roi.

Comptez-les vous-même. La figure s'ouvre sur cet exemple : toutes les cartes sont dessinées, et le roi de cœur est mis en évidence comme le seul monde que la somme naïve compte deux fois. Changez Événement A et Événement B, ou passez à Deux dés : 36 mondes, et à chaque fois le décompte direct de « A ou B » est confronté à la règle d'addition.

Conditionnement et indépendance

Apprendre que $b$ s'est produit rétrécit l'ensemble des mondes encore en jeu, et la probabilité doit être renormalisée sur ce qui reste. C'est exactement ce qu'est la probabilité conditionnelle :

$$P(a \mid b) = \frac{P(a \text{ et } b)}{P(b)}, \qquad P(b) > 0 .$$

Lisez $P(a \mid b)$ comme « la probabilité de $a$ sachant $b$ ». Le dénominateur est la renormalisation : vous vivez désormais à l'intérieur des mondes où $b$ est vrai. En réarrangeant on obtient la règle de multiplication $P(a \text{ et } b) = P(b)P(a \mid b)$, qui est toujours vraie.

Des événements sont indépendants quand apprendre $b$ ne vous apprend rien sur $a$, c'est-à-dire quand $P(a \mid b) = P(a)$. C'est seulement alors que la règle de multiplication se réduit au familier $P(a)P(b)$.

Vérifiez l’indépendance, ne la supposez jamais. Multiplier des probabilités n’est valable que sous indépendance. Quand une cause commune entraîne de nombreuses issues à la fois, les événements sont fortement dépendants et la multiplication sous-estime gravement la probabilité qu’un grand nombre surviennent ensemble.

Cette dernière phrase n'est pas un détail technique. C'est le mode de défaillance derrière les portefeuilles d'assurance mal tarifés et les pannes système sous-estimées, et vous le retrouverez dans Bayes et le taux de base.

Voyez-le bouger. Remodelez une distribution et observez où se place sa masse : les mêmes axiomes, des images très différentes.

Essayez-le en direct. Échantillonnez deux familles standard, vérifiez leurs moments et regardez le théorème central limite arriver :

Avant le quiz

Assurez-vous de savoir, sans revenir en arrière : compter les mondes pour deux dés et dire pourquoi c'est 36 et non 21, déduire la règle du complémentaire des axiomes, et dire ce que la règle d'addition retranche et pourquoi. Le traitement plus long, avec davantage d'exemples résolus, est dans Les probabilités à partir de zéro.