L’intervalle à 95 % qui couvre 81 % du temps

Un intervalle de confiance à 95 % promet une chose : sur des échantillons répétés, l’intervalle contient le vrai paramètre 95 % du temps. Pour une proportion, cela se vérifie exactement. Il n’y a que $n + 1$ échantillons possibles : on peut donc construire l’intervalle pour chacun, demander s’il contient $p$, et additionner les probabilités binomiales de ceux qui le font. Aucune simulation, aucune approximation.

Faites-le pour l’intervalle standard $\hat{p} \pm 1.96\sqrt{\hat{p}(1-\hat{p})/n}$, à $n = 30$ et $p = 0.10$ :

$$\text{couverture} = 0.8085.$$

Un échantillon sur cinq produit un intervalle qui ne contient pas la vérité. L’intervalle est étiqueté 95 %.

A. Ce n’est pas une réserve sur les petits échantillons

La défense habituelle est que 30 est un petit échantillon. Voici le même calcul sur toute une gamme de situations, avec deux solutions de rechange :

Cent observations d’un événement à 5 % donnent encore 0,8775. Et la dernière ligne mérite d’être notée pour elle-même : à la proportion la plus favorable qui soit, avec cent observations, l’intervalle couvre encore 94,31 % et non 95 %. Il n’est jamais tout à fait juste, et dans le coin de l’espace des paramètres où vivent la plupart des vraies questions - événements rares, échantillons moyens - il n’en est pas près.

B. Plus de données ne corrige pas de façon monotone

La couverture ne monte pas à mesure que $n$ grandit. À $p = 0.10$ :

Passer de 25 observations à 30 fait tomber la couverture de 0,9187 à 0,8085. Passer de 45 à 50 la fait tomber de 0,9356 à 0,8789.

Dans la figure, choisissez 0,10 à côté de vrai p et faites glisser taille d’échantillon n jusqu’à 30 : Couverture à n affiche 80,9 %, soit le 0,8085 ci-dessus.

L’oscillation n’est pas du bruit, car il n’y a pas de bruit ici : chaque entrée est une somme exacte. Elle vient de ce que l’ensemble des $\hat{p}$ atteignables est discret : quand $n$ change, l’un des $n + 1$ résultats possibles franchit la frontière du « contient $p$ » et emporte avec lui toute sa probabilité binomiale. Toute affirmation du type « l’intervalle va bien dès que $n$ est assez grand » doit survivre à ce tableau, et les règles empiriques habituelles ($n\hat{p} > 5$, etc.) n’y survivent pas.

C. Le cas dégénéré

Prenez $n = 40$ et $p = 0.001$. La couverture de l’intervalle standard vaut

$$0.0392.$$

Un intervalle à 95 % qui contient la vérité dans 4 % des échantillons. Le mécanisme est immédiat : $P(k = 0) = 0.9608$, et lorsque $k = 0$ l’estimation est $\hat{p} = 0$, l’erreur type vaut $\sqrt{0 \cdot 1 / n} = 0$, et l’intervalle est le point unique $[0, 0]$, qui ne contient pas $0.001$. La formule affiche une certitude parfaite exactement là où elle n’a rien vu.

C’est le cas qui se présente en production : la panne rare, le clic rare, l’effet indésirable rare.

D. Que faire à la place

Les deux solutions du tableau tiennent en une ligne et n’exigent aucune idée nouvelle.

• Wilson. Inversez le test plutôt que l’estimation : gardez les valeurs de $p$ que les données ne rejetteraient pas. L’intervalle n’est plus centré sur $\hat{p}$ et ne se réduit jamais à un point.
• Agresti-Coull. Ajoutez deux succès et deux échecs, puis appliquez la formule ordinaire aux effectifs ajustés. C’est l’intervalle de Wald avec l’estimation éloignée du bord, et dans le tableau ci-dessus c’est le plus conservateur des deux.

La leçon générale est celle que le calcul exact rend disponible : la couverture se calcule, donc calculez-la. Pour une proportion, c’est une somme finie. Pour tout le reste, simuler la loi d’échantillonnage et compter combien de fois l’intervalle contient la valeur qui a servi à générer les données prend quelques lignes, et c’est le seul moyen de savoir si le nombre sur l’étiquette est celui que vous obtenez.