La puissance et la malédiction du vainqueur

Deux expériences portent sur la même fonctionnalité. La première compte 14 751 utilisateurs par bras, trouve une hausse de 1,0 point et déploie. La seconde en compte 2 000, trouve une hausse de 2,4 points et déploie avec enthousiasme.

La seconde équipe est plus enthousiaste et plus dans l’erreur, et la raison relève de l’arithmétique plutôt que de la malchance.

Dimensionner le test

Supposons un taux de conversion de 10 % et une amélioration d’un point qui vous intéresserait. La taille par bras nécessaire pour avoir 80 % de chances de la détecter, au seuil habituel de 5 %, vaut

$$n \approx \frac{\left(z_{\alpha/2}\sqrt{2\bar{p}(1-\bar{p})} + z_{\beta}\sqrt{p_1(1-p_1)+p_2(1-p_2)}\right)^2}{(p_2-p_1)^2}$$

soit 14 751 par bras. La forme qui compte est au dénominateur : l’effet est au carré.

Diviser l’effet par deux multiplie le trafic par 3,9. L’écart-type décroît en $1/\sqrt{n}$ : résoudre un effet deux fois plus petit exige de diviser l’erreur par deux, ce qui demande quatre fois les données.

Ce seul fait réorganise la planification. La question n’est jamais « y a-t-il un effet » : il y a presque toujours un effet. La question est quel est le plus petit effet qui vaille la peine d’être détecté, car ce nombre fixe le coût de tout le test, et il revient à celui qui agira sur le résultat d’y répondre.

Ce que rapporte un test trop petit

Passons à la version sous-dimensionnée : 2 000 utilisateurs par bras, face à la même hausse réelle d’un point. Sa puissance est de 17,8 % : elle rate quatre fois sur cinq. Cette partie est attendue et n’est pas le problème.

Le problème est ce qui se produit sur les tirages qui atteignent la significativité. Sur 20 000 expériences simulées, l’effet mesuré moyen parmi les significatives vaut 2,38 fois la vérité. Et 0,8 % d’entre elles sont significatives dans le mauvais sens.

L’estimateur n’a rien de fautif. Moyenné sur les 20 000 tirages il est sans biais : l’estimation moyenne est l’effet réel. Ce qui est biaisé, c’est la moyenne sur le sous-ensemble qui a franchi un filtre, et ce filtre est « l’estimation était assez grande pour dépasser le seuil ». À faible puissance, dépasser le seuil exige que le bruit ait aidé.

C’est la malédiction du vainqueur, et c’est pourquoi un résultat enthousiasmant issu d’un petit test rétrécit si fidèlement quand on le reproduit à grande échelle.

La figure ci-dessous calcule tout cela en forme close plutôt que par simulation : l'exagération bouge donc continûment quand vous faites glisser la taille d'échantillon. Elle s'ouvre sur le test trop petit : 2 000 par groupe, 17,8 % de puissance, des gagnants qui surestiment la vérité d'un facteur 2,39, et 0,8 % d'entre eux significatifs à l'envers. Remontez le curseur jusqu'à 14 751 et deux choses arrivent ensemble. L'exagération s'effondre vers un, et la puissance affichée revient exactement à 80,0 % : la formule de dimensionnement et ce calcul s'accordent sur le même seuil.

Pourquoi « préliminaire » n’est pas une défense

La réponse habituelle consiste à qualifier le petit test de préliminaire et à traiter son chiffre comme indicatif. Cela ne fonctionne pas, pour une raison qui mérite d’être dite franchement.

Une expérience sous-dimensionnée n’est pas une version bruitée d’une bonne expérience. C’est une machine qui, chaque fois qu’elle parle, parle avec un nombre gravement gonflé et un intervalle de confiance d’apparence parfaitement saine autour. L’intervalle est correct au sens où il couvrirait la vérité 95 % du temps sur l’ensemble des tirages, mais vous ne regardez pas l’ensemble des tirages : vous regardez ceux qui étaient assez intéressants pour être rapportés.

La séquence est donc fixée :

1. décider du plus petit effet sur lequel on agirait, avec celui qui agira
2. calculer la taille d’échantillon qui le détecte
3. si le trafic n’existe pas, attendre, élargir la population, réduire la variance (troisième leçon), ou ne pas lancer le test

Ne pas lancer un test est une issue légitime. En lancer un qui ne peut que tromper ne l’est pas.

Une note sur l’autre direction

La puissance est symétrique d’une façon qu’on oublie. Un test de puissance 17,8 % qui ne trouve rien ne vous a presque rien appris : l’absence de résultat significatif est parfaitement compatible avec l’effet que vous espériez. Rapporter cela comme « pas d’effet » est la même erreur en sens inverse.

Le compte rendu honnête d’un résultat nul est l’intervalle de confiance. « La hausse valait 0,2 point, intervalle à 95 % de −1,7 à 2,1 » dit clairement que l’expérience n’a pas su distinguer un gain important d’une perte importante. « Pas de différence significative » masque tout cela.

Ce que cela prépare

Bien dimensionner protège d’un mode de défaillance. La leçon suivante traite de celui qui survit à n’importe quelle taille d’échantillon : une expérience consultée à répétition, ou lue sur assez de métriques, finit par produire un vainqueur même quand il ne se passe strictement rien.