Le paramètre que personne ne choisit

Le monde en grille standard fait quatre cases sur trois, avec un mur en (2,2), un but valant +1 en (4,3) et un puits valant -1 en (4,2). Chaque action déplace l’agent comme prévu avec une probabilité de 0,8 et de côté avec une probabilité de 0,1 de chaque côté ; heurter un mur le laisse sur place. Le facteur d’actualisation vaut 1.

Et quelque part dans la spécification, généralement dans une phrase sur laquelle personne ne s’arrête, figure une récompense de survie : chaque case non terminale rapporte $R$ par pas, typiquement $-0.04$. Elle est là pour rendre la lenteur coûteuse. Elle n’est pas présentée comme un choix de modélisation, parce qu’elle n’en a pas l’air.

C’est le nombre le plus lourd de conséquences du problème.

A. Huit seuils

Résolvez le monde pour chaque $R$ entre $-3$ et $0$ et la politique optimale ne dérive pas. Elle reste immobile, change dans une case, puis reste de nouveau immobile. En bissectant chaque changement jusqu’à six décimales :

Neuf politiques optimales distinctes sur cet intervalle, séparées par huit nombres, et chacun des chiffres ci-dessus a été calculé deux fois : par itération sur les politiques, où chaque évaluation est une résolution linéaire exacte, et par itération sur les valeurs poussée jusqu’à une tolérance de $10^{-14}$. Les deux méthodes s’accordent sur chaque politique et sur chaque utilité à $9 \times 10^{-14}$ près.

B. La valeur classique est à 0,0048 d’une falaise

Regardez la ligne en gras. À $R = -0.04$, l’agent placé en (3,1), en diagonale sous le puits et à sa gauche, va à gauche : le long chemin, par le bas puis en remontant le côté opposé, sans jamais poser le pied sur une case voisine du puits. C’est la politique imprimée dans tous les manuels, et celle dont l’intuition de chacun tire sa compréhension de ce monde.

À $R = -0.05$, il va en haut : sur (3,2), la case juste à gauche du puits, en prenant la route courte et en acceptant un risque réel d’être poussé de côté dans le $-1$.

La bascule se situe à $R = -0.044833$. Le réglage canonique est à $0.004833$ au-dessus. Une récompense de survie de $-0.04$ et une de $-0.05$ relèvent du même choix pour qui que ce soit, et elles produisent deux récits différents de ce que fait un agent rationnel dans ce monde.

Les utilités, elles, évoluent continûment : $U(1,1)$ vaut $0.705308$ à $R = -0.04$, $-1.600186$ à $R = -0.4$ et $-10.815340$ à $R = -2$. C’est la politique, c’est-à-dire ce que vous déployez réellement, qui est une fonction en escalier.

C. Deux politiques qui ressemblent à des bogues

Au-dessus de -0,022145, l’agent fonce volontairement dans un mur. Pour toute récompense de survie entre $-0.022145$ et $0$, les pas les moins chers de tout l’intervalle, l’action optimale en (4,1), le coin inférieur droit, est bas. Il n’y a rien en dessous ; le mouvement heurte le sol et l’agent reste sur place avec une probabilité de 0,8, glissant de côté avec 0,1 de chaque côté, dont l’un heurte également un mur.

Ce n’est pas un bogue. La case juste au-dessus de (4,1) est le puits. Quand le temps ne coûte presque rien, la chose la moins chère à faire dans ce coin est de ne rien faire, et l’action qui réalise le mieux ce rien est de pousser contre le sol. Tout mouvement délibéré risque de dériver vers le haut, dans le $-1$.

À l’autre extrémité, l’agent plonge dans le puits. Pour $R < -1.649707$, l’action optimale en (3,2) est d’aller à droite, directement dans le terminal $-1$. Dès qu’un pas supplémentaire coûte plus de 1,649707, la sortie la plus rapide l’emporte, et le puits est la sortie la plus proche. $U(1,1) = -10.815340$ à $R = -2$ : l’agent n’est pas confus, il est dans un monde où exister coûte cher.

Les deux comportements sont une optimisation correcte. Les deux seraient signalés comme des bogues par quiconque n’aurait pas regardé la récompense de survie, et ni l’un ni l’autre ne se corrige en changeant d’algorithme.

D. Que faire

Les conséquences pratiques sont courtes et précises.

• Balayez le paramètre que vous ne pensiez pas choisir. Neuf politiques sur un intervalle n’a rien d’exotique ; c’est l’allure d’un argmax constant par morceaux. Le balayage est bon marché : chaque résolution ici est un système linéaire $11 \times 11$.
• Rapportez l’intervalle, pas le point. « La politique optimale pour $-0.0448 < R < -0.0274$ » est une affirmation qui survit à un arrondi de la récompense de survie. « La politique optimale pour $R = -0.04$ » porte sur un seul nombre, et c’est l’énoncé le plus faible bien qu’il paraisse plus précis.
• Une récompense réglée est un paramètre ajusté. Retoucher un coût de pas jusqu’à ce que l’agent fasse ce qu’il faut, c’est de l’ajustement, et la valeur obtenue hérite de toutes les réserves qui accompagnent un paramètre ajusté. En particulier, elle ne devrait pas ensuite être présentée comme une propriété de l’environnement.
• Vérifiez les deux bords de l’intervalle auquel vous croyez. Si votre conviction est « le temps coûte un peu, quelques pour cent par pas », résolvez aux deux bouts de « quelques pour cent ». Ici, cet intervalle contient trois seuils.

La version profonde du propos est que la fonction de récompense n’est pas une description du monde. Elle est la spécification complète de ce à quoi sert l’agent, et une de ses pièces écrite une fois dans un fichier de configuration, jamais relue, jamais variée, pèse plus lourd que tout ce sur quoi l’on discute.