Modifiez deux distributions côte à côte et lisez l’entropie, l’entropie croisée et la divergence KL en bits, avec l’identité H(p, q) = H(p) + KL(p ‖ q) affichée en permanence.
Tout est en bits (base 2).
H(p, q) = H(p) + KL(p ‖ q) → 1.7370 = 1.0000 + 0.7370
Maximum pour 2 issues : 1.0000 bits
L’entropie est maximale quand toutes les issues sont équiprobables et tombe à zéro dès qu’une issue est certaine. L’entropie croisée est ce qu’un modèle apprend à minimiser ; elle se décompose exactement en l’entropie des données - qu’aucun modèle ne peut supprimer - plus la divergence KL, la part due au fait de croire la mauvaise distribution.
Fonctionne entièrement dans votre navigateur. Rien de ce que vous saisissez n’est envoyé ni conservé.
Mesurer l’incertitude en bits : l’entropie de Shannon et pourquoi le logarithme est en base 2, le gain d’information déroulé sur une division, et comment l’entropie croisée et la divergence de Kullback-Leibler se rattachent à l’entropie et aux fonctions de perte qui entraînent les classifieurs.
Comment la division binaire récursive construit un arbre, pourquoi l’indice de Gini bat le taux d’erreur comme critère de division, et comment le bagging et les forêts aléatoires transforment un apprenant à forte variance en un apprenant puissant, avec l’arithmétique d’une division déroulée.