A Mathematical Theory of Communication

Résumé

Définit quantitativement l’information, introduit l’entropie comme mesure de l’incertitude d’une source, et démontre des limites à la compression sans perte et à la transmission fiable sur un canal bruité.

Pourquoi c’est important

Il a fondé la théorie de l’information purement et simplement. L’entropie, définie ici, est aujourd’hui l’unité dans laquelle se mesure l’incertitude en statistique et en apprentissage automatique : c’est ce que le gain d’information réduit quand un arbre de décision se divise, et ce que l’entropie croisée généralise quand la distribution prédite d’un modèle est confrontée à la réalité.