Claude E. Shannon

A fondé la théorie de l’information et défini l’entropie comme mesure de l’incertitude.

Biographie

Mathématicien et ingénieur américain dont l’article de 1948 créa la théorie de l’information sous une forme essentiellement complète, donnant des limites précises à la compression et à la communication fiable sur des canaux bruités. Il écrivit aussi l’un des premiers traitements sérieux des échecs par ordinateur.

Contributions clés

• A Mathematical Theory of Communication (1948), qui définit l’entropie et les limites du codage.
• Le théorème du codage de source, établissant l’entropie comme plancher de la compression sans perte.
• Une formulation précoce des échecs par ordinateur fondée sur la recherche dans l’arbre de jeu avec évaluation heuristique.

Impact

L’entropie est l’unité dans laquelle se mesure l’incertitude en apprentissage automatique : le gain d’information dans les arbres de décision et la perte d’entropie croisée descendent tous deux directement de ce travail.