Leo Breiman

A créé le bagging et les forêts aléatoires, et formalisé les arbres de décision.

Biographie

Statisticien américain passé de l’université au conseil avant de revenir à Berkeley. Il défendit avec force l’idée que l’exactitude prédictive, évaluée honnêtement hors échantillon, méritait une place aux côtés de l’inférence classique fondée sur des modèles.

Contributions clés

• A coécrit Classification and Regression Trees (1984), formalisant l’induction et l’élagage des arbres.
• A introduit le bagging, réduisant la variance en moyennant des modèles ajustés sur des rééchantillons bootstrap (1996).
• A développé les forêts aléatoires, décorrélant les arbres baggés en restreignant les variables à chaque division.

Impact

Les forêts aléatoires restent l’une des méthodes généralistes les plus solides sur données tabulaires, et le principe d’ensemble qu’il a établi sous-tend aussi le gradient boosting.