Optimisation pour l’apprentissage
Tous les modèles de ce site sont ajustés par la même boucle : regarder la pente, faire un pas. Ce qui décide si cette boucle converge en quarante pas ou diverge en trois n’est pas le modèle - c’est la courbure, le bruit et la taille du pas. Les trois se mesurent avant la première époque.
Connectez-vous pour passer les quiz, gagner des XP et débloquer les étapes en atteignant 90% de maîtrise.
Le pas, et le bord de la stabilité
25 min · 100 XPCe qu’un pas de gradient minimise, pourquoi un gradient sur mini-lot est le gradient complet plus du bruit et non un gradient différent, et la taille de pas exacte au-delà de laquelle la descente cesse de descendre.
Ouvrir la leçon →Connectez-vous pour passer le quiz de 3 questions.
La courbure, et ce qu’achète l’inertie
25 min · 100 XPLe conditionnement est le seul nombre qui prédit la lenteur de la descente simple, et l’inertie fait passer cette prédiction de κ à √κ - une affirmation assez précise pour être vérifiée à six décimales.
Ouvrir la leçon →Connectez-vous pour passer le quiz de 3 questions.
Bruit, calendriers de pas et méthodes adaptatives
25 min · 100 XPLa descente de gradient stochastique à pas fixe ne converge pas : elle se stabilise dans une boule dont le rayon croît en √η. Décroître le pas supprime ce plancher ; Adam remet chaque coordonnée à l’échelle ; et sur une exécution assez longue, la méthode la plus rapide est celle qui finit dernière.
Ouvrir la leçon →Connectez-vous pour passer le quiz de 3 questions.