Bruit, calendriers de pas et méthodes adaptatives

Name: Bruit, calendriers de pas et méthodes adaptatives
Duration: 218 s
Description: Une trajectoire SGD s’enroulant dans un nuage visible autour de l’optimum, le nuage ne rétrécissant que de 30 % quand le pas est divisé par deux, puis se refermant en un point dès que le pas décroît - et une course à trois où le premier en tête finit dernier.

La descente de gradient stochastique à pas fixe ne converge pas : elle se stabilise dans une boule dont le rayon croît en √η. Décroître le pas supprime ce plancher ; Adam remet chaque coordonnée à l’échelle ; et sur une exécution assez longue, la méthode la plus rapide est celle qui finit dernière.

IntermédiaireModule 325 min · 100 XP

Une trajectoire SGD s’enroulant dans un nuage visible autour de l’optimum, le nuage ne rétrécissant que de 30 % quand le pas est divisé par deux, puis se refermant en un point dès que le pas décroît - et une course à trois où le premier en tête finit dernier.

Ceci est une leçon premium

Connectez-vous et inscrivez-vous pour lire la leçon complète, exécuter le code, passer le quiz et gagner des XP pour le badge du parcours.

Se connecter Créer un compte

← Retour à Optimisation pour l’apprentissage