Étiquetés « optimization »

3 articles.

14 septembre 20265 min de lectureRéseaux de neurones

La direction la plus lente impose le rythme

Le pas que vous avez le droit de prendre est fixé par la direction la plus raide et le nombre de pas nécessaires par la plus plate : le coût de la descente de gradient est donc leur rapport. Le même ajustement des moindres carrés, aux mêmes dix décimales, demande 1742 pas dans une base, 147 dans une base remise à l’échelle et exactement 1 dans une base orthonormée, et l’inertie ne rachète que la racine carrée du rapport.

Apprentissage automatiqueMathématiques

14 septembre 20265 min de lectureRecherche et jeux

Le correctif qui a changé le taux de succès bien plus que le coût

Autoriser les déplacements latéraux fait passer l’escalade sur les 8 reines de 14,75 % de parties résolues à 94,55 %, ce qui se lit comme une amélioration d’un facteur six et n’en est pas une : avec redémarrages aléatoires, le coût attendu d’une solution passe de 21,9 à 23,1 pas, et, compté en coups évalués, il baisse de 16 %, de 1 547 à 1 298. Le recuit simulé résout 98,8 % et coûte 1 622 évaluations. Ce qui a changé, c’est surtout la statistique, pas le travail.

Intelligence artificielle

13 septembre 202611 min de lectureRéseaux de neurones

Ce qui fait vraiment converger un entraînement

Deux pour cent d’écart sur le taux d’apprentissage séparent une exécution convergée d’une autre à cinq ordres de grandeur, un conditionnement prédit le taux de convergence à six décimales, et la descente de gradient stochastique à pas fixe ne converge jamais - elle se stabilise dans une boule dont le rayon croît comme la racine carrée du pas. Chaque chiffre a été calculé sur un problème dont l’optimum exact est connu.

OptimisationApprentissage profondApprentissage automatique