Mathématiques
La machinerie mathématique sur laquelle tourne tout algorithme d’apprentissage : algèbre linéaire, calcul différentiel, et la géométrie qui fait que les données en grande dimension se comportent autrement que ne le prédit l’intuition.
Parcours (9)
Fondements des probabilités et de la statistique
Raisonner rigoureusement sur l'incertitude, puis aborder le problème central de l'apprentissage : séparer l'erreur que l'on peut supprimer de celle que l'on ne peut pas.
Logique et représentation des connaissances
L’autre tradition de l’intelligence artificielle : représenter ce qu’un système sait par des phrases vraies ou fausses, et en dériver ce qui doit suivre - avec des garanties qu’un modèle appris ne peut pas offrir.
Recherche et heuristiques
La plus ancienne idée qui fonctionne en intelligence artificielle : décrire un problème par des états et des actions, puis laisser une exploration systématique trouver le chemin. La stratégie retenue décide si la réponse est optimale, et si la mémoire s’épuise avant qu’elle n’arrive.
Apprentissage non supervisé
Trouver de la structure dans des données sans réponse à prédire, et en assumer la conséquence : sans y il n'y a pas d'erreur hors échantillon, et chaque choix doit donc être défendu autrement.
Machines à vecteurs de support
Classer en choisissant la bande la plus large qui sépare deux classes, puis l’assouplir pour que quelques points puissent s’y installer, et enfin la courber sans jamais construire l’espace dans lequel elle se courbe.
Au-delà de la linéarité
Gardez les moindres carrés et changez ce sur quoi vous régressez : des fonctions de base fixées achètent de la courbure, des contraintes achètent de la régularité, et une pénalité achète une courbe qui choisit elle-même sa souplesse.
Optimisation pour l’apprentissage
Tous les modèles de ce site sont ajustés par la même boucle : regarder la pente, faire un pas. Ce qui décide si cette boucle converge en quarante pas ou diverge en trois n’est pas le modèle - c’est la courbure, le bruit et la taille du pas. Les trois se mesurent avant la première époque.
Theorie statistique de l'apprentissage
Pourquoi ajuster un echantillon vous apprend quoi que ce soit sur le monde dont il provient, ce que mesure reellement la capacite d'une classe de modeles, et le theoreme selon lequel aucune methode n'est la meilleure partout - avec ce que ce theoreme ne dit pas.
Théorie de l’information
Le seul endroit du domaine où une borne est atteinte exactement : l’entropie est la longueur minimale d’un code, le meilleur code l’atteint, et le supplément payé pour la mauvaise distribution est la fonction de perte que vous entraînez déjà.
Encyclopédie (16)
Descente de gradient
Un algorithme d’optimisation itératif qui minimise une fonction en avançant de façon répétée dans la direction opposée à son gradient.
Descente de gradient stochastique
Une descente de gradient où chaque pas utilise le gradient d’un petit échantillon aléatoire des données plutôt que de leur totalité, échangeant une direction exacte contre bien plus de pas par unité de calcul.
Conditionnement
Le rapport entre la plus grande et la plus petite courbure d’une surface de perte, qui détermine à lui seul la vitesse à laquelle la descente de gradient peut y converger.
Rétropropagation
L’algorithme qui calcule le gradient de la perte d’un réseau de neurones par rapport à chaque poids, en appliquant la règle de dérivation en chaîne à rebours à travers le réseau.
Spline
Un polynôme par morceaux raccordé en des points choisis appelés nœuds, contraint de sorte que la fonction et ses dérivées d’ordre inférieur y restent continues, ce qui donne une souplesse locale sans le comportement sauvage d’un polynôme de haut degré.
Machine à vecteurs de support
Un classifieur qui sépare les classes par la frontière laissant la plus large marge possible, déterminée par les seuls points d’entraînement les plus proches.
Analyse en composantes principales
Une technique qui réexprime les données dans de nouvelles coordonnées non corrélées, ordonnées selon la variance que chacune explique, permettant de réduire la dimension en ne gardant que les premières.
Dimension de Vapnik-Chervonenkis
La taille du plus grand ensemble de points qu'une famille de classifieurs peut etiqueter de toutes les facons possibles. Elle mesure la capacite par ce qu'une classe sait faire plutot que par le nombre de ses membres, ce qui la rend utilisable pour des familles infinies.
Apprentissage PAC
Une definition de l'apprenabilite ou un algorithme doit renvoyer, avec forte probabilite, une hypothese dont l'erreur vraie reste dans une tolerance choisie - en utilisant un nombre d'echantillons borne a l'avance plutot que decouvert apres coup.
Divergence de Kullback-Leibler
Le nombre de bits supplémentaires payés par symbole pour décrire une distribution avec un code construit pour une autre. Elle est nulle seulement quand les deux coïncident, jamais négative, et non symétrique : c’est un coût plutôt qu’une distance.
Information mutuelle
Le nombre de bits que l’observation d’une variable vous apprend sur une autre. Elle est nulle exactement quand les deux sont indépendantes, elle capte une dépendance de n’importe quelle forme et non seulement linéaire, et rien calculé en aval ne peut l’augmenter.
Filtre de Kalman
L’algorithme de filtrage exact pour un état continu qui évolue linéairement avec un bruit gaussien et qui est mesuré linéairement avec un bruit gaussien, la croyance entière tenant dans une moyenne et une variance.
Softmax
Une fonction qui transforme un vecteur de scores réels en distribution de probabilité en exponentiant chaque score et en divisant par le total, ce qui préserve leur ordre tout en les rendant positifs et de somme un.
A priori conjugué
Un a priori choisi pour que l’a posteriori appartienne à la même famille, ce qui réduit la mise à jour bayésienne à de l’arithmétique sur les paramètres et rend l’a priori lisible comme un nombre d’observations imaginaires.
Équation de Bellman
La condition de cohérence selon laquelle l’utilité d’un état égale sa récompense immédiate plus la valeur actualisée de la meilleure action disponible, moyennée sur les issues que cette action ne contrôle pas.
Cohérence d’arc
Une propriété d’un problème de contraintes où chaque valeur de chaque domaine possède au moins une valeur de soutien dans chaque domaine voisin, et l’algorithme qui l’impose en supprimant celles qui n’en ont pas.
Articles (17)
Quelle mauvaise loi voulez-vous ?
Une cible bimodale, une gaussienne, et deux directions de la même divergence. Minimiser KL(P||Q) étale la gaussienne sur les deux modes avec presque aucune masse là où la cible se trouve réellement ; minimiser KL(Q||P) la pose sur un mode, à 0,6931 nats, soit ln 2 à quatre décimales, et ce n’est pas une coïncidence. Chaque ajustement est jugé catastrophique par l’autre critère, 2,0976 contre 15,2799.
Les deux variables qui ressemblent à du bruit
Une variable qui en détermine une autre avec une corrélation d’exactement 0,0000000000, et un couple de variables dont chaque information mutuelle par paire avec la cible vaut exactement zéro alors que les deux ensemble la déterminent entièrement. Le filtrage univarié écarte les deux, et le second cas est celui qui compte : les variables qu’il supprime le sont parce qu’elles comptent.
Le théorème qui ne dit rien de votre problème
Moyenné sur les 256 fonctions de trois bits vers un, un apprenant par plus proche voisin et un apprenant construit pour se tromper exprès obtiennent tous deux exactement 0,500000 hors échantillon d’apprentissage. C’est le théorème du « pas de repas gratuit », il est exactement vrai, et dès que la moyenne est restreinte aux six fonctions qui dépendent d’un seul bit, les deux se séparent à 0,333333 et 0,666667.
La direction la plus lente impose le rythme
Le pas que vous avez le droit de prendre est fixé par la direction la plus raide et le nombre de pas nécessaires par la plus plate : le coût de la descente de gradient est donc leur rapport. Le même ajustement des moindres carrés, aux mêmes dix décimales, demande 1742 pas dans une base, 147 dans une base remise à l’échelle et exactement 1 dans une base orthonormée, et l’inertie ne rachète que la racine carrée du rapport.
Un paramètre, une capacité infinie
Un classifieur à un seul paramètre réel réalise les 1 048 576 étiquetages de vingt points, à chaque fois, et prédit un vingt et unième avec une exactitude de 0,5038 sur vingt mille essais. Compter les paramètres ne borne la capacité d’une classe de modèles ni par le haut ni par le bas, et c’est pourquoi la capacité doit se mesurer autrement.
Un million de clauses, ou soixante et une
Convertir une formule courte en forme normale conjonctive par distribution donne 1 048 576 clauses et 20 971 520 littéraux ; nommer les sous-formules en donne 61 et 160, soit un facteur 131 072 sur les littéraux, et ne perd rien du tout : les deux ont le même nombre de modèles, vérifié par énumération. C’est le codage, et non le solveur, qui décide du sort d’un problème de satisfiabilité.
Pourquoi apprendre à partir de données fonctionne
L'écart entre l'erreur mesurée et l'erreur subie, pourquoi choisir la meilleure de mille hypothèses identiques la fait paraître 0,1149 meilleure que le hasard, comment se compte la capacité d'une classe infinie, et le théorème qui égalise tous les apprenants - avec l'hypothèse qui le rend vrai.
La borne qui est vraiment atteinte
L’entropie n’est pas un résumé de distribution mais un plancher que le meilleur code atteint à la dernière décimale, le supplément payé pour la mauvaise distribution est exactement la perte que tout classifieur minimise déjà, et l’information mutuelle pose un plafond dur sur tout ce qui suit un capteur. Trois résultats, chacun d’une netteté inhabituelle.
Qu’est-ce qu’un réseau de neurones ?
Les couches comme transformations paramétrées, la passe avant, et pourquoi profondeur et non-linéarité ne sont pas optionnelles : une preuve qu’aucune couche linéaire seule ne peut calculer le XOR, et un réseau à deux couches qui y parvient, entièrement déroulé à la main.
Les probabilités à partir de zéro : le langage de l’incertitude
Construire les probabilités depuis la base : les mondes possibles, l’univers, les deux axiomes fondamentaux, puis les règles d’addition et de multiplication, chacune démontrée plutôt qu’affirmée, avec des exemples numériques résolus.
L’entropie et l’information
Mesurer l’incertitude en bits : l’entropie de Shannon et pourquoi le logarithme est en base 2, le gain d’information déroulé sur une division, et comment l’entropie croisée et la divergence de Kullback-Leibler se rattachent à l’entropie et aux fonctions de perte qui entraînent les classifieurs.
Le théorème de Bayes et la mise à jour des croyances
Démontrer le théorème de Bayes à partir de la définition de la probabilité conditionnelle, puis résoudre deux fois l’exemple du taux de base qui trompe presque tout le monde : une fois avec la formule, une fois par simple dénombrement.
Qu’est-ce que l’apprentissage statistique ?
Le cadre commun à tout modèle prédictif : estimer une fonction inconnue f à partir des données, la séparation entre erreur réductible et irréductible, et pourquoi prédiction et inférence tirent dans des directions opposées.
Le compromis biais-variance
La décomposition exacte de l’erreur de test espérée en biais au carré, variance et bruit irréductible, démontrée numériquement par une simulation de 2 000 tirages où les trois termes sont mesurés séparément et vérifiés comme s’additionnant.
La régression linéaire à partir des premiers principes
Dériver les coefficients des moindres carrés en différenciant la somme des carrés des résidus, puis mener à la main un ajustement complet sur cinq observations : coefficients, valeurs ajustées, résidus, RSS et R², chacun vérifié numériquement.
La rétropropagation et la descente de gradient
Comment un réseau de neurones apprend : la perte comme fonction des poids, la descente de gradient, et la rétropropagation comme règle de dérivation en chaîne appliquée à rebours, avec toutes les dérivées partielles d’un petit réseau calculées à la main et vérifiées contre autograd.
La théorie des jeux et l’équilibre de Nash
Le raisonnement stratégique quand les joueurs ne sont pas strictement opposés : stratégies dominantes, le dilemme du prisonnier déroulé depuis sa matrice de gains, l’équilibre de Nash, l’optimalité de Pareto, et pourquoi équilibre et efficacité peuvent s’opposer.
Outils (1)
Jeux de données (1)
Recherche (4)
On Computable Numbers, with an Application to the Entscheidungsproblem
Introduit une machine abstraite qui lit et écrit des symboles sur un ruban selon une table finie de règles, et s’en sert pour montrer qu’aucune procédure générale ne peut décider si un programme quelconque s’arrête.
A Mathematical Theory of Communication
Définit quantitativement l’information, introduit l’entropie comme mesure de l’incertitude d’une source, et démontre des limites à la compression sans perte et à la transmission fiable sur un canal bruité.
Equilibrium Points in N-Person Games
Démontre que tout jeu fini, quel que soit le nombre de joueurs, possède au moins un point d’équilibre, pourvu que les joueurs puissent employer des stratégies mixtes.
Support-Vector Networks
Introduit la machine à vecteurs de support à marge souple, qui sépare les classes par la marge la plus large possible tout en autorisant des violations bornées, et utilise des noyaux pour obtenir des frontières non linéaires.
Projets (2)
Neural Network From Scratch
Un réseau à propagation avant en NumPy, avec rétropropagation dérivée à la main et validée par gradients numériques : le calcul différentiel est prouvé, non pas supposé.
Statistical Learning Toolkit
Moindres carrés, régression logistique, ridge et lasso, et validation croisée k-fold, implémentés depuis leurs équations d’estimation et vérifiés face à scikit-learn.