Attention Is All You Need

Résumé

Introduit le transformeur, une architecture bâtie entièrement sur des couches d’attention et de propagation avant, sans récurrence, développée à l’origine pour la traduction automatique.

Pourquoi c’est important

Supprimer la récurrence a permis de traiter en parallèle toutes les positions d’une séquence pendant l’entraînement et de placer deux positions quelconques à une opération l’une de l’autre, ce qui a rendu réalisable un entraînement à une échelle jusque-là impraticable. Raschka consigne que cet article a proposé l’architecture transformeur originelle ; pratiquement tout grand modèle de langue moderne en descend.