Attention Is All You Need

ملخّص

يعرض المحوّل، وهو معمارية مبنيّة كلياً من طبقات انتباه وتغذية أمامية بلا تكرار، طُوّرت أصلاً للترجمة الآلية.

لماذا تهمّ

أتاح حذفُ التكرار معالجةَ كل مواضع المتتالية بالتوازي أثناء التدريب ووضعَ أي موضعين على بُعد عملية واحدة، وهو ما جعل التدريب على مقياس كان غير عملي ممكناً. ويسجّل راشكا أن هذه الورقة اقترحت معمارية المحوّل الأصلية؛ ومنها ينحدر عملياً كل نموذج لغة كبير حديث.