BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

ملخّص

يدرّب مسبقاً مُرمِّز محوّل على التنبّؤ بوحدات مقنَّعة باستخدام السياق من الجهتين، ثم يضبط النموذج نفسه ضبطاً دقيقاً على مهام لاحقة برأس صغير خاص بالمهمة.

لماذا تهمّ

جعل «التدريب المسبق ثم الضبط الدقيق» الوصفةَ المعيارية في معالجة اللغة الطبيعية. ولأن الإقناع يتيح للنموذج الاشتراط على السياق يميناً ويساراً، تبيّن أن التمثيلات المُتعلَّمة أقوى بكثير في مهام الفهم من التدريب المسبق من اليسار إلى اليمين، وصار المسار ذو المرحلتين هو الأصل في المجال.