Neural Machine Translation of Rare Words with Subword Units

ملخّص

يكيّف ترميز أزواج البايتات لتقطيع النص، ببناء مفردات فرعية عبر دمج أكثر أزواج الرموز المتجاورة تكراراً مراراً، فتتفكّك الكلمات النادرة إلى شظايا معروفة.

لماذا تهمّ

أزال مشكلة الخروج عن المفردات من نماذج التسلسل العصبية. ويحدّد راشكا هذه الورقة بوصفها التي تصف ترميز أزواج البايتات المستخدَم في التقطيع، والمخطّط الذي قدّمته هو ما تزال نماذج عائلة GPT تستخدمه لتقطيع مدخلاتها.