الوحدات والتضمينات

نموذج اللغة يجري حساباً، والنص ليس حساباً. وكل ما في هذا الدرس عن التحويل، الذي يحدث في مرحلتين يسهل الخلط بينهما: يصير النص أعداداً صحيحة، ثم تصير الأعداد متجهات.

المرحلة الأولى: من النص إلى معرّفات الوحدات

يحتفظ المقطِّع بمفردات ثابتة ويقسم النص إلى قطع مسحوبة منها، لكلٍّ منها معرّف صحيح. والقطع وحدات فرعية لا كلمات.

والسبب هو التغطية. فالمفردات على مستوى الكلمة يجب أن تقرّر سلفاً أي الكلمات موجود؛ وأي شيء آخر يصل وقت الاستدلال مجهولاً بلا تمثيل إطلاقاً. أما المفردات الفرعية فتهجّي السلاسل غير المألوفة من شظايا مألوفة، فلا يكون شيء خارج المفردات أبداً. والكلمات النادرة أو المخترعة تكلّف ببساطة وحدات أكثر.

الوحدات ليست كلمات، والفرق يعضّ. فقد يقع حدّ الوحدة في منتصف كلمة، وعلامات الترقيم والمسافات السابقة تكون عادةً جزءاً من وحدة، وقد تُقطَّع الكلمة نفسها تقطيعاً مختلفاً بحسب ما يسبقها. وأي استدلال عن سلوك نموذج على مستوى الوحدة يجب أن يعمل بهذه الحبيبية.

المرحلة الثانية: من المعرّفات إلى المتجهات

المعرّف تسمية لا كمية - فالوحدة 5000 ليست «أكثر» من الوحدة 12. وإطعام المعرّفات لشبكة مباشرةً سيؤكّد ترتيباً غير موجود. بل يفهرس كل معرّف صفاً من مصفوفة تضمين:

$$E \in \mathbb{R}^{V \times d}$$

حيث $V$ حجم المفردات و$d$ بُعد التضمين. فيصير المعرّف $i$ الصفَ $i$. ويقولها راشكا مباشرة: طبقة التضمين في جوهرها عملية استرجاع تجلب صفوفاً من مصفوفة أوزان التضمين عبر معرّف وحدة، فيعيد المعرّف 3 الصفَ ذا الدليل 3.

وهذه الصفوف بارامترات مُتعلَّمة، تُضبط بالنزول التدرّجي نفسه الذي يدرّب كل شيء آخر.

كم عددها؟ عند شكل GPT-2 small، بمفردات من 50,257 وحدة و$d = 768$، يضمّ تضمين الوحدات وحده 38,597,376 منها. ويضع الشكل أدناه هذا الجدول بجانب بقية النموذج، أي 124,439,808 بارامتراً في المجموع، تشكّل التضمينات منها، الوحدات والمواضع معاً، 31.6٪. انتقل بين الإعدادات المسبقة حتى GPT-2 XL فتهبط حصّتها إلى 5.3٪، لأن الكتل تنمو مع $d^2$ بينما لا ينمو التضمين إلا مع $d$.

الاسترجاع والجداء الأحادي متطابقان

تستحق المكافأة أن تُرى مرة، لأنها تفسّر لماذا يكون الاسترجاع عمليةً مشروعة قابلة للاشتقاق لا اختصاراً.

اكتب المعرّف $i$ متجهَ صفّ أحادياً $\mathbf{e}_i$ - كله أصفار إلا 1 في الموضع $i$. عندئذ

$$\mathbf{e}_i E = \text{row } i \text{ of } E ,$$

لأن كل صف آخر يُضرب في صفر ويُطرَح جانباً.

النتيجة نفسها، لكن الجداء يجري $V \times d$ عملية ضرب للاحتفاظ بـ$d$ عدداً. والاسترجاع يتخطّى الهدر. وتظلّ التدرّجات تتدفّق: فالصف المنتقى وحده يتلقّى تدرّجاً.

والصورة أدناه تُجري الجداء بالطريق الطويل وتعدّ وهي تمضي، فعمليّات الضرب العشرون مقيسة لا منقولة. وكلّ صفّ إلّا واحدًا يُضرب في صفر، على مرأى منك، والجواب هو الصفّ الذي كان الاسترجاع سيُرجعه.

وزرّ المقياس هو موضع هبوط الحجّة. فعند شكل GPT-2 يكون الجداء نفسه 38,597,376 عمليّة ضرب لحفظ 768 عددًا، أي 50,257 ضعف العمل لجواب متطابق. والتدرّج لا يبلغ في الحالتين إلّا الصفّ المختار، فلا شيء يُفقَد بتخطّي الباقي.

والقراءة الأخيرة تخصّ القسم التالي. فخلط المتتالية لا يغيّر أيّ متّجه البتّة: فالصفوف تسافر مع رموزها، ولا يتغيّر إلّا أيّ موضع يحمل أيّها. وتلك الفجوة بعينها هي ما يجب أن يوفّره إشارة الموضع.

ما لا تحمله التضمينات

يقول التضمين ما هي الوحدة، ولا يقول شيئاً عن موضعها. فوروداً الوحدة نفسها في أي مكان من متتالية ينتجان متجهين متطابقين.

ويهمّ هذا لأن الانتباه غير المقنَّع، في الدرس التالي، متغايرٌ مكافئ للتبديل: فاخلط ترتيب الوحدات تختلط المخرجات معها بلا تغيير. وحده، لا تستطيع الآلية التمييز بين «القط جلس على البساط» والكلمات نفسها معادةَ الترتيب. فيجب حقن الموضع عن عمد - بإضافته إلى التضمينات - لا أن يكون ضمنياً في المتتالية، ونموذج لا هذه الإشارة عنده ولا قناع سببي سيقرأ كيساً من الوحدات.

تالياً: يُظهر الانتباه والانتباه الذاتي كيف تستخدم الوحدة هذه المتجهات لجمع السياق من بقية المتتالية.