الانتباه والانتباه الذاتي

الانتباه الذاتي هو الآلية التي جعلت نماذج اللغة الحديثة ممكنة. فهي تتيح لكل موضع في متتالية أن ينظر في كل موضع آخر ويقرّر بنفسه أيّها يهمّ. وتبني هذه المقالة تلك الآلية من المشكلة التي تحلّها حتى الحساب المصفوفي الكامل، محلولةً كل رقم على مثال من ثلاث وحدات صغير بما يكفي للتحقّق يدوياً.

أ. المشكلة التي يحلّها الانتباه

فكّر في تحديد مرجع الضمير «هو» في جملة. المعلومة اللازمة تقع في مكان آخر من المتتالية، وموضعها يتوقّف كلياً على الجملة. ولا تستطيع مقاربة النافذة الثابتة التعبير عن «انظر إلى الوراء نحو الكلمة السابقة التي تعتمد عليها هذه فعلاً».

يجعل الانتباه ذلك الاعتماد مُتعلَّماً ومعتمداً على البيانات: إذ يحسب كل موضع، من محتوى الوحدات نفسها، كم يستمدّ من كل موضع آخر.

ب. الاستعلامات والمفاتيح والقيم

يُسقَط كل تضمين وحدة دخل $\mathbf{x}_i$ إلى ثلاثة متجهات بثلاث مصفوفات أوزان مُتعلَّمة:

$$\mathbf{q}_i = W_q\,\mathbf{x}_i, \qquad \mathbf{k}_i = W_k\,\mathbf{x}_i, \qquad \mathbf{v}_i = W_v\,\mathbf{x}_i .$$

وتشبيه قاعدة البيانات ملائم فعلاً:

• الاستعلام هو ما يبحث عنه هذا الموضع؛
• والمفتاح هو ما يعلنه كل موضع عن نفسه؛
• والقيمة هي ما يسهم به كل موضع فعلاً إن التُفت إليه.

ومطابقة استعلام بمفتاح تقيس الصلة؛ والقيم هي ما يُمزج. وفصل «ما يعرّف الوحدة» (المفتاح) عن «ما تسهم به» (القيمة) هو ما يمنح الآلية مرونتها - و$W_q, W_k, W_v$ تُتعلَّم بالمرور الخلفي من الانتشار العكسي والنزول التدرّجي.

ج. انتباه الجداء القياسي المقيس

الآلية كلها، لكل المواضع دفعةً واحدة:

$$\operatorname{Attention}(Q, K, V) = \operatorname{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)V .$$

اقرأها في أربع خطوات: سجّل درجة كل استعلام مقابل كل مفتاح ($QK^\top$)، وقِسها على $\sqrt{d_k}$، وسوِّ كل صف ليجمع إلى 1 (softmax)، ثم خذ متوسط القيم مرجّحاً بذلك.

ويلاحظ راشكا أن هذا يُسمّى انتباه الجداء القياسي المقيس، وأنه الآلية المستخدَمة في المحوّل الأصلي وفي عائلة GPT.

د. حلّها بالكامل

ثلاث وحدات، و$d_k = 2$. ولإبقاء الحساب قابلاً للتحقّق نأخذ $Q$ و$K$ مُسقَطَين بالفعل ومتساويين، مع قيم متمايزة:

$$Q = K = \begin{bmatrix}1 & 0\\ 0 & 1\\ 1 & 1\end{bmatrix}, \qquad V = \begin{bmatrix}1 & 0\\ 0 & 2\\ 3 & 1\end{bmatrix} .$$

الخطوة 1 - درجات الانتباه. المدخلة $(i,j)$ هي $\mathbf{q}_i \cdot \mathbf{k}_j$:

$$QK^{\top} = \begin{bmatrix}1 & 0 & 1\\ 0 & 1 & 1\\ 1 & 1 & 2\end{bmatrix} .$$

تحقّق من واحدة: الصف 3 العمود 3 هو $\mathbf{q}_3\cdot\mathbf{k}_3 = (1)(1)+(1)(1) = 2$، وهي أكبر درجة في المصفوفة - فاستعلام الوحدة 3 يطابق مفتاحها هي أفضل مطابقة.

الخطوة 2 - القياس. اقسم على $\sqrt{d_k} = \sqrt2 \approx 1.4142$:

$$\frac{QK^\top}{\sqrt2} = \begin{bmatrix}0.7071 & 0 & 0.7071\\ 0 & 0.7071 & 0.7071\\ 0.7071 & 0.7071 & 1.4142\end{bmatrix} .$$

الخطوة 3 - softmax لكل صف. في الصف 1، يعطي الأُسّ $e^{0.7071} = 2.0281$، و$e^{0} = 1$، و$e^{0.7071} = 2.0281$، ومجموعها $5.0562$. وبالقسمة:

$$\left[\tfrac{2.0281}{5.0562},\ \tfrac{1}{5.0562},\ \tfrac{2.0281}{5.0562}\right] = [0.4011,\ 0.1978,\ 0.4011] .$$

الصفوف الثلاثة:

$$A = \begin{bmatrix} 0.4011 & 0.1978 & 0.4011\\ 0.1978 & 0.4011 & 0.4011\\ 0.2483 & 0.2483 & 0.5035 \end{bmatrix} .$$

يجمع كل صف إلى 1 - فهذه ترجيحات حقيقية. ويضع الصف 3 وزن $0.5035$ على الموضع 3، مطابقاً أقوى درجة من الخطوة 1.

الخطوة 4 - القيم المرجّحة. اضرب $A$ في $V$. الصف 1، المركّبة الأولى:

$$0.4011(1) + 0.1978(0) + 0.4011(3) = 0.4011 + 1.2033 = 1.6044 .$$ $$\operatorname{Attention}(Q,K,V) = \begin{bmatrix} 1.6044 & 0.7967\\ 1.4011 & 1.2033\\ 1.7587 & 1.0000 \end{bmatrix} .$$

وكل صف خرج مزيج من متجهات القيم الثلاثة، ممزوجة بصلة مُتعلَّمة.

يعيد تشغيله إنتاج المصفوفتين ويطبع matches: True True.

هـ. لماذا القسمة على جذر البُعد

القياس ليس تجميلاً. فالجداء القياسي لمتجهين ذوي بُعد $d_k$ يجمع $d_k$ حدّاً، فينمو مقداره مع $d_k$ - بمقدار $\sqrt{d_k}$ تقريباً لمركّبات مستقلة وحيدة التباين.

والدرجات الكبيرة مشكلة لدالة softmax. فمع كبر المدخلات تقترب softmax من متجه أحادي: وزن قريب من 1 والبقية قرب 0. وفي ذلك النظام المشبَع تكون تدرّجاتها ضئيلة جداً، فـيتعثّر التعلّم. والقسمة على $\sqrt{d_k}$ تُبقي الدرجات في مدى تظلّ فيه softmax حسّاسة وتظلّ التدرّجات متدفّقة.

ومع $d_k = 64$ تكون الدرجات غير المقيسة أكبر نحو ثماني مرات من المقيسة - وهو كافٍ بيسر للإشباع.

الشكل أدناه هو الرأس نفسه، وفيه أمران يمكنك تحريكهما. فإدارة استعلام الرمز الثالث تُديره في المستوي الذي تعيش فيه مفاتيحه، ولا يستجيب سوى الصف الثالث من المصفوفة: أما المفاتيح والقيم فلا تتزحزح، وهذا بالضبط ما يجعل الاستعلام استعلامًا. ثم ارفع البُعد. مع وجود القسمة لا يحدث شيء البتة: فالمصفوفة عند 512 بُعدًا هي المصفوفة أعلاه حتى آخر منزلة عشرية. أوقف القسمة ثم ارفع البُعد من جديد، وراقب الصف وهو ينهار على رمز واحد. وهذا الانهيار هو كل سبب وجود الجذر التربيعي في الصيغة.

و. الإقناع السببي

النموذج الذي يولّد النص من اليسار إلى اليمين يجب ألا يرى المستقبل. فلو استطاع الموضع 2 الالتفات إلى الموضع 3، لدُرّب النموذج ومعه الإجابة ولأخفق وقت التوليد، حين لا يكون المستقبل موجوداً فعلاً.

ويمنع الانتباه السببي ذلك بالإقناع: فقبل softmax، تُضبَط كل درجة عند $j > i$ على $-\infty$، فيكون $e^{-\infty} = 0$ وتنال تلك المواضع وزناً صفرياً. وتُعاد تسوية الأوزان الباقية لتجمع إلى 1.

وبتطبيق ذلك على درجاتنا المقيسة:

$$A_{\text{causal}} = \begin{bmatrix} 1.0000 & 0 & 0\\ 0.3302 & 0.6698 & 0\\ 0.2483 & 0.2483 & 0.5035 \end{bmatrix} .$$

يلتفت الصف 1 إلى نفسه فقط، فيُجبَر وزنه على $1$. ويتوزّع الصف 2 بين الموضعين 1 و2 - ولاحظ أن هاتين ليستا قيمتي الصف 2 غير المُقنَعتين $0.1978$ و$0.4011$؛ فمع إزالة الموضع 3، تُعاد تسوية الباقيتين بمجموعهما هما، $0.1978 + 0.4011 = 0.5989$، فتعطيان $0.3302$ و$0.6698$. (وحمل القيم المقرّبة يدوياً يعطي $0.3303$ و$0.6697$؛ والأرقام أعلاه من الحساب بالدقة الكاملة.) أما الصف 3، الذي لم يُسمح له قط برؤية ما بعد الموضع 3، فلم يتغيّر.

ويلاحظ راشكا أيضاً أن قناع إسقاط عشوائي (dropout) كثيراً ما يُطبَّق على أوزان الانتباه أثناء التدريب، للحدّ من فرط الملاءمة.

ز. رؤوس متعدّدة

يلتقط حساب انتباه واحد نوعاً واحداً من العلاقات. أما الانتباه متعدّد الرؤوس فيشغّل عدة حسابات بالتوازي بـ$W_q, W_k, W_v$ منفصلة، ثم يسلسل المخرجات ويُسقطها ثانيةً إلى الأسفل. ويمكن للرؤوس المختلفة أن تتخصّص - رأس يتتبّع الاعتماديات النحوية، وآخر روابط موضوعية أبعد مدى - ولا يُجبَر النموذج على حشر كل علاقة في ترجيح واحد.

الخلاصات الأساسية

• يتيح الانتباه لكل موضع أن يقرّر، من المحتوى، كم يستمدّ من كل موضع آخر.
• تُسقَط كل وحدة إلى استعلام ومفتاح وقيمة؛ فتُطابَق الاستعلامات بالمفاتيح، والقيم هي ما يُمزج.
• الآلية هي $\operatorname{softmax}(QK^\top/\sqrt{d_k})V$ - درجة، فقياس، فتسوية، فمزج.
• المقسوم عليه $\sqrt{d_k}$ يمنع إشباع softmax ويُبقي التدرّجات صالحة.
• الإقناع السببي يضبط درجات المستقبل على $-\infty$ فتُعاد تسوية الأوزان على الماضي وحده.
• الانتباه متعدّد الرؤوس يشغّل عدة نسخ بالتوازي لالتقاط علاقات مختلفة.

ما التالي

الانتباه هو لبّ المحوّل، لكن نموذج اللغة العامل يحتاج أيضاً إلى تقطيع وتضمينات ومعلومات موضعية وكتل تغذية أمامية وهدف تدريب. وتُغطّى هذه الأجزاء عبر بقية هذا المسار، أما النظير في الذكاء الاصطناعي الكلاسيكي لفكرة «ابحث في فضاء الاحتمالات» فيُطوَّر في البحث التنافسي والمينيماكس.