ما الذي يجعل التدريب يتقارب حقًا

معدّل تعلّم قدره ‎1.1246‎ يدرّب نموذجًا. ومعدّل قدره ‎1.1473‎ يرسل النموذج نفسه، على البيانات نفسها، من نقطة البدء نفسها، إلى خسارة أسوأ بخمس مراتب عشرية.

لم يتغيّر شيء في النموذج. والفجوة بين هذين الرقمين اثنان في المئة، وليس بينهما تدهور تدريجي البتة: فالتنفيذ إما يستقر وإما يُقذف بعيدًا. ولهذا الجرف موضع مضبوط، يُحسب قبل أن يبدأ التدريب، والقطعة النظرية الصغيرة نفسها التي تحدّد موضعه تتنبأ كذلك بعدد الخطوات التي سيأخذها تنفيذ ناجح.

وكل ما يلي مقيس على مسألة صغيرة عمدًا: مربعات صغرى بـ400 نقطة ووسيطين، يُعرف أمثلها المضبوط $w^\star$ بصيغة مغلقة. ومعرفة الجواب سلفًا هي المقصد كله: فهي تحيل كل دعوى قياسًا لا انطباعًا.

أ. الجرف

قرب الصغرى تكون الخسارة وعاءً تربيعيًا، وشكل ذلك الوعاء هو الهسّيان $H$. وبكتابة الخطأ $e_t = w_t - w^\star$، لا تكون خطوة التدرّج إلا

$$e_{t+1} = (I - \eta H)\, e_t .$$

حلّل الخطأ على متجهات $H$ الذاتية. فكل مركّبة تُضرب في $1 - \eta\lambda$ حيث $\lambda$ انحناء ذلك الاتجاه، والاتجاهات لا تتفاعل أبدًا. فالخطوة الواحدة ليست حركةً واحدة، بل هي من الانكماشات المستقلة بعددِ اتجاهات الانحناء في المسألة، كلٌّ بمعدّله.

ولا تنكمش المركّبة إلا حين $\lvert 1 - \eta\lambda\rvert < 1$، أي بالضبط حين $\eta < 2/\lambda$. ولأن كل اتجاه يجب أن ينكمش، يكون القيد الحاكم هو أشدّ الانحناءات $L$:

$$\eta < \frac{2}{L}.$$

وفي هذه المسألة $L = 1.760627$، فالعتبة $2/L = 1.135959$. وحجما الخطوة في مطلع هذه المقالة هما ‎0.99‎ و‎1.01‎ من هذا الرقم، وبعد 200 خطوة يتركان الخسارة عند ‎0.236592‎ وعند ‎23585.65‎.

ذلك هو الجرف. ليس منطقة اضطراب ذات مجال رمادي في الوسط؛ بل هو تغيّر إشارة في $1 - \eta L$، وبعده يُضرب أشدّ الاتجاهات انحناءً في العامل نفسه الأكبر من واحد في كل خطوة. ومن رأى منحنى خسارة يصير NaN بعد ثلاثين خطوة من رفع «بسيط» لمعدّل التعلّم فقد رأى هذا الحساب بعينه.

ب. المستقر ليس السريع

معرفة $L$ لا تعني وضع $\eta = 2/L$، لأن الاستقرار والسرعة مسألتان مختلفتان بجوابين مختلفين.

ينكمش الخطأ بمقدار $\max(\lvert 1-\eta L\rvert, \lvert 1-\eta\mu\rvert)$ في الخطوة، حيث $\mu$ أكثر الانحناءات استواءً. ورفع $\eta$ يعين الاتجاه المستوي ويضرّ بالحادّ، فأفضل خطوة حيث تتساوى الكلفتان، أي $\eta^\star = 2/(L+\mu) = 1.090230$. وكل حجم خطوة بين هذه والعتبة هو أبطأ وأقرب إلى الجرف في آن.

ومثل هذا الاشتقاق يستحق التحقق لا الثقة. فتشغيل الـ200 خطوة نفسها عند كل من 2000 حجم خطوة واستبقاء ما ينتهي أقرب إلى $w^\star$ يعطي ‎1.088582‎ مقابل ‎1.090230‎ المشتقّة - توافق في حدود $1.6\times10^{-3}$. وهذه الفجوة الصغيرة ليست من الشبكة: ففي 200 خطوة فقط تقع أفضل خطوة دون الأمثل المقارب بقليل، وتقترب منه كلّما طال التنفيذ. فالصيغة ذات خطأ الإشارة تظل تشبه صيغة؛ أما البحث على شبكة فيكلّف ثلاثة أسطر ولا يخدع.

ج. رقم واحد يتنبأ بالتنفيذ كله

أعد إدخال $\eta^\star$ فيصير الانكماش دالةً في كمية واحدة، هي عدد الشرط $\kappa = L/\mu$، أي استطالة الوعاء:

$$\rho_{\mathrm{GD}} = \frac{\kappa - 1}{\kappa + 1}.$$

هنا $\kappa = 23.8410$، فيكون $\rho_{\mathrm{GD}} = 0.919488$. وقياس التنفيذ الحقيقي - أخذ $\lVert w_t - w^\star\rVert$ عند الخطوتين 20 و100 ثم استخراج النسبة لكل خطوة - يعطي ‎0.919488‎. ست منازل عشرية دون ملاءمة شيء: فالتنبؤ يستعمل قيمتين ذاتيتين لمصفوفة ويعيد إنتاج تنفيذ لا يعلم عنهما شيئًا.

ولاحظ كم قليلًا يتوقف عليه هذا المعدّل. لا على البيانات وراء هسّيانها، ولا على نقطة البدء، ولا على البُعد. ولاحظ المقياس: $\kappa \approx 24$ عدد شرط معتدل، وهو يكلّف أصلًا 165 خطوة لقسمة الخطأ على مليون في مسألة ذات وسيطين. والشبكات الواقعية بالآلاف.

وهذا أيضًا سبب قدرة إعادة قياس عمود دخل واحد على تحويل زمن التدريب. فـ$\kappa$ خاصية للتوسيط لا لما يُتعلَّم. وتقييس المتغيّرات والتسوية بالدفعة والتسوية بالطبقة كلها تزيح القيم الذاتية للهسّيان، وإزاحتها إزاحةٌ للمعدّل. ليست مجاملة إحصائية، بل هي شرط المسألة.

د. ما الذي يفعله الزخم فعلًا

ينبذ انحدار التدرّج تاريخ التنفيذ في كل خطوة - بما في ذلك أن تدرّج الاتجاه المستوي ظل مشيرًا إلى الجهة نفسها مئة خطوة، بينما ظل تدرّج الاتجاه الحادّ يتناوب في الإشارة.

أما الزخم فيحتفظ بسرعة جارية، $v_{t+1} = \beta v_t - \eta\nabla f(w_t)$، فينال الاتجاهان منه معاملةً متعاكسة مجانًا. ففي قاع الوادي، حيث تتوافق التدرّجات المتعاقبة، يبلغ المتوسط المتضائل نحو $1/(1-\beta)$ ضعف تدرّج مفرد. وعَرضًا، حيث تتناوب، تلغي معظمها. فآلية عمياء واحدة تضخّم الاتجاه البطيء بالضبط وتخمد المتذبذب بالضبط، فيصير المعدّل

$$\rho_{\mathrm{mom}} = \frac{\sqrt{\kappa}-1}{\sqrt{\kappa}+1} = 0.660022 .$$

انتقلت التبعية لعدد الشرط من $\kappa$ إلى $\sqrt{\kappa}$. فيبلغ الزخم الدقة عند جزء من مليون في 42 خطوة مقابل 165 - أي بعامل ‎3.9‎ حيث تتنبأ المعدّلات المقاربة بـ$164.6/33.3 = 4.9$.

والنقص يستحق الإبقاء لا التدوير. فمعدّل بولياك مقارب. وبضبطه يقع اتجاها الانحناء عند الطرفين بالضبط، فينال كلٌّ منهما جذرًا مكرّرًا، عند $-0.660022$ و$+0.660022$، والجذر المكرّر يخبو كـ$t\rho^t$ لا كـ$\rho^t$. والانكماش الحقيقي مقيسًا بين الخطوتين 20 و60 هو ‎0.677786‎، قريبًا من $3^{1/40} \times 0.660022 = 0.6784$ الذي يتنبأ به هذا العامل $t$ الإضافي. وفي هذه المسألة لا يحين المقارب قط، لأن التنفيذ يبلغ دقة الآلة أولًا. فالدعوى الصادقة ليست أن الزخم يتقارب عند ‎0.660022‎، بل أنه يحوّل مسألةً في $\kappa$ إلى مسألة في $\sqrt\kappa$، وينبغي أن تتوقع معظم ذلك في تنفيذ واقعي.

التنفيذان أدناه، كلٌّ بإعداداته المثلى، والخطأ على محور لوغاريتمي. وعند عدد الحالة الحقيقي لهذه المسألة تكون الأعداد هي المذكورة للتوّ: 165 خطوة مقابل 42. لكن المزلاج هو المقصود. فتغيّر الأُسّ هو بعينه ما لا يستطيع رقمان إظهاره: اسحب عدد الحالة وانظر المنحنيين يفترقان، فالأول ينمو مع كابا والثاني مع جذرها. والمعدّلان المعروضان مفصولان عن عمد: المقارب نهايةٌ حدّية، والمقيس هو ما يفعله هذا التنفيذ فعلًا.

هـ. ثم لا يعود التدرّج مضبوطًا

كل ما سبق افترض التدرّج الحقيقي. أما التدريب الواقعي فلديه تقدير على دفعة صغيرة، وهذا الاستبدال وحده يهدم الضمان بأن أيًّا من هذا يتقارب.

التقدير غير متحيّز - فعيّنة منتظمة من تدرّجات الأمثلة توقّعها التدرّج الكامل - فالدفعة الصغيرة لا تشير إلى وجهة مختلفة منهجيًا. والذي يتغير هو التشتّت: فعند نقطة الأصل $w = (0, 0)$، حيث التدرّج الكامل ‎(−3.416495, 0.179597)‎، يبلغ الضجيج المعتاد ‎1.4382‎ عند $B = 8$ و‎0.3027‎ عند $B = 128$. ستة عشر ضعف الحساب مقابل ‎4.75‎ ضعف الدقة، قريبًا من $\sqrt{16}$ الذي يتنبأ به المتوسط وفوقه قليلًا لأن هذه الدفعات تُسحب بغير إرجاع من ‎$n = 400$‎ نقطة فحسب، وذلك يتنبأ بـ‎$4\sqrt{392/272} = 4.80$‎. كلفة خطية ومنفعة جذرية: وهذا التبادل هو كل الحجة لصالح الدفعات الصغيرة وكثرة الخطوات.

والنتيجة أن التنفيذ ذا الخطوة الثابتة لا يتقارب أبدًا. فكل خطوة تقبض نحو $w^\star$ وكل خطوة تحقن ضجيج معاينة جديدًا، وعند نصف قطر ما يتوازن الأمران. وبالتشغيل إلى 120٬000 خطوة وقياس مسافة جذر متوسط المربعات على الذيل:

ولا شيء من هذه يتجه إلى الصفر. والتبادل أسوأ مما يبدو: فتنصيف $\eta$ من ‎0.20‎ إلى ‎0.10‎ يقلّص الأرضية بنسبة 31% لا 50%. والملاءمة على المدى ذي العامل ستة عشر كله تعطي أسًّا قدره 0.5090 - فنصف القطر ينمو بمقدار $\sqrt\eta$، لأن التباين المستقر من الرتبة $O(\eta)$ والمسافة جذره.

وستة عشر ضعف الصبر مقابل أربعة أضعاف الدقة صفقة من السوء بحيث تُهجر الخطوة الثابتة بدل أن تُصغَّر. واستبدال $\eta_t = 0.20/(1+t/500)$ بها - المعدّل الابتدائي نفسه والبيانات نفسها والبذرة نفسها - يبلغ بالتنفيذ ‎0.009909‎، أي أقرب أحد عشر ضعفًا على الأفق نفسه، وهو لا يزال يتحسّن حين أُوقف.

والذي يجعل الجدول ناجحًا شرطان يتجاذبان: $\sum_t \eta_t = \infty$ ليحتفظ التنفيذ بسفرٍ كلي يكفي للوصول من أي منطلق، و$\sum_t \eta_t^2 < \infty$ ليكون الضجيج المحقون قابلًا للجمع فتُغلق الكرة. والخطوة الثابتة تحقق الأول وتخفق في الثاني. والخطوة المتضائلة كـ$1/t^2$ تخفق في الأول وقد ينفد منها السفر قبل الوصول.

لا شيء من ذلك يحتاج إلى محاكاة. فعلى دالّة تربيعية يخضع العزم الثاني للخطأ لعلاقة تكرارية مضبوطة، ولذا يُجري الشكل أدناه التجربة كلّها حسابًا: بلا بذرة وبلا 120,000 خطوة، والأرضية متاحة بصيغة مغلقة. وقد عُوير مقياس الضجيج فيه على سطر 0.2 أعلاه، فصارت الأسطر الأربعة الأخرى تنبّؤات تصيب في حدود 2.5%. والصيغة المغلقة تفسّر الأُسّ أيضًا: فهو فوق النصف لأن الانكماش في الخطوة الواحدة هو 2 - eta lambda لا 2.

و. المقارنة التي تنقلب

وتبقى المسألة العملية: أيّ مُمثِّل؟ المسألة نفسها والدفعات نفسها والبذرة نفسها، كلٌّ بخطوة ثابتة معقولة - SGD عند $\eta = 0.05$، والزخم عند $\eta = 0.01$ بـ$\beta = 0.9$، وآدم عند $\eta = 0.05$ - مع $f^\star = 0.233943$:

عند 200 خطوة يكون الترتيب متوقَّعًا والفجوة كبيرة. وعند 5000 خطوة ينقلب: فـ‎SGD‎ البسيط أقرب إلى الأمثل، والطريقتان الأسرع استقرّتا أبعد. وخطوة واحدة من تنفيذ واحد مشوبة بالضجيج - فمع بذور دفعات أخرى لا يتصدّر ‎SGD‎ عند الخطوة 5000 إلا في نحو نصف المرّات - لكنّ الترتيب ‎SGD‎ ثم الزخم ثم آدم، بالمتوسط على الخطوات من 3000 إلى 8000، صمد في كلّ واحدة من 40 بذرة أخرى جُرّبت.

ولم يخفق شيء. فالزخم وآدم كلاهما يقطع مسافة أكبر في الخطوة، وهو نفسه $\eta$ فعّال أكبر - وبنتيجة $\sqrt\eta$ تعني الخطوةُ الفعّالة الأكبر كرةً أوسع. فالمتصدّر مبكرًا ينتهي أخيرًا لعين ما جعله سريعًا.

ومع ذلك يحتفظ آدم بمكانه على الإحداثي الذي صُمّم له. فالقسمة على تقدير جارٍ لمقياس تدرّج كل إحداثي هي شرطُ المسألة مطبَّقًا إحداثيًا إحداثيًا، وفي الاتجاه المستوي من هذه المسألة يبعد آدم ‎0.018492‎ عن الأمثل بعد 1000 خطوة حيث لا يزال ‎SGD‎ يبعد ‎0.178858‎.

الخلاصة الموجزة

ثلاث نتائج ووصفة واحدة. لحجم الخطوة سقفٌ مضبوط يحدّده أشدّ الانحناءات، وأمثلٌ مختلف وأدنى تحدّده نسبةُ الانحناءين الأقصيين. والزخم والطرائق التكيّفية تشتري التقدّم المبكر بمهاجمة تلك النسبة. والجدول المتضائل يشتري المنازل الأخيرة بإغلاق كرة الضجيج. ولا يغني أحدهما عن الآخر، ولهذا تنصّ كل وصفة تدريب جادّة على الاثنين.

وحين يعلق تنفيذٌ عند خسارة لا تتزحزح، فالسؤال الأول ليس إلى أي مُمثِّل ننتقل، بل أعند صغرى هو أصلًا، أم عند حافة كرة ضجيج تستطيع حساب نصف قطرها.