درجةٌ تخسر أمام عدم الفعل

خُذ 600 خطوة من مشية عشوائيّة: $y_t = y_{t-1} + \varepsilon_t$ بخطوات طبيعيّة معياريّة مستقلّة. فالزيادات مستقلّة بالبناء، ولا شيء في هذه السلسلة يمكن التنبّؤ به. وأفضل تنبّؤ ممكن بـ$y_{t+1}$، مع معرفة كل شيء حتى $t$، هو $y_t$.

وائم انحدار الجيران الخمسة الأقرب لـ$y$ على دليل الزمن. وقيّمه بالتحقّق المتقاطع العشوائي بخمسة أثلاث، وهو الإعداد الافتراضي في كل مكتبة.

$$R^2 = 0.9983, \qquad \text{RMSE} = 0.865.$$

أ. ماذا قاست القسمة العشوائيّة

لا شيء ممّا يخصّ التنبّؤ. ففي القسمة العشوائيّة يكون جيران النقطة المحجوزة في الزمن داخل مجموعة التدريب في الأغلب الأعمّ: إذ يُتنبَّأ بالنقطة $t$ من $t-2$ و$t-1$ و$t+1$ و$t+2$. فالنموذج لا يستكمل خارجًا، بل يستوسط بين رصدتين رآهما، وذلك على سلسلة متّصلة قريبٌ من قراءة الجواب مكتوبًا.

قيّم النموذج نفسه تقدّمًا في الزمن. درّب على كل ما قبل قطعٍ ما، وتنبّأ بالكتلة التي تليه، ثم حرّك القطع وأعد:

فجذر متوسّط الخطأ التربيعي أكبر 12.44 مرّة بالقسمة الأمينة. والسطر الثالث هو ما ينبغي أن يُنهي النقاش: فمجرّد تكرار آخر قيمة مرصودة يسجّل أفضل من النموذج في المقياسين. أي أنّ قيمة النموذج سالبة، وقد أبلغ التقييم الأوّل أنّه شبه كامل.

يعيد الشكل نسخةً أبسط من الفخّ نفسه على مسارات عشوائيّة من 240 خطوة: ففي القسمة العشوائيّة تُملأ كل نقطة محجوزة من جارتيها، مقابل إبقاء آخر قيمة في القسمة الأمينة، فيكون عامل التجميل نحو 6 لا 12.44 المقيس هنا.

ب. لماذا ليس $R^2 = 0.6559$ عزاءً

يبدو $R^2$ التسلسل الأمامي محترمًا بعد، ولا ينبغي أن يُقرأ بمعنى «النموذج يلتقط ثلثي التغيّر». فالمشية العشوائيّة تهيم، ومعظم التباين في أيّ كتلة اختبار هو المستوى الذي انجرفت إليه، والتنبّؤ بذلك المستوى تقريبًا يساوي $R^2$ كبيرًا بينما لا يساوي شيئًا البتّة.

ولهذا تُقاس التنبّؤات في مواجهة مرجع لا في مواجهة متوسّط ثابت. وأمام «أبقِ آخر قيمة» يتخلّف النموذج، وهذه هي القراءة الصحيحة: لم تكن ثمّة إشارة، ولم يجد النموذج شيئًا، وكل رقم أوحى بغير ذلك جاء من طريقة القياس.

ج. أين يقع هذا خارج العروض التوضيحيّة

المشية العشوائيّة تجعل الأثر غير قابل للجدال، لكنّ الآليّة لا تحتاج إلّا الارتباط الذاتي، وهو في كل سلسلة واقعيّة.

• القسمة العشوائيّة لأيّ بيانات زمنيّة. قراءات المِجسّات، والأسعار، والطلب، وحمل الخوادم، والعلامات الحيويّة. فالصفوف المتجاورة متشابهة، والقسمة العشوائيّة تضع شبه نسخة من كل صفّ اختبار في التدريب.
• سمات تُبنى على السلسلة كاملةً. متوسّط متحرّك مركزي، أو معيرة بمتوسّط العيّنة كلّها وانحرافها، أو تفكيك موسمي، أو استكمال مُوائَم على كل شيء. كلٌّ منها ينقل معلومةً إلى الوراء في الزمن، وكلٌّ منها يعبر القسمة العشوائيّة سالمًا.
• بيانات مجمّعة تُقسَم بالصفّ. صفوف عدّة لكل عميل أو مريض أو جلسة. فالقسمة يجب أن تكون بالمجموعة، والزمن هو الحجّة نفسها حين تكون المجموعة «الأسبوع نفسه».
• ضبط المعالم على كتلة الاختبار. فالتسلسل الأمامي أمينٌ في القسمة، ويظلّ ممكنًا استنفاده، معلمًا فائقًا بعد آخر، على الكتلة الأخيرة.

د. الفحوص الرخيصة فعلًا

• اقسم تقدّمًا دائمًا، لكل ما له دليل زمني. يكلّف ذلك سطرًا واحدًا. وإن كان النموذج لا يتغيّر بالزمن حقًّا فستتّفق القسمتان، وذلك الاتّفاق نفسه جدير بالمعرفة.
• أبلغ دائمًا عن مرجع ساذج. آخر قيمة لمستوى، والساذج الموسمي لسلسلة موسميّة. فنموذج لا يتفوّق عليه ليس نموذجًا بعد، والمقارنة لا تكلّف شيئًا.
• أعد حساب كل سمة داخل الثلث. فإن مسّ تحويلٌ صفوفًا لا يحقّ للنموذج أن يكون قد رآها، فمكانه خطوة التدريب لا دفتر تحضير البيانات.
• اسأل: ماذا ستكون الدرجة لو كانت السلسلة غير قابلة للتنبّؤ؟ على هذه البيانات: 0.9983. فإن كان تقييمك قادرًا على إرجاع هذا الرقم على مشية عشوائيّة، فهو لا يقيس ما تظنّه.