المقدّرات والتحيّز والخطأ المعياري

بين يديك عيّنة، وتريد أن تعرف شيئاً عن المجتمع الذي أتت منه. فتحسب رقماً. ويقوم هذا المسار كلّه على نقلة واحدة في طريقة قراءة ذلك الرقم، وحريّ أن تُذكر صراحةً قبل كلّ شيء.

الرقم الذي حسبته ليس الرقم الذي تريده

لنفترض أنّك تريد متوسّط أطوال البالغين في مدينة، فقِست أربعين شخصاً. متوسّطهم $172.3$ سم. هذا الرقم حقيقة عن الأربعين الذين قِستهم. وليس حقيقة عن المدينة.

قِس أربعين آخرين تحصل على شيء مختلف - $171.1$ أو $173.6$. أمّا المقدار الذي تريده فعلاً، متوسّط المجتمع، فيقبع ثابتاً مجهولاً. والذي يتحرّك هو تقديرك له.

المقدّر هو الوصفة («خذ متوسّط العيّنة»). والتقدير هو ما تردّه الوصفة على عيّنة بعينها. ولمّا كانت العيّنة عشوائية كان التقدير متغيّراً عشوائياً له توزيع - يُسمّى توزيع المعاينة. وكلّ الاستدلال تقريباً قول عن هذا التوزيع لا عن رقمك الواحد.

وتهمّ منه خاصيّتان.

التحيّز يسأل: هل الوصفة مصوّبة على الهدف؟ لو كرّرت الدراسة بلا نهاية ثمّ أخذت متوسّط كلّ التقديرات، أتقع على الحقيقة؟ إن كان نعم، فالمقدّر غير متحيّز.

التباين يسأل: كم تتلاصق التقديرات؟ فقد تُصوَّب وصفتان على الهدف نفسه بينما تتبعثر إحداهما أوسع من الأخرى بكثير.

التصويب والتبعثر سؤالان منفصلان، ولا يكفي أحدهما وحده للحكم على جودة تقدير.

لماذا تكون القسمة على n خطأً، بدقّة

متوسّط العيّنة غير متحيّز لمتوسّط المجتمع، وهذا غير مفاجئ. أمّا تباين العيّنة فأطرف، لأنّ الوصفة البديهية خاطئة على نحو يمكن قياسه بالضبط.

الوصفة البديهية أن تأخذ بُعد كلّ مشاهدة عن متوسّط العيّنة، وتربّعه، وتتوسّط على المشاهدات الـ$n$. وهي تنتج إجابات أصغر ممّا ينبغي بصورة منهجية - لا بمقدار مبهم، بل بالعامل الدقيق

$$\frac{n-1}{n}$$

وعند $n = 10$ يساوي ذلك تسعة أعشار: أي إنّك تسترجع في المتوسّط 90% من التباين الحقيقي، مهما بلغ عدد الدراسات التي تجريها.

والسبب يستحقّ الوقوف عنده لا حفظه. لقد قِست الأبعاد من متوسّط العيّنة. لكنّ متوسّط العيّنة هو، بحكم البناء، النقطة الوحيدة التي تجعل تلك الأبعاد المربّعة أصغر ما يمكن لهذه العيّنة. والمتوسّط الحقيقي في موضع آخر، فالأبعاد عنه كانت ستكون أكبر. أي إنّك قِست التشتّت من مركز مريح على نحو مصطنع.

وقد أُنفقت درجة حرّية واحدة في تحديد ذلك المركز، والقسمة على $n-1$ بدل $n$ تعيدها بالضبط. وبمحاكاة 400,000 عيّنة من الحجم 10 من مجتمع تباينه $4$:

الإصابة في المتوسّط ليست هي القرب

هنا تتوقّف الحكاية عادةً، وهنا تصير مثيرة.

انعدام التحيّز قول عن متوسّط على تكرارات لا نهائية. وأنت تحصل على عيّنة واحدة. والذي يعنيك فعلاً هو كم يُرجَّح أن يبعد تقديرك عن الحقيقة، ومقياس ذلك المعتاد هو الخطأ التربيعي المتوسّط:

$$\text{MSE} = \mathbb{E}\big[(\hat\theta - \theta)^2\big] = \text{bias}^2 + \text{variance}$$

والتفكيك دقيق، ومعناه أنّ المقدّر يستطيع مبادلة أحدهما بالآخر. اقبل قليلاً من التحيّز، واشترِ به خفضاً أكبر في التباين، فتنتهي أقرب إلى الحقيقة إجمالاً.

وليس هذا افتراضاً نظرياً. فلوصفتَي التباين عند $n = 10$ وتباين حقيقي $4$ ومجتمع طبيعي، يكون الخطآن التربيعيان المتوسّطان بالضبط:

$$\text{divide by } n: \; \frac{\sigma^4(2n-1)}{n^2} = 3.04 \qquad \text{divide by } n-1: \; \frac{2\sigma^4}{n-1} = 3.555556$$

فالمقدّر المتحيّز أقرب إلى الحقيقة. إذ إنّ القسمة على العدد الأكبر تقلّص كلّ تقدير قليلاً نحو الصفر، والتباين الذي يوفّره هذا التقليص يفوق التحيّز الذي يُدخله.

وليست هذه طُرفة تُركن جانباً. إنّها المبادلة نفسها التي تبرّر انحدار الحرف، ومقدّرات التقليص، وكلّ التنظيم تقريباً: تحيّز متعمَّد ومقيس يخفض الخطأ الكلّي. ولقاؤه هنا، على صيغة تعرفها سلفاً، يجعل الخلط بينه وبين التنازل أصعب كثيراً لاحقاً.

لهذه الأرقام الأربعة جميعًا صيغ مغلقة، فالشكل أدناه يحسبها بدل محاكاتها: 3.6 و4 للوصفتين وسطيًا، و3.04 و3.5556 لخطأيهما التربيعيين. وسحبُ حجم العيّنة يحسم ما يقوله هذا القسم عند حجم واحد فقط: فمع بيانات طبيعية تكون الوصفة المتحيّزة أقرب عند كل n، لأن (2n-1)(n-1) أصغر من 2n تربيعًا مهما كان n، ويتلاشى تفوّقها كلّما كبرت العيّنة.

الخطأ المعياري، وما يكلّفه

للانحراف المعياري لتوزيع المعاينة اسم خاصّ - الخطأ المعياري - لأنّه هو معنى السؤال «كم يبلغ هذا التقدير من الدقّة؟». ولمتوسّط العيّنة يكون:

$$\text{SE}(\bar{X}) = \frac{\sigma}{\sqrt{n}}$$

والجذر التربيعي يحكم اقتصاد كلّ دراسة صُمّمت يوماً. فمع انحراف معياري للمجتمع قدره $2$:

• عند $n = 25$ يكون الخطأ المعياري $0.4$
• وعند $n = 100$ يكون $0.2$

أي إنّ تنصيف ريبتك كلّفك أربعة أضعاف البيانات. والانتقال من $0.2$ إلى $0.1$ سيكلّف 300 مشاهدة أخرى. فالدقّة تُشترى، لكنّ ثمنها يرتفع بشدّة، ولهذا لا تُنقَذ الدراسة ضعيفة القوّة بإضافة بضعة أفراد - وهي نقطة تجعلها الدرس الثالث كمّية.

ما الذي يشتريه لك هذا

ثلاث أفكار، وعليها يقوم بقيّة المسار.

التقدير سحبة من توزيع، فالسؤال الأمين ليس أبداً «ما الجواب؟» بل «كيف تتصرّف هذه الوصفة عبر العيّنات التي كان يمكن أن أسحبها؟».

والخطأ ينقسم إلى تصويب وتبعثر، والقسمة دقيقة. وتحسين مقدّر يعني عادةً المبادلة بينهما لا إلغاء أحدهما.

والدقّة تتحسّن كـ$\sqrt{n}$، فهي تُشترى بثمن صاعد ويجب أن تُدرج في الميزانية قبل جمع البيانات لا أن يُرجى حصولها بعده.

وفي الدرس التالي نلحق بالتقدير مدىً، فنجد أنّ الوصفة المعتادة تعد بأكثر ممّا تسلّم.