الإمكان الأعظم مع البيانات الكاملة

كل ما سبق كان يأخذ النموذج الاحتمالي مُعطى: شبكةً جداولها مملوءة، وتوزيعًا غاوسيًا بمتوسطه وتباينه. ولا بدّ أن أحدًا قد وفّر تلك الأعداد. وهذا الدرس عن مصدرها حين يكون كل متغير في النموذج مرصودًا - وهي الحالة التي تتبين سهلةً إلى حدّ يكاد يُحرج، والتي يستحق فهم سهولتها قبل أن ينزعها الدرس التالي.

إمكان مجموعة بيانات

ثبّت نموذجًا معالمه $\theta$. إمكان مجموعة البيانات $\mathbf{d} = d_1, \ldots, d_N$ هو الاحتمال الذي يسنده النموذج إلى تلك الرصدات بالضبط. وإذا كانت الأمثلة مستقلة بمعلومية المعالم فذلك الاحتمال جداء:

$$P(\mathbf{d} \mid h_\theta) = \prod_{j=1}^{N} P(d_j \mid h_\theta).$$

وتقدير الإمكان الأعظم هو قيمة $\theta$ التي تجعل هذا المقدار أكبر ما يمكن. ولاحظ ما جرى إلغاؤه بالافتراض: لا يظهر أي توزيع قبلي على $\theta$، فتُعامَل كل قيمة للمعلمة على أنها متساوية المعقولية قبل وصول البيانات. وهذا اختيار مقصود، والدرس التالي عن ثمنه.

ثلاث خطوات

يبيع صانع حلوى أكياسًا فيها نسبة مجهولة $\theta$ من قطع الكرز، وباقيها ليمون. تفتح 25 قطعة فتجد 18 منها كرزًا. فكم يساوي $\theta$؟

الخطوة الأولى: اكتب الإمكان. مع $c = 18$ كرزة و$\ell = 7$ ليمونات،

$$P(\mathbf{d} \mid h_\theta) = \theta^{c} \, (1 - \theta)^{\ell} = \theta^{18} (1 - \theta)^{7}.$$

الخطوة الثانية: خذ اللوغاريتم واشتقّ. يحوّل اللوغاريتم الجداء إلى مجموع، وهو ما يجعل المشتقة قابلة للمعالجة:

$$L(\mathbf{d} \mid h_\theta) = c \log \theta + \ell \log(1 - \theta), \qquad \frac{dL}{d\theta} = \frac{c}{\theta} - \frac{\ell}{1 - \theta}.$$

الخطوة الثالثة: صفّرها. يعطي ذلك $c(1-\theta) = \ell\theta$، ومن ثم

$$\theta = \frac{c}{c + \ell} = \frac{c}{N} = \frac{18}{25} = 0.72 .$$

فرضية الإمكان الأعظم تقول إن نسبة الكرز في الكيس تساوي النسبة المرصودة. وبحثٌ على شبكة تغطي مليوني قيمة لـ $\theta$ يوافق ذلك إلى ست منازل عشرية، ولوغاريتم الإمكان عندها $-14.823833$، مقابل $-14.847959$ عند $\theta = 0.70$ و$-14.849407$ عند $\theta = 0.74$.

ومن حق المرء أن يشعر بأنه خُدع: فآلة ثقيلة أنتجت الجواب الذي كان أي عاقل ليكتبه فورًا. لكن المهم ليس الجواب؛ المهم أن الخطوات الثلاث نفسها تظل تعمل حيث لا يقترح نفسه أي جواب بديهي.

لماذا أخذ اللوغاريتم آمن

مبرّران، وكلاهما مهم. رياضيًا، الدالة $\log$ متزايدة تمامًا، فهي لا تزحزح موضع القيمة العظمى بل ارتفاعها فقط. وحاسوبيًا، جداء آلاف الاحتمالات ينهار إلى الصفر في الفاصلة العائمة، بينما لا ينهار مجموع آلاف اللوغاريتمات. والتطبيقات الفعلية تشتغل في الفضاء اللوغاريتمي للسبب الثاني بعد أن يكون السبب الأول قد نُسي بزمن.

معالم كثيرة دفعة واحدة

لنفترض الآن أن للحلوى غلافًا أيضًا، أحمر أو أخضر، يُختار باحتمال يتوقف على النكهة. للنموذج ثلاث معالم: $\theta$ للنكهة، و $\theta_1 = P(\text{red} \mid \text{cherry})$، و $\theta_2 = P(\text{red} \mid \text{lime})$. وتتوزّع قطعنا الخمس والعشرون على 12 كرز-أحمر، و6 كرز-أخضر، و2 ليمون-أحمر، و5 ليمون-أخضر.

الإمكان جداء على أربعة أصناف من الحلوى، ولوغاريتمه

$$L = 12 \log(\theta\theta_1) + 6 \log(\theta(1 - \theta_1)) + 2 \log((1 - \theta)\theta_2) + 5 \log((1 - \theta)(1 - \theta_2)).$$

انشر لوغاريتمات الجداءات فيحدث شيء نافع: كل حدّ يذكر $\theta_1$ لا يذكر شيئًا سواه. فالمشتقات الجزئية الثلاث معادلات مستقلة إذن، وكل واحدة منها هي مسألة المعلمة الواحدة محلولةً من جديد:

$$\theta = \frac{18}{25} = 0.72, \qquad \theta_1 = \frac{12}{18} = 0.666667, \qquad \theta_2 = \frac{2}{7} = 0.285714 .$$

وتشغيل نيلدر–ميد على الإمكان الكامل ذي المعالم الثلاث يستقر في حدود $1.4 \times 10^{-8}$ من تلك القيم، عند لوغاريتم إمكان يساوي $-30.468975$.

وهذا الانفكاك هو سبب رخص تعلّم شبكة بايزية من بيانات كاملة. فكل جدول احتمالات شرطية يُلاءَم بالعدّ داخل حالة الاشتراط الخاصة به، بمعزل عن كل جدول آخر، بلا بحث ولا تكرار. ويستحق الشرط الذي يجعل ذلك صحيحًا أن يُسمّى: يجب أن تكون البيانات كاملة، أي كل متغير مرصودًا في كل مثال. اكسر ذلك تتوقف الحدود عن الانفصال، وتلك بالضبط هي الصعوبة التي يواجهها الدرس الثالث.

ويسهل تصديق الانفصال متى صار على الشاشة ثلاثة أعداد. والصورة أدناه تعرض لوغاريتم الأرجحيّة مقسومًا إلى حدوده الثلاثة، حدٌّ لكلّ وسيط. ادفع ثيتا1 إلى أيّ من الطرفين، فلا يتزحزح حدّ النكهة رقمًا واحدًا، ولهذا لا تستطيع ثيتا التي تُعظّم المجموع أن تتزحزح هي الأخرى.

والإعداد الثاني هو الإخفاق الذي يختم هذا الدرس، وهو ينكسر على وجهين لا على وجه واحد. فبعد حبّة كرز واحدة يصير تقدير النكهة 1، فيغدو الليمون مستحيلًا. أمّا ثيتا2 فحالها أسوأ: حدّها صفر مهما كانت القيمة، فالحالة الشرطيّة التي لم تُشاهَد قطّ تترك صفًّا كاملًا من الجدول غير محدّد لا سيّئ التحديد. وبدء كلّ عدّ من واحد يُصلح الاثنين، ومن هناك يبدأ الدرس التالي.

الحالة المتصلة

لا تأبه الوصفة بكون المتغير منفصلًا. فمن أجل $N$ رصدة من توزيع غاوسي مجهول المتوسط $\mu$ والانحراف المعياري $\sigma$،

$$L = N\left(-\log\sqrt{2\pi} - \log\sigma\right) - \sum_{j=1}^{N} \frac{(x_j - \mu)^2}{2\sigma^2},$$

وتصفير المشتقتين الجزئيتين يعطي

$$\mu = \frac{\sum_j x_j}{N}, \qquad \sigma = \sqrt{\frac{\sum_j (x_j - \mu)^2}{N}} .$$

متوسط العينة و - لاحظ المقام - جذر متوسط مربع الانحراف عنه. وعلى عشر قياسات مجموعها 51.0 ومجموع انحرافاتها التربيعية 3.98، يكون $\mu = 5.1$ و$\sigma = 0.630872$، حيث كانت القسمة على $N - 1$ ستعطي $0.664998$. والقيمتان تختلفان بالعامل $\sqrt{N/(N-1)} = 1.054093$.

فأيهما الصحيح؟ كلتاهما، لسؤالين مختلفين. القسمة على $N$ تعظّم الإمكان فعلًا؛ والقسمة على $N-1$ تعطي فعلًا مقدّرًا غير متحيّز لتباين المجتمع. ولم يُطلب من الإمكان الأعظم قط أن يكون غير متحيّز، وهو ليس كذلك. والوضوح بشأن المعيار النافذ يوفّر قدرًا كبيرًا من اللبس.

وفي هذا الاشتقاق مكافأة. لائم نموذجًا غاوسيًا خطيًا - $y$ طبيعي حول $\theta_1 x + \theta_2$ بتباين ثابت - فيكون الجزء الوحيد من لوغاريتم الإمكان المتوقف على المعالم هو $-\sum_j (y_j - \theta_1 x_j - \theta_2)^2$. وتعظيمه هو تصغير مجموع مربعات الأخطاء. فالمربعات الصغرى ليست دالة خسارة مريحة اختارها التقليد؛ إنها الإمكان الأعظم في ظل ضجيج غاوسي.

الإخفاق القادم

افتح قطعة حلوى واحدة فتجدها كرزًا، فتعلن الوصفة $\theta = 1/1 = 1$: الكيس كله كرز، وقطعة الليمون مستحيلة. لا مستبعدة - بل مستحيلة، باحتمال صفر تمامًا، وهي دعوى لا يُخرج منها أي قدر لاحق من الشواهد بالضرب.

وليس هذا أثرًا جانبيًا للعينات الصغيرة عمومًا؛ إنه ما يفعله الإمكان الأعظم بأي حدث لم يشاهده بعد. فهو يقرأ «لم يُرصد» على أنه «لا يمكن أن يقع». والعلاج المعتاد ميدانيًا أن تهيّئ كل تكرار عند واحد بدل الصفر، وهو ما يبدو ترقيعًا ويتبيّن في الدرس التالي أنه توزيع قبلي متنكّر.

قبل الاختبار

ثلاث خطوات: اكتب الإمكان، اشتقّ لوغاريتمه، صفّر المشتقة. ومع البيانات الكاملة تنفصل المعالم، فتصير ملاءمة شبكة كاملة مجموعةَ مسائل عدّ مستقلة. وتعطي الحالة الغاوسية متوسط العينة وانحرافًا معياريًا مقسومًا على $N$، وتفسّر لماذا تكون المربعات الصغرى دالة الخسارة الصحيحة في ظل ضجيج غاوسي. وهذا الجهاز كله يسند احتمالًا صفرًا إلى ما لم يشاهده بعد.