تعلّم الأعداد في نموذج احتمالي

كل نموذج احتمالي نوقش حتى الآن وصل وأعداده في مواضعها سلفًا. فالشبكة البايزية جاءت بجداول احتمالاتها الشرطية مملوءة؛ والتوزيع الغاوسي جاء بمتوسط وتباين. ولا بدّ أن أحدًا وضعها هناك. وهذا المقال عن كيفية ذلك، وهو ينقسم قسمين واضحين: الحالة التي يكون فيها كل متغير مرصودًا، وهي سهلة سهولةً تكاد تكون تافهة، والحالة التي لا يكون فيها متغير كذلك، وهي تقتضي خوارزمية مغايرة فعلًا.

أ. الإمكان والخطوات الثلاث

ثبّت نموذجًا معالمه $\theta$. إمكان مجموعة بيانات هو الاحتمال الذي يسنده النموذج إلى الرصدات التي حصلت عليها بالضبط، وهو جداء إذا كانت الأمثلة مستقلة:

$$P(\mathbf{d} \mid h_\theta) = \prod_{j=1}^{N} P(d_j \mid h_\theta).$$

ويختار التقدير بالإمكان الأعظم قيمة $\theta$ التي تعظّم هذا المقدار. والوصفة واحدة دائمًا في ثلاث خطوات: اكتب الإمكان، واشتقّ لوغاريتمه، وصفّر المشتقة.

افتح 25 قطعة حلوى من كيس نسبة الكرز فيه $\theta$ مجهولة فتجد 18 منها كرزًا. عندئذ $P(\mathbf{d} \mid h_\theta) = \theta^{18}(1-\theta)^{7}$، ومن ثم

$$L = 18\log\theta + 7\log(1-\theta), \qquad \frac{dL}{d\theta} = \frac{18}{\theta} - \frac{7}{1-\theta} = 0 \;\Rightarrow\; \theta = \frac{18}{25} = 0.72 .$$

وشبكة على مليوني قيمة لـ $\theta$ توافق ذلك إلى ست منازل عشرية: فلوغاريتم الإمكان $-14.823833$ عند $0.72$، مقابل $-14.847959$ عند $0.70$ و$-14.849407$ عند $0.74$.

والجواب هو النسبة المرصودة، وهو ما كان أي أحد ليخمّنه. وقيمة الاشتقاق أنه يبرهن أن ذلك التخمين هو المُعظِّم، وأن الخطوات الثلاث نفسها تظل تعمل حيث لا يقترح التخمين نفسه.

ويستحق أخذ اللوغاريتم دفاعًا مرتين. رياضيًا لا يمكنه إزاحة قيمة عظمى، لأن $\log$ متزايدة تمامًا. وحاسوبيًا، جداء آلاف الاحتمالات ينهار إلى الصفر في الفاصلة العائمة بخلاف مجموع اللوغاريتمات - ولهذا يعيش كود الإنتاج في الفضاء اللوغاريتمي.

ب. لماذا تجعل البيانات الكاملة الشبكة رخيصة

أعطِ الحلوى غلافًا أيضًا، أحمر أو أخضر، باحتمال يتوقف على النكهة. صارت المعالم ثلاثًا: $\theta$، و$\theta_1 = P(\text{red} \mid \text{cherry})$، و$\theta_2 = P(\text{red} \mid \text{lime})$. ومع 12 كرز-أحمر و6 كرز-أخضر و2 ليمون-أحمر و5 ليمون-أخضر،

$$L = 12\log(\theta\theta_1) + 6\log(\theta(1-\theta_1)) + 2\log((1-\theta)\theta_2) + 5\log((1-\theta)(1-\theta_2)).$$

انشر اللوغاريتمات فيتبيّن أن كل حدّ يحوي $\theta_1$ لا يحوي شيئًا سواه. والمشتقات الجزئية معادلات مستقلة، كل واحدة منها مسألة المعلمة الواحدة من جديد:

$$\theta = 0.72, \qquad \theta_1 = \tfrac{12}{18} = 0.666667, \qquad \theta_2 = \tfrac{2}{7} = 0.285714 .$$

ونيلدر–ميد على الإمكان الكامل ذي المعالم الثلاث يستقر في حدود $1.4 \times 10^{-8}$ من هذه القيم، عند لوغاريتم إمكان $-30.468975$.

وذلك الانفكاك هو كل سبب سرعة تعلّم شبكة بايزية من بيانات كاملة. فكل جدول احتمالات شرطية يُلاءَم بالعدّ داخل حالة اشتراطه، بلا بحث ولا تكرار - مجموعةُ مسائل عدّ مستقلة لا أمثلة مشتركة واحدة.

يُفتح الشكل ومزلاجا الغلاف على القيمتين المقرّبتين $0.67$ و$0.29$، فيقرأ لوغاريتم الإمكان الكلّي فيه $-30.469740$. اضغط ثبّت على التقديرات المعدودة فتنتقل المزالج إلى قيم الإمكان الأعظم، وينتقل المجموع إلى $-30.468975$ المذكور أعلاه.

ج. الحالة المتصلة، ولماذا المربعات الصغرى

من أجل $N$ سحبة من توزيع غاوسي، يعطي تصفير المشتقتين الجزئيتين

$$\mu = \frac{\sum_j x_j}{N}, \qquad \sigma = \sqrt{\frac{\sum_j (x_j - \mu)^2}{N}} .$$

لاحظ المقام. فعلى عشر قياسات مجموعها $51.0$ ومجموع انحرافاتها التربيعية $3.98$، يكون $\mu = 5.1$ و$\sigma = 0.630872$، حيث تعطي القسمة على $N-1$ القيمة $0.664998$ - بفارق عامل $\sqrt{N/(N-1)} = 1.054093$. وكلاهما جواب صحيح لسؤال مختلف: أحدهما يعظّم الإمكان والآخر غير متحيّز. ولم يُطلب من الإمكان الأعظم قط أن يكون غير متحيّز.

وتسقط نتيجة نافعة من ذلك. لائم $y$ طبيعيًا حول $\theta_1 x + \theta_2$ بتباين ثابت، فيكون الجزء الوحيد من لوغاريتم الإمكان المتوقف على المعالم هو $-\sum_j (y_j - \theta_1 x_j - \theta_2)^2$. فتصغير الخطأ التربيعي هو الإمكان الأعظم في ظل ضجيج غاوسي، وذلك سبب كون المربعات الصغرى الخيار الافتراضي لا مجرد تقليد مريح.

د. ما يفعله بحدث لم يشاهده

افتح قطعة واحدة فتجدها كرزًا، فتعلن الوصفة $\theta = 1$: الليمون مستحيل، باحتمال صفر تمامًا، وهي دعوى لا يُخرج منها أي شاهد لاحق بالضرب. فالإمكان الأعظم يقرأ «لم يُرصد بعد» على أنه «لا يمكن أن يقع».

والإصلاح البايزي توزيع قبلي. ومن أجل $\theta \in [0,1]$ يكون الخيار الطبيعي توزيع بيتا، وخاصيته النافعة الترافق: فتوزيع قبلي $\text{Beta}(a,b)$ مع $c$ كرزة و$\ell$ ليمونة يعطي توزيعًا بعديًا $\text{Beta}(a+c, b+\ell)$. والتحديث جمع، ويبقى البعدي في العائلة نفسها، فيمكن تحديث الاعتقاد إلى الأبد دون أن يكبر التمثيل.

ويسلك $\text{Beta}(a,b)$ مسلك $a+b-2$ مشاهدة متخيَّلة معدودة سلفًا. وانظر إلى $\text{Beta}(2,2)$ - قطعة متخيَّلة من كل نكهة - يعالج الحالة المرَضية:

يؤدي التوزيع القبلي عمله مبكرًا ثم يتنحّى: فهو الفرق بين $0.6$ وادّعاء اليقين عند رصدة واحدة، ويساوي ثلاثة أجزاء ونصف من الألف عند 250. ولاحظ أيضًا أن الإمكان الأعظم هو بالضبط MAP في ظل توزيع قبلي منتظم، وأن إضافة واحد إلى كل تكرار - الترقيع الميداني المعتاد - هو المتوسط البعدي في ظل $\text{Beta}(1,1)$. لقد كان توزيعًا قبليًا منذ البداية.

هـ. بايز الساذج، وصفرٌ واحد

يفترض نموذج بايز الساذج أن السمات مستقلة شرطيًا بمعلومية الصنف، فيكون $P(C, x_1, \ldots, x_n) = P(C)\prod_i P(x_i \mid C)$: أي $2n+1$ معلمة من أجل $n$ سمة منطقية، تُلاءَم كلها بالعدّ.

خذ 14 بحثًا مصنّفةً نظرية أو تطبيقية، موصوفةً بما إذا كان كلٌّ منها يحوي برهانًا، ويستعمل مجموعة بيانات، ويورد معيار أداء. ستة نظرية وثمانية تطبيقية، فتكون التوزيعات القبلية $3/7$ و$4/7$:

بحثٌ فيه برهان ولا شيء غيره يسجّل $5/21$ مقابل $1/448$، أي احتمالًا بعديًا قدره $320/323 = 0.990712$. معقول.

والآن انظر إلى الصفر. لا يورد أي بحث نظري معيار أداء، فيكون $P(\text{benchmark} = 1 \mid \text{theory}) = 0$. صنّف بحثًا فيه برهان وبلا مجموعة بيانات ومع معيار أداء: درجة النظري جداء يحوي ذلك الصفر، فتكون صفرًا تمامًا. والاحتمال البعدي $P(\text{theory})$ صفر مهما كان البرهان ومهما كان التوزيع القبلي. فقيمة سمة غائبة عن بيانات التدريب تملك حق نقض على التنبؤ برمّته - وفي تصنيف النصوص، حيث تغيب أكثر الكلمات عن أكثر الأصناف، تلك هي الحال المعتادة لا حالة حديّة.

ويحوّل تنعيم إضافة الواحد $0/6$ إلى $1/8$، فيسجّل البحث نفسه $105/4096$ مقابل $27/1000$: أي احتمالًا بعديًا قدره $4375/8983 = 0.487031$ مقابل $0.512969$. تعادلٌ شبه تام وصادق بدل يقين، ولا يزال المصنّف المنعَّم يصنّف الأبحاث الأربعة عشر كلها تصنيفًا صحيحًا.

وافتراض الاستقلال باطل بالطبع - فالأبحاث ذات معايير الأداء تميل إلى امتلاك مجموعات بيانات - وحيثما كانت السمات مترابطة داخل الصنف الواحد عُدّ الشاهد المشترك مرتين، فلا ينبغي تصديق الاحتمالات. أما الترتيبات فتصمد رغم ذلك، لأن القرار $\arg\max$ ولأن العدّ المزدوج يميل إلى تضخيم الدرجتين معًا. ثق بالصنف لا بالعدد.

و. حين يتعذّر عدّ التكرارات

كل ما سبق احتاج بيانات كاملة. أخفِ متغيرًا - من أي عنقود جاءت النقطة، وأي موضوع كتب الوثيقة - فيصير إمكان المثال المرصود مجموعًا على ما كان يمكن أن يكونه المتغير الخفي:

$$P(x \mid \theta) = \sum_{z} P(x, Z = z \mid \theta).$$

ولوغاريتم المجموع لا ينشطر، فلا تنفكّ المعالم بعد ذلك ولا توجد صيغة مغلقة تُصفَّر.

ويستبدل التوقع–التعظيم بالتكرارات التي يتعذّر عدّها تكراراتٍ متوقَّعة:

$$\theta^{(i+1)} = \arg\max_{\theta} \sum_{z} P(Z = z \mid \mathbf{x}, \theta^{(i)}) \, L(\mathbf{x}, Z = z \mid \theta).$$

تحسب خطوة التوقع التوزيع البعدي للمتغيرات الخفية في ظل المعالم الحالية - والعضوية الكسرية التي تنالها نقطة هي مسؤوليتها. وتطبّق خطوة التعظيم صيغ البيانات الكاملة مع إحلال مجموع المسؤوليات محل كل تكرار. ومن أجل مزيج غاوسي يكون ذلك

$$r_{jk} = \frac{w_k \mathcal{N}(x_j \mid \mu_k, \sigma_k)}{\sum_{k'} w_{k'} \mathcal{N}(x_j \mid \mu_{k'}, \sigma_{k'})}, \qquad w_k = \frac{n_k}{N}, \quad \mu_k = \frac{\sum_j r_{jk}x_j}{n_k}, \quad \sigma_k = \sqrt{\frac{\sum_j r_{jk}(x_j - \mu_k)^2}{n_k}},$$

حيث $n_k = \sum_j r_{jk}$. وهذه هي صيغ القسم ج الغاوسية، موزونةً.

ز. تشغيلة مقيسة، وحيث تخسر المتوسطات k

عشرون نقطة على مستقيم: ثمانٍ من مركّبة ضيقة قرب الصفر ($-0.8$ و$-0.7$ و$-0.2$ و$0.0$ و$0.1$ و$0.5$ و$1.1$ و$1.3$) واثنتا عشرة من مركّبة أعرض بكثير قرب الخمسة ($1.7$ و$3.0$ و$3.3$ و$3.4$ و$4.0$ و$4.2$ و$4.6$ و$4.8$ و$6.9$ و$7.1$ و$7.2$ و$9.2$)، مع حجب التسميات.

ومن بداية فجّة - متوسطان 0 و5، وانحرافان معياريان كلاهما 1 - يرتفع لوغاريتم الإمكان من $-56.616239$ إلى $-46.633131$ في 82 تكرارة، من غير أن يهبط قط، ويستقر على

$$w = (0.347288, 0.652712), \quad \mu = (0.128189, 4.581627), \quad \sigma = (0.731077, 2.367312).$$

وأخذ المسؤولية الأكبر لكل نقطة يستعيد التسميات المحجوبة العشرين كلها.

يتوقّف الشكل عند التكرارة 81، أي قبل التكرارات الـ82 المذكورة أعلاه بواحدة، لأن معيار التوقّف فيه مختلف؛ أما لوغاريتم الإمكان عند البداية والنهاية، $-56.616239$ و$-46.633131$، فيطابق التشغيلة الموصوفة هنا.

والارتفاع الرتيب مضمون: فكل تكرارة تعظّم حدًّا أدنى يلامس لوغاريتم الإمكان عند المعالم الحالية، فالهبوط يعني علّة برمجية. أما الأمثلية الشاملة فليست مضمونة - إذ بلغت 385 إعادة من 400 القيمة $-46.633131$ وتوقفت 15 عند $-48.277387$، وهي نقطة ثابتة أسوأ لا يخرج منها أي تكرار.

والآن قارن المتوسطات k على النقاط نفسها. قسمتها المثلى - المتحقَّق منها بتعداد التقسيمات المتجاورة التسعة عشر، فليست نهاية صغرى محلية - مركزاها $0.333333$ و$5.245455$ ومجموع مربعاتها داخل العناقيد $47.347273$، وهي تضع $x = 1.7$ في العنقود الضيق. وذلك يبعد نقطة واحدة عن جواب EM ونقطة واحدة عن الحقيقة.

والسبب مفيد. تقع $x = 1.7$ على بعد $1.571811$ من المتوسط الضيق المُلاءَم و$2.881627$ من العريض، فالمسافة وحدها تسلّمها، والمسافة كل ما لدى المتوسطات k. أما EM فتقارن كثافات:

$$0.347288 \times \mathcal{N}(1.7 \mid 0.128189, 0.731077) = 0.018788, \qquad 0.652712 \times \mathcal{N}(1.7 \mid 4.581627, 2.367312) = 0.052436,$$

فتعطي مسؤوليتين قدرهما $0.263789$ و$0.736211$. فالمركّبة العريضة أوسع بمقدار 3.24 مرة وتحمل الوزن الأكبر، وكلاهما يهمّ. والنقطة أبعد عن تلك المركّبة ومع ذلك أرجح أن تكون قد جاءت منها.

والمسؤوليات في غير ذلك حاسمة في أكثرها لا في كلها: إذ تنقسم $x = 1.1$ إلى $0.677$ و$0.323$، وتنقسم $x = 1.3$ إلى $0.555$ و$0.445$. فـ EM تلائم أعراض المركّبات وأوزان المزيج، وهي ما لا تمثّله المتوسطات k أصلًا.

أهم النقاط

• مع البيانات الكاملة يكون الإمكان الأعظم ثلاث خطوات والجواب نسبةَ تكرارات؛ وتنفكّ معالم الشبكة، فتصير ملاءمتها مجموعةَ مسائل عدّ مستقلة.
• يقسم التوزيع الغاوسي للإمكان الأعظم على $N$ لا على $N-1$، وهو يفسّر كون المربعات الصغرى دالة الخسارة الصحيحة في ظل ضجيج غاوسي.
• يسند الإمكان الأعظم احتمالًا صفرًا إلى كل ما لم يُرصد، وهو ما يدمّر تنبؤ بايز الساذج بعامل صفري واحد. وتوزيع بيتا القبلي هو الإصلاح المبدئي، وتنعيم إضافة الواحد حالة خاصة منه.
• تضع المتغيرات الخفية مجموعًا داخل اللوغاريتم فتكسر الانفكاك. وتستبدل EM بالتكرارات تكراراتٍ متوقَّعة، ولا تخفض الإمكان أبدًا، ولا تبلغ سوى قيمة عظمى محلية - فأعِد تشغيلها.
• ولأن EM تنمذج العرض والوزن لا المسافة وحدها، فهي تستعيد بنى يعجز عنها الإسناد القاطع.

ما التالي

كل أمثلة EM هنا لاءمت نموذجًا ساكنًا. والخطوتان نفساهما تلائمان نموذجًا يتغير عبر الزمن - إذ تصير خطوة التوقع تنعيمًا أماميًا–خلفيًا، وسبب لزوم التنعيم لا الترشيح أن تقدير انتقال ما يحتاج شواهد لاحقة لوقوعه.