الحدّ الذي يُبلَغ فعلاً

أكثر الحدود في تعلّم الآلة رخوة. تثبت أنّ خطأً ما لا يتجاوز شيئاً، فيكون ذلك الشيء هائلاً، وتكون قيمة النتيجة في شكلها لا في رقمها.

ونظرية المعلومات استثناء، وهذا ما يجعلها جديرة بساعات قليلة. فثلاث من كمّياتها المركزية حدود تُبلَغ، وكلّ واحدة منها تتبيّن شيئاً تستعمله أصلاً دون أن تسمّيه بهذا الاسم.

أوّلاً: أقصر ما يبلغه ترميز

خذ أربعة رموز باحتمالات $\tfrac12$ و$\tfrac14$ و$\tfrac18$ و$\tfrac18$. العشوائية المعلوماتية

$$H = \sum_x p(x)\log_2\frac{1}{p(x)} = 1.75$$

والآن ابنِ أفضل ترميز بادئيّ بدمج أقلّ الرمزين احتمالاً مرّةً بعد مرّة. تخرج الأطوال 1 و2 و3 و3 بتّات، ومتوسّطها 1.7500 بتّة، أي العشوائية إلى كلّ منزلة عشرية. وترميز ثابت الطول يحتاج بتّتين، فالتوفير 12.5٪.

والمطابقة تامّة لأنّ كلّ طول مثاليّ $\log_2(1/p)$ هنا عدد صحيح. غيّر المصدر إلى $(0.6,\ 0.25,\ 0.1,\ 0.05)$ فتزول التمامية: عشوائية 1.4905، وأفضل ترميز 1.5500. فالطول المثاليّ لرمز احتماله 0.6 هو 0.737 بتّة، ولا كلمة ترميز طولها 0.737.

والعلاج ترميز عدّة رموز معاً ليتقاسم خطأ التقريب:

اقتراب من فوق، دون تجاوز. ولاحظ ما لا يحدث: الرموز مستقلّة، فلا زيادة بينها تُستثمَر ولا تتغيّر العشوائية لكلّ رمز أبداً. وإنّما تتحسّن الحبيبيّة وحدها.

والقراءة العملية هي التي تستحقّ الحفظ. فإن تجاوز ضاغط العشوائية التي حسبتها فليست المبرهنة في مأزق: توزيعك كان خاطئاً. والعشوائية قول عن نموذج، وهذا يجعلها أداة نمذجة لا خاصّية لملفّ.

ثانياً: ما الذي يكلّفه التوزيع الخاطئ

أنت لا تعرف $p$ أبداً. فرمّز المصدر نفسه بالترميز الأمثل لتوزيع آخر $q$، وليكن المنتظم، وقِس الفاتورة:

$$\underbrace{2.0000}_{H(p,q)} = \underbrace{1.4905}_{H(p)} + \underbrace{0.5095}_{\mathrm{KL}(p\|q)}$$

بتّتان لكلّ رمز بالضبط، تنقسمان بالضبط إلى عشوائية المصدر زائد زيادة. وتلك الزيادة هي تباعد كولباك-لايبلر.

انظر على أيّ شيء يعتمد كلّ حدّ. فـ$H(p)$ خاصّية للعالم: لا يغيّرها نموذج، وهي التوأم المعلوماتيّ للخطأ غير القابل للاختزال في تفكيك التحيّز والتباين. أمّا $\mathrm{KL}(p\|q)$ فهي نموذجك بالكامل.

فتصغير العشوائية المتقاطعة على النماذج هو تصغير التباعد عن الحقيقة بالضبط. ويتبع ذلك أمران فوراً: لا يمكن للخسارة أن تبلغ الصفر على مصدر مضجّج، فخسارة تدريب تقترب من الصفر تعني حفظاً لا تعلّماً؛ وتصغير العشوائية المتقاطعة هو الإمكان الأعظم بوحدات أخرى.

ليس مسافة

خذ مصدراً يبثّ رمزاً واحداً 98٪ من الوقت.

التوزيعان نفسهما، وجهة تكلّف أكثر قليلاً من ضعف الأخرى.

فـ$\mathrm{KL}(p\|q)$ تهيمن عليها النتائج التي يُنتجها $p$ ويعدّها $q$ بعيدة الاحتمال، فتصغيرها ينشر النموذج ليغطّي ما يقع. و$\mathrm{KL}(q\|p)$ تعاقب العكس، فتصغيرها يجعل النموذج يلتزم منطقة واحدة. والاختيار قرار نمذجة، ولهذا تكون الطرق التغايرية التي تأخذ الجهة الثانية باحثةً عن المنوال.

وهي غير محدودة

الخسارة على مثال واحد هي $\log_2(1/q)$ للقيمة الحقيقية:

فنموذج يصيب 95٪ من الوقت وهو موقن في الـ5٪ التي يخطئها يُقيَّم أسوأ بكثير من نموذج يصيب بالقدر نفسه ويتحفّظ. والدقّة لا ترى هذا الفرق؛ أمّا العشوائية المتقاطعة فمصنوعة منه. وهذا يفسّر أيضاً قفزة في منحنى الخسارة لا تتحرّك معها الدقّة: أمثلة قليلة خاطئة بثقة تهيمن على التدرّج.

ثالثاً: ماذا يقول متغيّر عن آخر

الآلة نفسها، مطبَّقة على زوج، تجيب برقم واحد عن سؤال هندسيّ وسؤال في النمذجة.

فلقناة تقلب كلّ بتّة باحتمال $f$ تكون السعة $1 - H(f)$:

فعند $f = 0.1$ تصيب القناة تسعاً من كلّ عشر ولا تحمل إلّا ما يزيد قليلاً على نصف بتّة: فالإصابة والمعلومة ليستا عملة واحدة. وعند $f = 0.5$ لا تحمل شيئاً البتّة، لأنّ توزيع المخرَج يصير واحداً مهما أُرسل. وعند $f = 0.9$ تعود إلى 0.5310: فالكاذب المطّرد يساوي الصادق المطّرد.

الاعتماد الذي يقول عنه الارتباط صفراً

ولّد بتّتين مستقلّتين واجعل الهدف «أو» الحصريّة بينهما. على 200000 سحبة:

وكلّ القراءات صحيحة. فلا مدخل بمفرده يقول شيئاً، والمعلومة المتبادلة، التي تلتقط اعتماداً من أيّ شكل لا الخطّيّ فقط، توافق. والزوج يحدّد الهدف بالضبط.

فـأيّ فرز للمتغيّرات يرتّبها واحداً واحداً يطرحهما معاً، بتقرير نظيف تماماً. وليست الحالة غريبة: دواء لا ينفع إلّا بوجود مورّثة، أو عطل لا يقع إلّا حين يختلف ضبطان. والعلاج تقييم المجموعات الجزئية، أو ترك نموذج يمثّل التفاعلات يراها معاً.

وتحذير: تقدير المعلومة المتبادلة أصعب من تقدير ارتباط. فعلى متغيّرات متّصلة تعتمد على التقسيم إلى فئات، وهي متحيّزة صعوداً في العيّنات الصغيرة، فقيمة مرتفعة على نقاط قليلة قد تكون صوت المقدِّر لا أكثر.

السقف الذي لا يرفعه شيء

قِس قناة الـ10٪ فتحصل على 0.5329 بتّة عمّا أُرسل، موافقةً للقيمة النظرية 0.5310. ثمّ امسح ثلاث بتّات مستقبَلة من كلّ عشر إلى 0 وقِس ثانية: 0.2763 بتّة.

نزلت، ولا معالجة تستطيع أن ترفعها ثانية. فلأيّ سلسلة $X \to Y \to Z$،

$$I(X;Z) \le I(X;Y)$$

لأنّ $Z$ محسوب من $Y$ ولا يرى من $X$ إلّا ما مرّره $Y$. والنتائج صريحة:

• التراميز تعمل بإضافة زيادة قبل الإرسال؛ ولا فاكّ ترميز يستعيد ما أتلفته القناة
• لا نموذج، مهما بلغ عمقه، ينتزع عن التسمية أكثر ممّا تحمله متغيّراته: فالطبقات دوالّ لطبقات، والسقف مضبوط عند المدخل
• وكلّ خطوة معالجة أوّلية، من التكميم إلى حذف عمود، لا تستطيع إلّا أن تفقد معلومة، وقد تكون تلك هي المقايضة الصحيحة، لكن ينبغي أن تكون قراراً لا ترتيباً روتينياً

يمسح النصّ أعلاه بتّات، أما الشكل فيستخدم قناةً ثانية بنسبة 10٪ موصولة على التوالي. وحين يكون احتمالا القلب كلاهما 0.10 تقرأ خانة بعد المعالجة القيمة 0.3199 بتّة لا 0.2763 المذكورة أعلاه، وكلتاهما دون ما حملته القناة. والمتباينة تصحّ لكلّ خيار؛ أما الرقم فيتبع الخيار الذي تتّخذه.

لماذا يعود هذا دائماً

الضغط والاتّصالات ودوالّ الخسارة في تعلّم الآلة هي الكمّيات الثلاث نفسها بلباس مختلف. العشوائية هي الأرضية. والعشوائية المتقاطعة ما تدفعه حين يكون توزيعك خاطئاً، وفائضها على الأرضية هو ما ظلّ مُحسِّنك يخفّضه طوال الوقت. والمعلومة المتبادلة ما يقوله متغيّر عن آخر، وهي تحدّ كلّ ما يليها.

وليست أيّ منها استدلالاً تقريبياً، وهذا نادر في هذا الميدان بما يكفي ليستحقّ العصر الذي يلزم لتعلّمها كما ينبغي.