فهم حالة الاعتقاد
حين يعجز العميل عن رصد الحالة التي يشغلها، لا يكون الشيء الطبيعي للاستدلال هو الحالة بل التوزيعَ على الحالات المتسقة مع تاريخه. وذلك هو حالة الاعتقاد. وهي إحصاءة كافية للماضي كله: فبمعلومية الاعتقاد لا يضيف أي فعل أو إدراك سابق شيئًا إلى التنبؤ بالمستقبل، وهو ما يتيح المضيّ في التخطيط من الاعتقاد وحده لا من تاريخ لا ينفكّ ينمو.
وصيانتها عَودية واحدة. فبمعلومية اعتقاد وفعل وإدراك ناتج، يُحصَل على الاعتقاد الجديد بدفع القديم عبر نموذج الانتقال، ثم الضرب نقطةً نقطة في احتمال الإدراك في كل حالة خلف مرشَّحة، ثم إعادة التسوية. وهذه بالضبط الخطوة الأمامية لترشيح نماذج ماركوف الخفية؛ والإضافة الوحيدة أن نموذج الانتقال صار يتوقف على الفعل الذي اختاره العميل.
والحقيقة البنيوية الحاسمة أن حالة الاعتقاد مرصودة للعميل بحكم التعريف - فهي ملخّص لتاريخه هو لا للعالم. وذلك ما يجعلها صالحة متغيرَ حالة. فالسياسة التي تقول «إن كنت في الحالة 3 فافعل كذا» لا يستطيع تنفيذها عميل لا يعرف أهو في الحالة 3؛ أما السياسة على الاعتقادات فيستطيع دائمًا.
وتتجاوز حالات الاعتقاد التخطيط الاحتمالي بكثير. ففي البحث بلا مستشعر والبحث الاحتمالي يكون الاعتقاد مجموعةَ حالات ممكنة لا توزيعًا، ويجري البحث على تلك المجموعات. وفي النماذج الزمنية يكون التوزيع المرشَّح على الحالة الراهنة حالةَ اعتقاد تُصان بالعَودية نفسها. وفي عمليات القرار الماركوفية جزئية الرصد يصير فضاء الاعتقادات فضاءَ حالات مسألةٍ مكافئة تامّة الرصد.
كيفية الحساب
b'(s') = α · P(e | s') Σ_s P(s' | s, a) b(s)
حيث
- b'(s')
- الاحتمال المحدَّث لكون العميل في الحالة s′ بعد الفعل والإدراك
- P(e | s′)
- نموذج الاستشعار: مدى ترجيح هذا الإدراك في الحالة المرشَّحة
- P(s' | s, a)
- نموذج الانتقال للفعل الذي اتُّخذ فعلًا
- α
- ثابت التسوية الذي يجعل مجموع الاعتقاد الجديد واحدًا
مثال على حالة الاعتقاد
خذ عالمًا ذا حالتين يستمر فيه فعل باحتمال 0.9 ويبدّل الآخر باحتمال 0.9، ويعلن المستشعر الحالة الصحيحة باحتمال 0.6. فمن اعتقاد منتظم يترك كلا الفعلين التنبؤَ منتظمًا - إذ الاستمرار والتبديل سواء انطلاقًا من قسمة 50/50 - فيقوم الإدراك بالعمل كله، وقراءةُ «الحالة 1» تنقل الاعتقاد إلى 3/5 بالضبط.
وتراكم الثقة أصعب من فقدها. فاعتقاد قدره 0.99 يأخذ فعل الاستمرار ثم يلقى إدراكًا مناقضًا واحدًا ينهار إلى 446/527 = 0.846300، ومعظم ذلك من تسريب الانتقال، الذي ينزل وحده بـ0.99 إلى تنبؤ قدره 0.892؛ بينما ثمانية إدراكات مؤكِّدة متتالية من 0.5 لا ترفعه إلا إلى 0.817218.
وهو لا يبلغ الواحد أبدًا. فتكرار فعل الاستمرار مع الإدراك نفسه إلى الأبد يتقارب إلى (3 + √105)/16 = 0.827934، وهي النقطة التي توازن عندها الشواهدُ الجاذبة للاعتقاد إلى الخارج ضجيجَ الانتقال الدافع له نحو المنتصف. فعلى العميل إذن أن يخطّط وهو ما يزال غير متيقن، وتلك هي كل صعوبة الرصد الجزئي.
الأسئلة الشائعة
بم تختلف عن حالة نموذج ماركوف الخفي؟
هي الشيء نفسه - التوزيع المرشَّح على الحالة الخفية - مضافةً إليه الأفعال. ففي نموذج ماركوف الخفي تقع الانتقالات على العميل؛ أما في صياغة حالات الاعتقاد فيختار العميل أي نموذج انتقال ينطبق، فيؤثر في ما سيتعلّمه بقدر تأثيره في وجهته.
هل يتقارب الاعتقاد دائمًا؟
لا إلى اليقين، ولا بالضرورة إلى نقطة واحدة. فمع مستشعر مشوَّش وانتقالات عشوائية يستقر في منطقة يحدّدها التوازن بينهما، ومع مستشعرات كافية الإخبار ودينامية بطيئة كفايةً قد تضيق تلك المنطقة. وافتراض التقارب إلى الحقيقة خطأ شائع ومكلف.
لماذا تُعدّ إحصاءة كافية؟
لأن نموذجَي الانتقال والاستشعار ماركوفيان: فالحالة التالية تتوقف على الحالة والفعل الراهنين فقط، والإدراك على الحالة الراهنة فقط. فكل ما لدى التاريخ ليقوله عن المستقبل موجود سلفًا في التوزيع الحالي على الحالات.
الخلاصة
حالة الاعتقاد هي توزيع العميل على المواضع التي قد يكون فيها، مصانةً بعَودية الترشيح ومتاحةً له دائمًا. والتخطيط على الاعتقادات لا على الحالات هو ما يجعل المسائل جزئية الرصد قابلةً للحلّ من حيث المبدأ - وكون الاعتقادات تشكّل متصلًا هو ما يجعلها صعبة عمليًا.