تعلّم Q

دالة القيمة على الحالات وحدها ليست قابلة للتنفيذ مباشرةً بلا نموذج: فمعرفة أن حالة مجاورة ثمينة لا تخبرك أي فعل يبلغها، ما لم تكن احتمالات الانتقال معلومة. وتتجاوز دالة Q هذا بإلحاق القيم بأزواج الحالة-الفعل مباشرةً، فيكون أفضل فعل في حالةٍ هو ببساطة صاحب أعلى قيمة Q.

ويوضّح راسل ونورفيغ النتيجة صراحةً: لأن المتعلّم الحائز لدالة Q لا يحتاج نموذج انتقال لا للتعلّم ولا لاختيار الفعل، فتعلّم Q طريقة بلا نموذج. وهو يتصل بدالة قيمة الحالة عبر المطابقة القائلة إن قيمة الحالة هي أعظم قيمة Q على الأفعال المتاحة فيها.

ويمضي التعلّم عبر تحديثات الفرق الزمني. فبعد أخذ فعل ورصد المكافأة والحالة الناتجة، يكوّن العميل هدفًا: المكافأة المتلقاة زائد أفضل قيمة Q مخصومة متاحة عند الحالة الجديدة. والفجوة بين هذا الهدف والتقدير الحالي هي خطأ الفرق الزمني، ويُدفع التقدير نحو الهدف بكسر يحدّده معدل التعلّم.

والخوارزمية خارج السياسة، وهذه أنفع خصائصها البنيوية. فالتحديث يأخذ دائمًا الأعظم على الأفعال التالية، فيتعلم السياسة المثلى بصرف النظر عن سلوك العميل الفعلي أثناء جمع التجربة. وهذا يتيح استكشافًا مقصودًا، عادةً بنهج ε-الجشع: أخذ أفضل فعل معلوم في معظم الأحيان وفعل عشوائي أحيانًا، دون إفساد ما يُتعلَّم.

في عالم شبكي يحتفظ العميل بجدول فيه مدخل لكل زوج حالة-فعل، مهيّأ اعتباطيًا. ويتصرف على نهج ε-الجشع، ويرصد المكافأة والخلية التالية، ويطبّق التحديث. وفي البداية تكون التقديرات بلا معنى ويبدو السلوك عشوائيًا.

وتنتشر المعلومات رجوعًا من المكافأة. ففي أول مرة يُبلَغ فيها الهدف ترتفع قيمة Q للفعل الذي دخل الهدف. وفي زيارة لاحقة للحالة التي تسبقه يرى التحديثُ أعظمَ قيمةٍ صارت أكبر عند الحالة التالية، فترتفع قيمته هو أيضًا. وهكذا تنتشر القيمة من الهدف خطوةً واحدة لكل زيارة.

وهذا الانتشار الرجعي هو أيضًا الضعف العملي للطريقة: فمع المكافآت المتناثرة قد يلزم عدد هائل من الحلقات لتبلغ الإشارةُ الحالاتِ التي تُتخذ فيها القرارات المبكرة الحاسمة. وتشكيل المكافأة وتقنيات إعادة التشغيل موجودة في معظمها لتسريعه.