الرياضيات
الآلة الرياضية التي تعمل عليها كلّ خوارزمية تعلّم: الجبر الخطّي، والتفاضل، والهندسة التي تجعل البيانات عالية الأبعاد تتصرّف على غير ما يتوقّعه الحدس.
المسارات (9)
أسس الاحتمالات والإحصاء
الاستدلال الدقيق في ظل عدم اليقين، ثم الوصول إلى المسألة المركزية في التعلّم: الفصل بين الخطأ الذي يمكن إزالته والخطأ الذي لا يمكن.
المنطق وتمثيل المعرفة
التقليد الآخر في الذكاء الاصطناعي: تمثيل ما يعرفه النظام بعبارات صادقة أو كاذبة، واشتقاق ما يلزم عنها - بضمانات لا يقدّمها نموذج مُتعلَّم.
البحث والاستدلالات
أقدم فكرة ناجعة في الذكاء الاصطناعي: صف المسألة بحالات وأفعال، ثم دع استكشافًا منهجيًا يجد المسار. والاستراتيجية التي تختارها هي ما يقرّر هل الجواب أمثل، وهل تنفد الذاكرة قبل أن تجده.
التعلّم غير المُشرَف عليه
إيجاد البنية في بيانات لا استجابة فيها تُتنبَّأ، ومواجهة اللازم بصراحة: فبلا y لا خطأ محجوزًا، ووجب الدفاع عن كل اختيار بوجه آخر.
آلات متّجهات الدعم
صنّف باختيار أوسع شريحة تفصل بين فئتين، ثم أرخِ الشرط ليجلس بضع نقاط داخلها، وأخيرًا اثنِ الحدّ من غير أن تبني قطّ الفضاء الذي انثنى فيه.
تجاوز الخطّية
أبقِ المربّعات الصغرى وغيّر ما تنحدر عليه: دوالّ الأساس الثابتة تشتري الانحناء، والقيود تشتري الملاسة، والجزاء يشتري منحنًى يختار مرونته بنفسه.
الأمثلة من أجل التعلّم
كل نموذج في هذا الموقع يُلاءم بالحلقة نفسها: انظر إلى الميل، ثم اخطُ خطوة. وما يحسم أتقارب هذه الحلقة في أربعين خطوة أم تتباعد في ثلاث ليس النموذج - بل الانحناء والضجيج وحجم الخطوة. وثلاثتها تُقاس قبل أن تبدأ أول حقبة تدريب.
النظرية الإحصائية للتعلّم
لماذا تخبرك ملاءمة عيّنةٍ بشيء عن العالم الذي سُحبت منه، وما الذي تقيسه سعة فئة النماذج فعلاً، والنظرية القائلة إنّ لا طريقة هي الأفضل في كلّ مكان - مع ما لا تقوله تلك النظرية.
نظرية المعلومات
الموضع الوحيد في هذا الميدان الذي يُبلَغ فيه الحدّ بالضبط: العشوائية المعلوماتية أقصر ما يبلغه ترميز، وأفضل ترميز يبلغها، والزيادة المدفوعة ثمناً للتوزيع الخاطئ هي دالّة الخسارة التي تدرّب بها أصلاً.
الموسوعة (16)
نزول التدرج
خوارزمية تحسين تكرارية تُصغِّر دالةً عبر التقدّم المتكرر في الاتجاه المعاكس لتدرّجها.
انحدار التدرّج العشوائي
انحدار تدرّج تستعمل فيه كل خطوة تدرّجَ عيّنة عشوائية صغيرة من البيانات لا البيانات كلها، فتبادل اتجاهًا مضبوطًا بعدد أكبر بكثير من الخطوات لكل وحدة حساب.
عدد الشرط
نسبة أكبر انحناء إلى أصغر انحناء في سطح الخسارة، وهي وحدها تحدّد السرعة التي يمكن لانحدار التدرّج أن يتقارب بها عليه.
الانتشار العكسي
الخوارزمية التي تحسب تدرّج خسارة الشبكة العصبية بالنسبة إلى كل وزن، بتطبيق قاعدة السلسلة إلى الوراء عبر الشبكة.
الشريحة (السبلاين)
كثير حدود مجزّأ موصول عند نقاط مختارة تُسمّى العقد، ومقيَّد بحيث تبقى الدالة ومشتقاتها الدنيا متصلة هناك، فيعطي مرونة موضعية دون السلوك الجامح لكثير حدود عالي الدرجة.
آلة متجهات الدعم
مصنّف يفصل الفئات بالحدّ الذي يترك أوسع هامش ممكن، ولا تحدّده إلا أقرب نقاط التدريب.
تحليل المركّبات الرئيسية
أسلوب يعيد التعبير عن البيانات في إحداثيات جديدة غير مترابطة مرتَّبة بحسب مقدار التباين الذي تفسّره كل منها، فيتيح خفض الأبعاد بالاحتفاظ بأوائلها فقط.
بُعد فابنيك-تشيرفونينكيس
حجم أكبر مجموعة نقاط تستطيع عائلة من المصنّفات أن تعنونها بكلّ الطرائق الممكنة. وهو يقيس السعة بما تستطيع الفئة فعله لا بعدد أعضائها، وهذا ما يجعله صالحاً للعائلات اللانهائية.
التعلّم PAC
تعريف للقابلية للتعلّم يجب فيه على الخوارزمية أن تردّ، باحتمال عالٍ، فرضيةً خطؤها الحقيقي ضمن تسامح مختار - مستعملةً عدداً من العيّنات محدوداً سلفاً لا مكتشَفاً بعد الأمر.
تباعد كولباك-لايبلر
عدد البتّات الزائدة لكلّ رمز التي تُدفَع لوصف توزيع بترميز مبنيّ لتوزيع آخر. يساوي صفراً فقط حين يتطابق التوزيعان، ولا يكون سالباً أبداً، وليس متناظراً، فهو كلفة لا مسافة.
المعلومة المتبادلة
كم بتّة يخبرك بها رصد متغيّر عن متغيّر آخر. تساوي صفراً بالضبط حين يكون المتغيّران مستقلّين، وتلتقط اعتماداً من أيّ شكل لا الخطّيّ فقط، ولا يستطيع شيء يُحسَب بعدها أن يزيدها.
مرشّح كالمان
خوارزميّة الترشيح الدقيقة لحالة متّصلة تتحرّك خطّيًّا بضوضاء غاوسيّة وتُقاس خطّيًّا بضوضاء غاوسيّة، فتحمل الاعتقاد كلّه في متوسّط وتباين.
الدالّة الأُسّيّة المعيّرة
دالّة تحوّل متّجهًا من الدرجات الحقيقيّة إلى توزيع احتماليّ بأخذ أُسّ كلّ درجة والقسمة على المجموع، فتحفظ ترتيبها وتجعلها موجبة ومجموعها واحدًا.
القبليّ المرافق
قبليٌّ يُختار ليقع البعديّ في العائلة نفسها، فيصير التحديث البيزيّ حسابًا على الوسائط ويصير القبليّ مقروءًا عددَ مشاهدات متخيَّلة.
معادلة بلمان
شرط الاتّساق الذاتيّ القائل إنّ منفعة الحالة تساوي مكافأتها الفوريّة زائد القيمة المخصومة لأفضل فعل متاح منها، متوسَّطةً على النتائج التي لا يتحكّم فيها ذلك الفعل.
اتّساق القوس
خاصّيّة في مسألة قيود يكون فيها لكلّ قيمة في كلّ مجال قيمةٌ سانِدة واحدة على الأقلّ في كلّ مجال مجاور، والخوارزميّة التي تفرضها بحذف ما لا سند له.
المقالات (17)
أيّ توزيع خاطئ تريد؟
هدفٌ ثنائي المنوال، وغاوسيّة واحدة، واتّجاهان للتباعد نفسه. تصغير KL(P||Q) يمدّ الغاوسيّة على المنوالين بلا كتلة تُذكر حيث يقيم الهدف فعلًا؛ وتصغير KL(Q||P) يضعها على منوال واحد عند 0.6931 نات، وهي ln 2 حتى أربعة أرقام عشرية لا مصادفة. وكل مواءمة يحكم عليها المعيار الآخر بالكارثة: 2.0976 مقابل 15.2799.
السمتان اللتان تبدوان ضجيجًا
متغيّرٌ يحدّد آخر بارتباط قدره 0.0000000000 بالضبط، وزوجُ سماتٍ كل معلومة متبادلة ثنائيّة بينهما وبين الهدف تساوي صفرًا بالضبط بينما يحدّدانه معًا تمامًا. والغربلة أحاديّة المتغيّر تطرح الاثنتين، والحالة الثانية هي المهمّة: فالسمات التي تحذفها تُحذف لأنّها مهمّة.
المبرهنة التي لا تقول شيئًا عن مسألتك
بالمتوسّط على الدوالّ الـ256 من ثلاث بتّات إلى واحدة، يسجّل متعلّمُ أقرب جار ومتعلّمٌ بُني ليخطئ عمدًا 0.500000 بالضبط خارج بيانات التدريب. تلك هي مبرهنة انعدام الغداء المجّاني، وهي صحيحة بالضبط، وما إن يُقصَر المتوسّط على الدوالّ الستّ التي تعتمد على بتّ واحد حتى يفترق الاثنان إلى 0.333333 و0.666667.
أبطأ اتّجاه هو الذي يحدّد الإيقاع
حجم الخطوة المسموح به يحدّده أشدّ الاتّجاهات انحدارًا، وعدد الخطوات اللازم يحدّده أكثرها استواءً، فتكون كلفة النزول الاشتقاقي نسبتهما. المواءمة نفسها بالمربّعات الصغرى، وحتى العشرة أرقام العشريّة نفسها، تحتاج 1742 خطوة في أساس، و147 في أساس مُعاد قياسه، وخطوة واحدة بالضبط في أساس متعامد متجانس، والزخم لا يسترجع إلّا الجذر التربيعي للنسبة.
وسيط واحد، وسعة لا نهائيّة
مصنّف بوسيط حقيقي واحد يحقّق جميع الوسوم الـ1,048,576 لعشرين نقطة في كل مرّة، ثم يتنبّأ بالنقطة الحادية والعشرين بدقّة 0.5038 على عشرين ألف تجربة. فعدّ الوسائط لا يحدّ سعة صنف النماذج من أعلى ولا من أسفل، ولهذا وجب قياس السعة بطريق آخر.
مليون بند، أم واحد وستّون
تحويل صيغة قصيرة إلى الصورة العطفيّة النظاميّة بالتوزيع يعطي 1,048,576 بندًا و20,971,520 حرفًا؛ وتسمية الصيغ الجزئيّة تعطي 61 بندًا و160 حرفًا، أي بعامل 131,072 في الأحرف، ولا يضيع بذلك شيء البتّة: فعدد نماذج الصيغتين واحد، وقد فُحص ذلك استقصاءً. فالترميز، لا الحلّال، هو موضع الكسب أو الخسارة في مسألة القابليّة للإرضاء.
لماذا ينجح التعلّم من البيانات أصلاً
الفجوة بين الخطأ الذي تقيسه والخطأ الذي ستتحمّله، ولماذا يجعل انتقاء الأفضل من ألف فرضية متطابقة الأمر يبدو أفضل من الصدفة بـ0.1149، وكيف تُعدّ السعة لفئات النماذج اللانهائية، والنظرية التي تُساوي بين كلّ المتعلّمين - مع الافتراض الذي يصدّقها.
الحدّ الذي يُبلَغ فعلاً
العشوائية المعلوماتية ليست ملخّصاً لتوزيع بل أرضية يبلغها أفضل ترميز إلى آخر منزلة عشرية، والزيادة المدفوعة ثمناً للتوزيع الخاطئ هي بالضبط الخسارة التي يصغّرها كلّ مصنّف أصلاً، والمعلومة المتبادلة تضع سقفاً صلباً على كلّ ما يلي المستشعر. ثلاث نتائج، كلّ واحدة أحدّ من المعتاد.
ما هي الشبكة العصبية؟
الطبقات بوصفها تحويلات مُبارَمة، والمرور الأمامي، ولماذا ليست العمقُ واللاخطية اختياريتين: برهان على أن طبقة خطية واحدة لا تستطيع حساب XOR، وشبكة من طبقتين تفعل ذلك، محلولة يدوياً بالكامل.
الاحتمالات من الصفر: لغة اللايقين
بناء الاحتمالات من الأساس: العوالم الممكنة، وفضاء العيّنة، والبديهيتان الأساسيتان، ثم قاعدتا الجمع والضرب، كلٌّ منها مشتقّة لا مُسلَّم بها، مع أمثلة عددية محلولة.
الإنتروبيا والمعلومات
قياس اللايقين بالبتّات: إنتروبيا شانون ولماذا اللوغاريتم بالأساس 2، ومكسب المعلومات محلولاً على قسمة، وكيف ترتبط الإنتروبيا المتقاطعة وتباعد كولباك-لايبلر بالإنتروبيا وبدوال الخسارة التي تدرّب المصنِّفات.
مبرهنة بايز وتحديث الاعتقاد
اشتقاق مبرهنة بايز من تعريف الاحتمال الشرطي، ثم حلّ مثال معدّل الأساس الذي يخدع الجميع تقريباً مرتين: مرة بالصيغة ومرة بالعدّ الخالص.
ما هو التعلّم الإحصائي؟
الإطار الكامن وراء كل نموذج تنبّؤي: تقدير دالة مجهولة f من البيانات، والفصل بين الخطأ القابل للتقليص وغير القابل له، ولماذا يشدّ التنبّؤ والاستدلال في اتجاهين متعاكسين.
مقايضة التحيّز والتباين
التفكيك الدقيق لخطأ الاختبار المتوقّع إلى مربّع التحيّز والتباين والضجيج غير القابل للتقليص، مبرهَناً عددياً بمحاكاة من 2000 تكرار تُقاس فيها الحدود الثلاثة كلٌّ على حدة ويُتحقّق من أن مجموعها يطابق.
الانحدار الخطي من المبادئ الأولى
اشتقاق معاملات المربّعات الصغرى باشتقاق مجموع مربّعات البواقي، ثم تنفيذ ملاءمة كاملة على خمس مشاهدات يدوياً: المعاملات والقيم المُلائَمة والبواقي وRSS ومعامل التحديد، وكلٌّ منها متحقَّق منه عددياً.
الانتشار العكسي والنزول التدرّجي
كيف تتعلّم الشبكة العصبية: الخسارة بوصفها دالة في الأوزان، والنزول التدرّجي، والانتشار العكسي بوصفه قاعدة السلسلة مطبَّقةً إلى الوراء، مع حساب كل مشتقّة جزئية لشبكة صغيرة يدوياً والتحقّق منها مقابل الاشتقاق التلقائي.
نظرية الألعاب وتوازن ناش
الاستدلال الاستراتيجي حين لا يكون اللاعبون متعارضين تعارضاً صارماً: الاستراتيجيات المهيمنة، ومعضلة السجينين محلولةً من مصفوفة عوائدها، وتوازن ناش، وأمثلية باريتو، ولماذا قد يتعارض التوازن والكفاءة.
الأدوات (1)
مجموعات البيانات (1)
البحث (4)
On Computable Numbers, with an Application to the Entscheidungsproblem
يعرض آلة مجرّدة تقرأ رموزاً وتكتبها على شريط وفق جدول قواعد منتهٍ، ويستخدمها ليبيّن أنه لا يوجد إجراء عام يقرّر ما إذا كان برنامج اعتباطي يتوقّف.
A Mathematical Theory of Communication
يعرّف المعلومات تعريفاً كمّياً، ويقدّم الإنتروبيا مقياساً للايقين المصدر، ويبرهن حدوداً على الضغط بلا فقد وعلى الإرسال الموثوق عبر قناة مشوّشة.
Equilibrium Points in N-Person Games
يبرهن أن لكل لعبة منتهية، أياً كان عدد لاعبيها، نقطة توازن واحدة على الأقل، بشرط أن يُسمح للاعبين باستراتيجيات مختلطة.
Support-Vector Networks
يعرض آلة المتجهات الداعمة بهامش ليّن، تفصل الفئات بأوسع هامش ممكن مع السماح بانتهاكات محدودة، وتستخدم النوى للحصول على حدود لاخطية.
المشاريع (2)
Neural Network From Scratch
شبكة أمامية التغذية في NumPy مع انتشار خلفي مُشتقّ يدويًا، مُتحقَّق منه بالتدرّجات العددية، فيُبرهَن حساب التفاضل بدل الوثوق به.
Statistical Learning Toolkit
المربّعات الصغرى والانحدار اللوجستي وريدج ولاسو والتحقق المتقاطع k-fold، مُنفَّذة من معادلات التقدير ومُدقَّقة مقابل scikit-learn.