التحسين
كيف يتعلّم النموذج فعلاً: دوالّ الهدف، والتدرّجات، والتحدّب، والخوارزميات التي تبحث في فضاء المعامِلات عن قاع سطح الخسارة.
المسارات (3)
تعلّم الآلة المُوجَّه
اشتقاق طرق التعلّم المُوجَّه الأساسية بدل الاكتفاء باستدعائها: المربعات الصغرى، والانحدار اللوجستي، وعقوبات الانكماش، وتجميعات الأشجار.
أسس التعلّم العميق
ما الذي تحسبه الشبكة العصبية فعلًا، وكيف تسلّم قاعدة السلسلة كل التدرّجات في تمريرة خلفية واحدة، ولماذا يكون الالتفاف هو الافتراض المسبق الصحيح للصورة.
آلات متّجهات الدعم
صنّف باختيار أوسع شريحة تفصل بين فئتين، ثم أرخِ الشرط ليجلس بضع نقاط داخلها، وأخيرًا اثنِ الحدّ من غير أن تبني قطّ الفضاء الذي انثنى فيه.
الموسوعة (8)
نزول التدرج
خوارزمية تحسين تكرارية تُصغِّر دالةً عبر التقدّم المتكرر في الاتجاه المعاكس لتدرّجها.
انحدار التدرّج العشوائي
انحدار تدرّج تستعمل فيه كل خطوة تدرّجَ عيّنة عشوائية صغيرة من البيانات لا البيانات كلها، فتبادل اتجاهًا مضبوطًا بعدد أكبر بكثير من الخطوات لكل وحدة حساب.
عدد الشرط
نسبة أكبر انحناء إلى أصغر انحناء في سطح الخسارة، وهي وحدها تحدّد السرعة التي يمكن لانحدار التدرّج أن يتقارب بها عليه.
جدول معدّل التعلّم
قاعدة تغيّر حجم الخطوة عبر التدريب: كبيرةً في البداية ليستطيع التنفيذ السفر، وصغيرةً في النهاية ليستطيع الاستقرار.
الانتشار العكسي
الخوارزمية التي تحسب تدرّج خسارة الشبكة العصبية بالنسبة إلى كل وزن، بتطبيق قاعدة السلسلة إلى الوراء عبر الشبكة.
التنظيم
أي تقنية تقيّد التعقيد الفعّال لنموذج بغية خفض التباين وتحسين التعميم، وعادةً بمعاقبة قيم البارامترات الكبيرة.
آلة متجهات الدعم
مصنّف يفصل الفئات بالحدّ الذي يترك أوسع هامش ممكن، ولا تحدّده إلا أقرب نقاط التدريب.
معادلة بلمان
شرط الاتّساق الذاتيّ القائل إنّ منفعة الحالة تساوي مكافأتها الفوريّة زائد القيمة المخصومة لأفضل فعل متاح منها، متوسَّطةً على النتائج التي لا يتحكّم فيها ذلك الفعل.
المقالات (6)
ما الذي يجعل التدريب يتقارب حقًا
فرقٌ بنسبة اثنين في المئة في معدّل التعلّم يفصل تنفيذًا متقاربًا عن آخر يبعد خمس مراتب عشرية، وعددُ شرطٍ يتنبأ بمعدّل التقارب إلى ست منازل عشرية، وانحدارُ التدرّج العشوائي بخطوة ثابتة لا يتقارب أبدًا - بل يستقر في كرة ينمو نصف قطرها بجذر الخطوة. وكل رقم هنا حُسب على مسألة يُعرف أمثلها بالضبط.
آلات متّجهات الدعم: الهوامش والنوى
لماذا تكون أوسع شريحة بين فئتين حدًّا جيّدًا، ولماذا يكون الإصرار على حدّ تامّ مهزومًا بذاته، وكيف تسترجع ميزانيةٌ للانتهاكات الثباتَ، وكيف تثني نواةٌ الحدَّ بالعمل في فضاء لا تضطرّ إلى بنائه قطّ.
الانحدار الخطي من المبادئ الأولى
اشتقاق معاملات المربّعات الصغرى باشتقاق مجموع مربّعات البواقي، ثم تنفيذ ملاءمة كاملة على خمس مشاهدات يدوياً: المعاملات والقيم المُلائَمة والبواقي وRSS ومعامل التحديد، وكلٌّ منها متحقَّق منه عددياً.
الانحدار اللوجستي والتصنيف
لماذا لا يستطيع المستقيم نمذجة احتمال، وكيف تعالج الدالة اللوجستية ذلك، وما معنى المعاملات بلغة لوغاريتم الأرجحية، مع خطوة صعود تدرّجي وملاءمة متقاربة محسوبتين ومتحقَّق منهما عددياً.
التنظيم: ريدج ولاسو
إضافة عقوبة على حجم المعاملات لمبادلة قليل من التحيّز بخفض كبير في التباين، ولماذا تصفّر عقوبة L1 معاملات بعينها تماماً بينما تكتفي L2 بتقليصها، مع ملاءمة الاثنتين عددياً.
الانتشار العكسي والنزول التدرّجي
كيف تتعلّم الشبكة العصبية: الخسارة بوصفها دالة في الأوزان، والنزول التدرّجي، والانتشار العكسي بوصفه قاعدة السلسلة مطبَّقةً إلى الوراء، مع حساب كل مشتقّة جزئية لشبكة صغيرة يدوياً والتحقّق منها مقابل الاشتقاق التلقائي.
الأدوات (1)
البحث (2)
Learning Internal Representations by Error Propagation
يقدّم الانتشار العكسي طريقةً عامة لتدريب الشبكات متعدّدة الطبقات، مبيّناً أن الطبقات المخفية تستطيع تعلّم تمثيلات داخلية نافعة بدل الحاجة إلى تصميمها يدوياً.
Support-Vector Networks
يعرض آلة المتجهات الداعمة بهامش ليّن، تفصل الفئات بأوسع هامش ممكن مع السماح بانتهاكات محدودة، وتستخدم النوى للحصول على حدود لاخطية.
المشاريع (2)
Neural Network From Scratch
شبكة أمامية التغذية في NumPy مع انتشار خلفي مُشتقّ يدويًا، مُتحقَّق منه بالتدرّجات العددية، فيُبرهَن حساب التفاضل بدل الوثوق به.
Statistical Learning Toolkit
المربّعات الصغرى والانحدار اللوجستي وريدج ولاسو والتحقق المتقاطع k-fold، مُنفَّذة من معادلات التقدير ومُدقَّقة مقابل scikit-learn.