الشبكة العصبية

الشبكة العصبية كومة من الطبقات، تؤدي كل منها عمليتين. فأولًا تضرب خطوة خطية القيمَ الواردة في مصفوفة أوزان وتضيف انحيازًا. ثم تُطبَّق دالة تفعيل غير خطية على كل عنصر. ومخرج طبقة هو مدخل التالية، فتكون الشبكة ككل تركيبًا متداخلًا بعمق من هذه القطع البسيطة.

واللاخطية ليست زينة. فتركيب تحويلات خطية يعطي تحويلًا خطيًا آخر، ومن ثمّ فشبكة بأي عمق بلا دالة تفعيل تكافئ تمامًا طبقة خطية واحدة ولا تستطيع تمثيل شيء زائد. واللاخطية بين الطبقات هي ما يتيح للتركيب التعبير عن دوال لا تستطيعها طبقة واحدة.

وما يشتريه العمق هو التمثيل التركيبي. فالطبقات الأولى تتعلم بنية بسيطة موضعية، والطبقات اللاحقة تجمعها في سمات مجرّدة أكثر فأكثر. وهذا مُتعلَّم لا مصمَّم: فلا يُقال للشبكة إلا ما تتنبأ به وكم هي مخطئة الآن، وتنبثق التمثيلات الوسيطة من تحسين ذلك الهدف.

والتدريب آلية تعلّم مُوجَّه اعتيادية. فدالة خسارة تقيس الفجوة بين التنبؤات والأهداف، والانتشار العكسي يحسب تدرج تلك الخسارة بالنسبة إلى كل وزن، ومحسِّن يخطو بالأوزان نزولًا. وكل ما عدا ذلك - دوال التفعيل وطبقات التسوية والوصلات المتبقّية والمنظِّمات - موجود لجعل هذا التحسين يعمل بموثوقية عند العمق.

شبكة صغيرة لتصنيف صور أرقام رمادية بحجم 28×28 تفرد كل صورة إلى 784 مدخلًا، وتمرّرها عبر طبقتين خفيّتين من بضع عشرات من الوحدات لكلٍّ منهما مع تفعيلات ReLU، وتنتهي بطبقة مخرجات من 10 وحدات مع softmax، فتعطي احتمالًا لكل رقم.

ويوضّح شوليه هذا الشكل تحديدًا: طبقات كثيفة بأحجام ‎784 → 32 → 64 → 32 → 10‎، مع ReLU على الطبقات الخفيّة وsoftmax على المخرج. ويحوّل softmax الدرجات النهائية إلى توزيع احتمالي على الفئات العشر، وهو ما يقترن بخسارة الإنتروبيا المتقاطعة.

وعدد المعاملات ينمو سريعًا. فالطبقة الأولى وحدها تضمّ ‎784 × 32‎ وزنًا زائد 32 انحيازًا، أي ما يفوق 25,000 معامل، ولهذا تحتاج حتى الشبكات المتواضعة إلى بيانات وافرة أو إلى تنظيم، ولهذا تُفضَّل للصور المعمارياتُ التي تتشارك الأوزان مثل الطبقات الالتفافية.