ماذا تحسب الشبكة

الشبكة العصبية تركيب لدوال بسيطة بثوابت قابلة للضبط. ولا شيء في هذه الجملة مجازيّ، ويجعلها هذا الدرس ملموسة قبل أي تدريب.

الطبقة دالة ذات بارامترات

تحسب الطبقة المعيارية تامة الاتصال - أي الكثيفة -

$$\mathbf{h} = \sigma(W\mathbf{x} + \mathbf{b}),$$

حيث $W$ مصفوفة أوزان، و$\mathbf{b}$ متجه انحياز، و$\sigma$ لاخطية تُطبَّق عنصراً عنصراً. ويحدث أمران متمايزان: تطبيق أفيني $W\mathbf{x} + \mathbf{b}$، ثم لاخطية تُطبَّق على كل إحداثي على حدة.

وصياغة شولّيه مفيدة: الطبقات لبنات بناء التعلّم العميق، وشكل البيانات هو الذي يختار اللبنة. فالمتجهات تذهب إلى الطبقات الكثيفة؛ والمتتاليات في تنسورات ثلاثية الأبعاد تذهب إلى الطبقات التكرارية أو الالتفاف أحادي البعد؛ والصور في تنسورات رباعية الأبعاد تذهب إلى طبقات الالتفاف ثنائي البعد.

عدّ البارامترات

تحوي الطبقة الكثيفة من $n$ مدخلاً إلى $m$ مخرجاً مصفوفةً $m \times n$ زائد انحياز لكل وحدة خرج:

$$\text{parameters} = mn + m .$$

فمن 4 مدخلات إلى 3 مخرجات يكون ذلك $3 \times 4 + 3 = 15$. ونسيان متجه الانحياز هو الزلّة المعتادة ويعطي 12.

لماذا ليست اللاخطية اختيارية

لنفترض أننا أسقطنا $\sigma$ وكدّسنا ثلاث طبقات كثيفة:

$$W_3\big(W_2(W_1\mathbf{x} + \mathbf{b}_1) + \mathbf{b}_2\big) + \mathbf{b}_3 .$$

افتح الأقواس. تنهار مصفوفات الأوزان في جداء واحد $W = W_3W_2W_1$ وتنهار الانحيازات في متجه واحد، فيبقى $W\mathbf{x} + \mathbf{b}$ - وهو تطبيق أفيني. ثلاث طبقات، وعائلة الدوال هي بالضبط ما كانت طبقة واحدة قادرة على التعبير عنه أصلاً.

العمق وحده لا يشتري شيئاً. فتركيب التطبيقات الأفينية أفينيّ. ولا تصل القدرة التعبيرية التي يمنحها العمق إلا حين تقع لاخطية بين الطبقات، ولهذا تكون $\sigma$ بنيوية لا زخرفية.

ReLU، بدقّة

الاختيار المعياري هو الوحدة الخطية المقوّمة:

$$\text{ReLU}(z) = \max(0, z).$$

ويصفها راشكا ببساطة: إنها تقيّد المدخلات السالبة إلى 0. وهذا هو التعريف كلّه. فهي لا تضغط القيم في $(0,1)$ - تلك هي السيغمويد اللوجستية - ولا تسوّي شيئاً.

وأثرها في المرور الخلفي لا يقلّ أهمية عن أثرها في الأمامي: فالمشتقّة $1$ حيث $z > 0$ و$0$ حيث $z < 0$، ومن ثم فالوحدة الخاملة لمثال ما لا تمرّر عبرها أي تدرّج إلى الوراء لذلك المثال.

مرور أمامي محلول

مدخلان، ووحدتان مخفيّتان، وخرج واحد:

$$\mathbf{x} = \begin{bmatrix}1\\2\end{bmatrix}, \quad W^{(1)} = \begin{bmatrix}0.1&0.3\\0.2&0.4\end{bmatrix}, \quad W^{(2)} = \begin{bmatrix}0.5&-0.5\end{bmatrix}$$ $$\mathbf{z}^{(1)} = \begin{bmatrix}0.1(1)+0.3(2)\\0.2(1)+0.4(2)\end{bmatrix} = \begin{bmatrix}0.7\\1.0\end{bmatrix}$$

وكلا المدخلين موجب، فتتركهما ReLU دون تغيير، ويكون

$$\hat y = 0.5(0.7) - 0.5(1.0) = -0.15 .$$

ذلك العدد المفرد هو ما تعتقده الشبكة حالياً. ويسأل الدرس التالي عن مقدار خطئها ويدفع ذلك الخطأ إلى الوراء نحو كل وزن.

والصورة أدناه هي الشبكة نفسها في شريحة: المخرج بدلالة المدخل الأوّل، والمدخل الثاني على مِزلاج. انزع اللاخطّيّة فتصير الشريحة مستقيمًا، لأنّ الطبقتين تتضاربان فتعطيان الصفّ الواحد [-0.05، -0.05]. ويهبط البعد عن التآلفيّة إلى صفر بدقّة الآلة، فيصير الانهيار أمرًا تتحقّق منه لا أمرًا تسلّم به.

وأعِد ReLU وانتبه إلى موضعك. فعند المدخل المحلول (1، 2) تكون الوحدتان مشتغلتين، فلا يفعل المقوّم شيئًا البتّة، وتُرجع الشبكة وصورتها المنهارة كلتاهما -0.15. واللاخطّيّة لا تكسب أجرها إلّا بعبور حدّ: فعند (2، -1.5) تكون الوحدتان مطفأتين ويكون الجوابان 0 و-0.025.

فالعمق إذًا لا يشتري منحنى. إنّه يشتري مناطق، كلٌّ منها ما زال تطبيقًا تآلفيًّا، وانكسارات الشريحة هي بالضبط حيث تعبر إحدى ما قبل التنشيطات الصفر. وهذا جدير بأن يُحمَل إلى الدرس التالي، لأنّه أيضًا سبب كون الوحدة المطفأة لا تُرجع أيّ تدرّج.

تابع مع الانتشار العكسي والنزول التدرّجي للمعالجة العامة.