معالجة اللغات الطبيعية

جعل اللغة قابلة للحساب: التمثيل، ونماذج التسلسل، والانتباه، ونماذج اللغة التي تلت ذلك.

14 عناصر

المسارات (1)

نماذج اللغة والذكاء الاصطناعي التوليدي

كيف يصير النصّ أرقامًا، وكيف يتيح الانتباه لرمزٍ أن يجمع السياق من التسلسل كلّه، وما الذي يفعله التدريب المسبق ثم الضبط الدقيق بالأوزان فعلًا.

الموسوعة (3)

التقطيع إلى رموز

عملية تقسيم النص إلى الوحدات المنفصلة التي يعمل عليها نموذج اللغة فعلًا، وهي عادةً أجزاء كلمات لا كلمات كاملة.

الانتباه الذاتي

آلية تتيح لكل موضع في متتالية أن ينتبه إلى كل موضع آخر، فيُحسب كل مخرج مجموعًا موزونًا لقيم تأتي أوزانها من تشابه الاستعلامات والمفاتيح.

المحوّل

معمارية عصبية مبنية على طبقات مكدّسة من الانتباه الذاتي والتغذية الأمامية، حلّت محلّ التكرارية معيارًا لنمذجة المتتاليات.

المقالات (3)

كيف يصير النص أرقاماً يستطيع النموذج التدرّب عليها: بناء مفردات، ولماذا لا يحتاج ترميز أزواج البايتات إلى وحدة «مجهول» قط، وطبقة التضمين بوصفها استرجاعاً يمكن البرهان على أنه متجه أحادي مضروب في مصفوفة، ولماذا يجب إعادة حقن الموضع يدوياً.

معمارية المحوّل

تركيب GPT من الانتباه: إسقاطات متعدّدة الرؤوس، وتسوية الطبقة محلولةً يدوياً، ولماذا تنقذ وصلات الاختصار التدرّج، وتوسّع شبكة التغذية الأمامية أربع مرات، وعدّ بارامترات يعيد إنتاج GPT-2 الصغير عند 124 مليوناً بالضبط.

الانتباه والانتباه الذاتي

الاستعلامات والمفاتيح والقيم مبنيةً من الأساس: لماذا وُجد الانتباه، وكيف يُحسب انتباه الجداء القياسي المقيس، ولماذا يُقسم على جذر البُعد، وكيف يعمل الإقناع السببي، مع حساب كل مصفوفة والتحقّق منها.

الأدوات (1)

مستكشف أوزان الانتباه

حرّر متجه الاستعلام وشاهد انتباه الجداء القياسي المُقيَّس وهو يتحوّل إلى أوزان سوفت‑ماكس ثم إلى مجموع موزون، مع درجة الحرارة والقسمة على √dₖ كمفتاحين يمكنك تبديلهما.

مجموعات البيانات (1)

مراجعات أفلام IMDB

50,000 مراجعة فيلم موسومة إيجابيةً أو سلبية - معيار مرجعي لتصنيف النصوص الثنائي، متوازن بحكم البناء.

البحث (4)

Neural Machine Translation of Rare Words with Subword Units

يكيّف ترميز أزواج البايتات لتقطيع النص، ببناء مفردات فرعية عبر دمج أكثر أزواج الرموز المتجاورة تكراراً مراراً، فتتفكّك الكلمات النادرة إلى شظايا معروفة.

Attention Is All You Need

يعرض المحوّل، وهو معمارية مبنيّة كلياً من طبقات انتباه وتغذية أمامية بلا تكرار، طُوّرت أصلاً للترجمة الآلية.

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

يدرّب مسبقاً مُرمِّز محوّل على التنبّؤ بوحدات مقنَّعة باستخدام السياق من الجهتين، ثم يضبط النموذج نفسه ضبطاً دقيقاً على مهام لاحقة برأس صغير خاص بالمهمة.

Language Models are Few-Shot Learners

يصف GPT-3 ويبيّن أن نموذج لغة بمفكِّك ترميز وحده وبحجم كافٍ يستطيع أداء مهام جديدة من حفنة أمثلة تُقدَّم في مطالبته، بلا أي تحديث تدرّجي.

المشاريع (1)

GPT From Scratch

محوّل بمفكّك ترميز فقط، مبني مكوّنًا تلو الآخر - المُرمِّز، التضمينات، الانتباه، الكتل، وحلقة التدريب المسبق - دون أي شيفرة نمذجة مستوردة من مكتبة.