نمذجة اللغة

نمذجة اللغة

التضمينات الدلالية، مثل Word2Vec وGloVe، هي فعلًا أول خطوة باتجاه نمذجة اللغة: نبني نماذج تقدر تفهم طبيعة اللغة، أو على الأقل تمثّلها.

الفكرة الأساسية في نمذجة اللغة إننا ندرّب النماذج على مجموعات بيانات ما عليها تسميات، وبطريقة غير خاضعة للإشراف. هالنقطة مهمة لأن النصوص اللي ما عليها تسميات متوفرة بكميات هائلة، بينما كمية النصوص المصنّفة تظل محدودة بالوقت والجهد اللي نقدر نحطه في التصنيف. وغالبًا نقدر نبني نماذج لغة تتنبأ بالكلمات الناقصة من النص؛ لأن إخفاء كلمة عشوائية واستخدامها عينة تدريب شغلة سهلة.

تدريب التضمينات

في الأمثلة اللي راحت استخدمنا تضمينات دلالية مدرّبة مسبقًا. والحين خلونا نشوف كيف ندرّب هالتضمينات بأنفسنا. عندنا أكثر من فكرة:

• نمذجة اللغة بـ N-Gram: نتنبأ بالرمز بالنظر إلى آخر N رموز قبله (N-gram).
• نموذج حقيبة الكلمات المستمر (CBoW): نتنبأ بالرمز الأوسط $W_0$ ضمن تسلسل الرموز $W_{-N}$, ..., $W_N$.
• Skip-gram: نتنبأ بالرموز المجاورة {$W_{-N},\dots, W_{-1}, W_1,\dots, W_N$} انطلاقًا من الرمز الأوسط .

وصف الشكل: صورة من بحث يشرح تحويل الكلمات إلى متجهات

الصورة مأخوذة من هالبحث.

✍️ دفاتر تطبيقية: تدريب نموذج CBoW

كملوا التعلّم بهالدفترين:

• تدريب CBoW Word2Vec باستخدام TensorFlow
• تدريب CBoW Word2Vec باستخدام PyTorch

الخلاصة

شفنا في الدرس اللي فات إن تضمينات الكلمات تعطي نتائج كأنها سحر! والحين عرفنا إن تدريبها مب معقّد لهالدرجة، ونقدر عند الحاجة ندرّب تضميناتنا على نصوص خاصة بمجال معيّن.

المراجعة والتعلّم الذاتي

• الشرح الرسمي من PyTorch عن نمذجة اللغة.
• الشرح الرسمي من TensorFlow عن تدريب نموذج Word2Vec.
• تشرح هالوثائق كيف تستخدمون إطار gensim لتدريب أشهر التضمينات بكم سطر من الكود.

🚀 التكليف: درّبوا نموذج Skip-Gram

في المختبر، بنتحداكم تعدّلون كود هالدرس عشان يدرّب نموذج Skip-Gram بدل CBoW. اقروا التفاصيل.