النماذج اللغوية الكبيرة المدرّبة مسبقًا

النماذج اللغوية الكبيرة المدرّبة مسبقًا

تتعلّم النماذج اللغوية المسبقة التدريب أنماطًا من متون نصية واسعة باستخدام أهداف مثل توقّع الرمز التالي. بعدها نقدر نكيّفها بالتعليمات، أو بأمثلة داخل الموجّه، أو بالضبط الدقيق. كلمة GPT تشير إلى عائلة من المحوّلات التوليدية المسبقة التدريب؛ والنجاح من دون تحديث الأوزان يعتمد على المهمة وجودة السياق والتقييم، مب قدرة مضمونة لكل سؤال.

توليد النص ومقياس الحيرة

النموذج السببي يقدّر احتمال الرمز التالي اعتمادًا على الرموز السابقة:

$P(w_N \mid w_0, \ldots, w_{N-1})$

ومن هالتوزيع نقدر نولّد نصًا رمزًا بعد رمز، أو نقيّم وش كثر النموذج يتوقع متنًا محددًا. الحيرة (perplexity) هي أسّ متوسط الخسارة اللوغاريتمية على مجموعة تقييم؛ والأقل أفضل فقط إذا قارنا النماذج على البيانات نفسها وبطريقة التجزئة نفسها.

الحيرة ما تقيس صحة الحقائق، ولا السلامة، ولا فائدة الإجابة لمهمة فعلية. لذلك نستخدم معها تقييمات مرتبطة بالمهمة، وفحصًا بشريًا عند الحاجة، واختبارات منفصلة للموثوقية والتحيز.

إذا كانت الاحتمالات أو اللوغاريتمات جديدة عليكم، راجعوا أساسيات الاحتمال قبل إكمال الحسابات.

GPT عائلة من النماذج

GPT مب نموذجًا واحدًا. تمثل GPT-2 وGPT-3 وGPT-4 محطات تاريخية في توسيع نماذج المحوّلات، وتغيّرت معها طريقة الإتاحة والقدرات والتقييم:

هالجدول تاريخي، مب قائمة نماذج للاستخدام اليوم. تتغير أسماء النماذج وقدراتها وتوفرها؛ راجعوا صفحة النماذج الحالية وقت بناء مشروع.

هندسة الأوامر

الموجّه يجمع التعليمات والسياق والأمثلة وقيود المخرج اللي يحتاجها النموذج للمهمة. ابدؤوا بهدف واضح، وحددوا شكل الإجابة، ثم اختبروا الموجّه على مجموعة حالات ثابتة بدل الحكم من مثال واحد. إذا كانت المهمة تحتاج حقائق حديثة أو بيانات خاصة، استخدموا مصدرًا موثوقًا وآلية وصول مناسبة، ولا تفترضون إن صياغة الموجّه وحدها تضمن الصحة.

✍️ دفتر المثال: التجربة مع OpenAI-GPT

كمّلوا التعلّم في الدفتر التالي:

• توليد النص باستخدام OpenAI-GPT وHugging Face Transformers

الخلاصة

تقدر النماذج اللغوية المسبقة التدريب تنفّذ مهامًا من دون أمثلة أو بأمثلة قليلة داخل السياق، وقد تحتاج مهام ثانية إلى استرجاع معلومات أو أدوات أو ضبط دقيق. قيّموا النتيجة بأدلة مرتبطة بالمهمة، لأن الطلاقة والحيرة المنخفضة ما تضمنان الصحة.