التدريب المسبق في باختصار

في سياق الذكاء الاصطناعي ، يصف التدريب المسبق عملية التدريب أ نموذج بمهمة واحدة حتى تتمكن من تكوين معلمات لاستخدامها في مهام أخرى.
• نموذج يتم تدريبه أولاً على مهمة أو مجموعة بيانات باستخدام المعلمات الناتجة لتدريب شخص آخر نموذج في مهمة أو مجموعة بيانات مختلفة. في جوهرها ، فإن نموذج يمكن أن يؤدي مهمة جديدة على أساس الخبرة السابقة.
ثلاث طرق للتدريب المسبق تشمل Word2vec و GPT و BERT. كل نموذج لها طريقتها الخاصة في تعلم البيانات لعمل تنبؤات.

في سياق الذكاء الاصطناعي ، يصف التدريب المسبق عملية التدريب أ نموذج بمهمة واحدة حتى تتمكن من تكوين معلمات لاستخدامها في مهام أخرى.

جدول المحتويات

ما قبل التدريب ، وهو عنصر أساسي في نموذج الذكاء الاصطناعي الحالي

لقد تبين أن التدريب المسبق هو أحد أهم جوانب نموذج الذكاء الاصطناعي الحالي ، حيث تحتاج النماذج اللغوية الكبيرة ، للتحول إلى محركات للأغراض العامة ، إلى تدريب مسبق.

لذلك ، يصبح التدريب المسبق ، من خلال هندسة المحولات ، بمثابة نقطة انطلاق لإنشاء الذكاء الاصطناعي نموذج متعدد الاستخدامات للغاية وقادر على التعميم عبر المهام ، وهذا هو الأساس ابتكار مما جعل الذكاء الاصطناعي قابلاً للتطبيق تجاريًا في الوقت الحالي.

فهم ما قبل التدريب

التدريب المسبق في الذكاء الاصطناعي مستوحى جزئيًا على الأقل من كيفية تعلم البشر. بدلاً من الاضطرار إلى تعلم موضوع من البداية ، نقوم بنقل المعرفة الحالية وإعادة توظيفها لفهم الأفكار الجديدة والتنقل في المهام المختلفة.

في الذكاء الاصطناعي نموذج، عملية مماثلة تتكشف. ال نموذج يتم تدريبه أولاً على مهمة أو مجموعة بيانات باستخدام المعلمات الناتجة لتدريب شخص آخر نموذج في مهمة أو مجموعة بيانات مختلفة. في الواقع ، فإن نموذج يمكن أن يؤدي مهمة جديدة على أساس الخبرة السابقة.

أحد أهم جوانب التدريب المسبق هو ارتباط المهام ، أو فكرة أن المهمة هي نموذج يجب أن تكون التعلم في البداية مشابهة للمهمة التي ستؤديها في المستقبل. على سبيل المثال ، أ نموذج تم تدريبه على اكتشاف الأشياء ولم يتم استخدامه لاحقًا للتنبؤ بالطقس.

طرق ما قبل التدريب

فيما يلي بعض الطرق التي يتم بها إجراء التدريب المسبق في مساحة معالجة اللغة الطبيعية.

Word2vec

التي وضعتها الستجيل بواسطة جوجل، Word2vec هي أداة تنتج تضمين كلمة ثابتة ويمكن تدريبها على ملايين الكلمات عن طريق قياس التشابه بين كلمة بكلمة. يعد Word2Vec جزءًا من عائلة من النماذج ذات الصلة التي تم تدريبها على بناء سياقات كلمات لغوية.

• نموذج، الذي تم إصداره في عام 2013 ، يمكنه اكتشاف الكلمات المترادفة بمجرد تدريبها واقتراح كلمات إضافية لجملة جزئية.

كيف يتم تدريب Word2vec؟

يستخدم Word2vec عنصرًا عصبيًا ضحلًا شبكة مع التضمين الساخن لكل كلمة يعمل كمدخلات ومخرجات. لفهم ما يبدو عليه التضمين الساخن بشكل أفضل في الممارسة العملية ، ضع في اعتبارك المثال التالي.

إذا كان القاموس يحتوي على خمس كلمات ، {"the" ، "cat" ، "ate" ، "its" ، "عشاء"} ، فإن التضمين الساخن لكلمة "cat" هو [0 ، 1 ، 0 ، 0 ، 0]. إحدى الطرق المحتملة لتدريب نموذج هو التنبؤ بالتضمين الساخن للكلمة كمخرج والتضمين الساخن للكلمة المحيطة كمدخلات.

بدلاً من ذلك ، يمكن تدريب Word2vec من خلال التنبؤ بالكلمات المحيطة كإخراج مع استخدام كلمة مستهدفة كمدخلات. في أي حال ، يتم إنشاء مصفوفة المعلمات بمجرد اكتمال التدريب. تعمل هذه المصفوفة بمثابة قاموس لتضمين الكلمات يوفر دمج كل كلمة لبيانات التدريب.

وتجدر الإشارة أيضًا إلى أن Word2vec ليس خوارزمية أو نموذج نفسه ولكنه يشير بدلاً من ذلك إلى نماذج Skip-gram و Continuous Bag of Words (CBOW). كلا النموذجين عبارة عن معماريات تستخدم الشبكات العصبية لمعرفة تمثيلات الكلمات الأساسية لكل كلمة.

GPT

GPT هي لغة قائمة على وحدة فك ترميز المحولات نموذج على أساس الفرضية الأساسية للانتباه الذاتي. لحساب تمثيل تسلسل إدخال معين ، فإن نموذج يمكن أن يحضر إلى مواقف مختلفة من هذا التسلسل.

يتم تدريب GPT على مرحلتين. في المرحلة الأولى ، يستخدم المنشئ OpenAI هدف نمذجة اللغة على البيانات غير المسماة لمعرفة المعلمات الأولية. بعد ذلك ، يتم تكييف هذه المعلمات مع مهمة مستهدفة (يشار إليها بخلاف ذلك كمثال تدريب) باستخدام الهدف الخاضع للإشراف المقابل.

مثال على كيفية تدريب GPT

يستخدم GPT تضمين الكلمة الثابتة كمدخلات بالإضافة إلى عدة طبقات من وحدة فك ترميز المحولات.

ضع في اعتبارك جملة من خمس كلمات: "w1 ، w2 ، w3 ، w4 ، w5." إذا أخذنا w4 ، على سبيل المثال ، فإن تضمين الكلمة سيمر عبر طبقة وحدة فك ترميز وبالتالي يصبح تضمينًا جديدًا.

يتضمن هذا التضمين الجديد معلومات عبر الاهتمام الذي تم توجيهه إلى w4 وw1 وw2. على الرغم من أنه خارج نطاق هذه المقالة، فكر في الاهتمام كنوع جديد من التضمين الذي يمكّن نموذج للتنبؤ بسلسلة من الكلمات بشكل أكثر دقة من اليسار إلى اليمين.

بيرت

BERT هي لغة أخرى تعتمد على المحولات وفك التشفير نموذج يتم تدريبه أولاً على حجم كبير من النص مثل ويكيبيديا.

BERT عبارة عن ضبط دقيق يعتمد على المشفر نموذج التي تتميز بلغة ثنائية الاتجاه نموذج. بدلاً من حماية الكلمات من اليسار إلى اليمين التي تعتمدها النماذج المستندة إلى وحدة فك التشفير مثل استخدام GPT ، تعمل BERT على أساس مهمتين جديدتين.

أول مهمة قبل التدريب نموذج يُعرف باسم Masked Language Model (MLM) ، حيث يتم إخفاء 15٪ من الكلمات عشوائيًا ويطلب من BERT التنبؤ بها. كما لاحظنا ، يمكن لـ BERT التنبؤ بالكلمات في أي من الاتجاهين.

المهمة الثانية مرتبطة بـ نموذج إدخال. لا يستخدم BERT الكلمات كرموز ولكن بدلاً من ذلك كأجزاء من الكلمات. على سبيل المثال ، كلمة "working" هي "work" و "ing" بدلاً من "working". ال نموذج ثم يضيف تضمين الموضع لتجنب أ ضعف الاهتمام الذاتي حيث يتم تجاهل معلومات موضع الكلمة.

تطبيقات ما قبل التدريب

بشكل عام ، يمكن تصنيف تطبيقات التدريب المسبق إلى ثلاث مجموعات.

1 - نقل التعلم

نقل التعلم هو أحد التطبيقات التي تطرقنا إليها سابقًا وهو أسلوب تعلم آلي حيث أ نموذج تم تدريبهم على مهمة واحدة يتم إعادة توجيههم لمهمة ثانية ذات صلة.

يعد التعلم الانتقالي نهجًا شائعًا في التعلم العميق بسبب الوقت الهائل والموارد الحسابية اللازمة لتطوير الشبكات العصبية من البداية.

تحقيقا لهذه الغاية ، يعد نقل التعلم طريقة تحسين تسهل التقدم السريع لأن نموذج تم بالفعل تدريبه على مهمة ذات صلة. ومع ذلك ، فإنه يعمل فقط في التعلم العميق إذا كان نموذج الميزات التي تم تعلمها في المهمة الأولى ذات طبيعة عامة.

2 - التصنيف

يمكن أيضًا استخدام النماذج المدربة مسبقًا في مهام التصنيف مثل تصنيف الصور ، وهي عملية تسمية الصور بناءً على ميزاتها وخصائصها.

هنا ، تعمل النماذج على تحديد الميزات والكائنات المتشابهة في صورة ما وتعيين تسميات لأي منها موجودة. يتم تدريب النماذج مسبقًا على ملايين الصور المصنفة ثم ضبطها بدقة للتعرف على ميزات كل كائن بدقة.

هناك مثالان على نماذج تصنيف الصور ، وهما VGG-16 و ResNet-50 من جامعة أكسفورد ، وهو جهاز عصبي تلافيفي. شبكة (سي إن إن) هذا هو 50 طبقة عميقة وتعتمد على 23 مليون معلمة لتصنيف دقيق.

3 - ميزة الاستخراج

استخراج الميزات هو عملية تسعى إلى تقليل عدد المتغيرات المطلوبة لوصف مجموعات البيانات الضخمة. يقلل استخراج الميزات من الموارد الحسابية المطلوبة لمعالجة مجموعات البيانات هذه عن طريق تقليل مجموعة أولية من البيانات الأولية إلى مجموعات أكثر قابلية للإدارة.

يتم تحقيق ذلك من خلال استخدام طرق مختلفة تجمع و / أو تحدد المتغيرات في ميزات مفيدة وغير زائدة عن الحاجة ويمكن أن تسهل خطوات التعلم والتعميم اللاحقة.

لاحظ أن مجموعة البيانات الناتجة الأصغر يجب أن تصف مجموعة البيانات الأصلية بطريقة دقيقة وكاملة. بمعنى آخر ، يجب أن تحتوي الميزات على المعلومات ذات الصلة من بيانات الإدخال لتمكين أداء المهمة حتى مع التمثيل المنخفض.

الوجبات الرئيسية:

التدريب المسبق في الذكاء الاصطناعي: يعد التدريب المسبق عملية حاسمة في مجال الذكاء الاصطناعي، حيث أ نموذج يتم تدريبه على مهمة واحدة لمعرفة المعلمات التي يمكن استخدامها بعد ذلك في مهام أخرى. إنها تمكن النماذج من أن تصبح متعددة الاستخدامات وتعمم عبر مهام مختلفة، مما يجعلها قابلة للتطبيق تجاريًا وفعالة.
الإلهام من التعلم البشري: مفهوم التدريب المسبق مستوحى من كيفية تعلم البشر ونقل المعرفة الموجودة لفهم الأفكار والمهام الجديدة. وبالمثل، يتم تدريب نماذج الذكاء الاصطناعي على مهمة واحدة للاستفادة من تلك المعرفة لأداء مهام أخرى.
الارتباط بالمهمة في مرحلة ما قبل التدريب: أحد العوامل الحاسمة في التدريب المسبق هو الارتباط بالمهمة. المهمة الأولية التي نموذج يجب أن تكون عمليات التعلم مشابهة للمهمة التي ستؤديها في المستقبل. على سبيل المثال، أ نموذج لا يمكن استخدام الأجهزة المدربة لاكتشاف الأشياء للتنبؤ بالطقس.
طرق ما قبل التدريب:
- كلمة2vec: التي وضعتها الستجيل بواسطة جوجل، ينتج Word2vec تضمينات ثابتة للكلمات يمكنها اكتشاف الكلمات المترادفة واقتراح كلمات للجمل غير المكتملة.
- GPT (المحولات التوليدية المدربة مسبقًا): GPT هي لغة قائمة على وحدة فك ترميز المحولات نموذج يستخدم الاهتمام الذاتي ويتم تدريبه على مرحلتين، في البداية على البيانات غير المسماة ثم على مهمة مستهدفة.
- BERT (تمثيلات التشفير ثنائي الاتجاه من المحولات): BERT هو نوع آخر يعتمد على المحولات نموذج يتم تدريبه على كميات نصية كبيرة ويستخدم مهام مثل نموذج اللغة المقنعة وإدخال أجزاء الكلمات من أجل الضبط الدقيق.
تطبيقات التدريب المسبق:
- نقل التعلم: يمكن إعادة استخدام النماذج المدربة مسبقًا للمهام ذات الصلة، مما يوفر الوقت والموارد الحسابية اللازمة لتطوير النماذج من الصفر.
- التصنيف: تُستخدم النماذج المدربة مسبقًا في مهام مثل تصنيف الصور، حيث تتعرف على الميزات وتعيين تسميات للكائنات في الصور.
- ميزة استخراج: يؤدي استخراج الميزات إلى تقليل أبعاد البيانات، مما يسهل معالجة مجموعات البيانات الكبيرة عن طريق تحديد المتغيرات ذات الصلة للتعلم اللاحق.