نماذج اللغة الكبيرة باختصار

نماذج اللغات الكبيرة (LLMs) هي أدوات ذكاء اصطناعي يمكنها قراءة النص وتلخيصه وترجمته. وهذا يمكنهم من التنبؤ بالكلمات وصياغة الجمل التي تعكس كيف يكتب البشر ويتحدثون.

جدول المحتويات

فهم نماذج اللغة الكبيرة

لقد حولت النماذج اللغوية الكبيرة معالجة اللغة الطبيعية (NLP) لأنها سهلت تطوير نماذج قوية ومدربة مسبقًا لمجموعة متنوعة من المهام.

يتم تدريب نماذج اللغات الكبيرة على مجموعات بيانات ضخمة تحتوي على مئات الملايين (أو حتى بلايين) الكلمات. تتعرف الخوارزميات المعقدة على الأنماط على مستوى الكلمة وتسمح بامتداد نموذج للتعرف على اللغة الطبيعية واستخدامها في السياق.

استبدلت LLMs مثل GPT-2 و BERT نقص بيانات التدريب الداخلي وعملية استخراج الميزات المملة بمجموعات البيانات التي تدرب الشبكات العصبية الكبيرة. تعتمد هذه النماذج على الشبكات العصبية المتكررة (RNNs) لتحليل البيانات والتنبؤ بالكلمات التي ستأتي بعد ذلك في عبارة أو جملة معينة.

على سبيل المثال ، إذا كان ملف نموذج حللوا الجملة "كان يركب دراجة "، يمكن لـ LLM فهم ماهية الدراجة من خلال تحليل مساحات من البيانات من الكلمات التي تميل إلى إحاطة الدراجة. هذا يجعلها أداة قوية ومتعددة الاستخدامات للذكاء الاصطناعي توفر توليدًا دقيقًا للغة الطبيعية ، والشعور تحليلوالتلخيص وحتى الإجابة على الأسئلة.

كيف يتم تدريب النماذج اللغوية الكبيرة؟

يتم تغذية النماذج اللغوية الكبيرة بمقتطفات نصية تم حجبها جزئيًا أو إخفاءها. العصبية شبكة يحاول التنبؤ بالأجزاء المفقودة ثم يقارن التنبؤ بالنص الفعلي.

العصبية شبكة يؤدي هذه المهمة بشكل متكرر ويضبط المعلمات بناءً على النتائج. بمرور الوقت ، تبني الرياضيات نموذج كيف تظهر الكلمات بجانب بعضها البعض في العبارات والجمل.

لاحظ أنه كلما كان العصب أكبر شبكة، زادت قدرة LLM على التعلم. يعتمد ناتج LLM أيضًا على حجم وجودة مجموعة البيانات. إذا كان نموذج يتعرض لنص عالي الجودة ومنسق جيدًا ، ويتعرض لمجموعة أكثر تنوعًا ودقة من تسلسل الكلمات ويقدم تنبؤات أفضل.

أمثلة نموذج اللغة الكبيرة

تورينج NLG

تورينج NLG هو 17 مليار معامل LLM التي وضعتها مایکروسافت. عندما تم إصداره في أوائل عام 2020 ، كان الأكبر من نوعه نموذج حتى الآن.

• نموذج هي لغة توليدية قائمة على المحولات نموذج. هذا يعني أنه يمكن إنشاء كلمات لإنهاء جملة غير مكتملة ، والإجابة على الأسئلة بإجابات مباشرة ، وتقديم ملخصات لمستندات الإدخال المختلفة.

الغوفر سنجاب

Gopher هو نموذج 280 مليار متغير طور بواسطة DeepMind. استند غوفر إلى البحث في المجالات التي يكون فيها مقياس ل نموذج عززت أداء مثل القراءة والفهم والتحقق من الحقائق وتحديد النتائج السامة.

اكتشف البحث أن جوفر يتفوق في فهم اللغة متعدد المهام الهائل (MMLU) ، وهو معيار يغطي نموذج المعرفة والقدرة على حل المشكلات في 57 موضوعًا عبر العديد من تخصصات العلوم والتكنولوجيا والهندسة والرياضيات.

GPT-3

يتم تغذية GPT-3 الخاص بـ OpenAI بحوالي 570 جيجابايت من المعلومات النصية التي تم الحصول عليها من مجموعة البيانات المتاحة للجمهور والمعروفة باسم CommonCrawl.

مع واحدة من أكبر الشبكات العصبية التي تم إصدارها على الإطلاق ، يمكن لـ GPT-3 إعادة إنشاء أي شيء له لغة بناء. يتضمن ذلك إجابات للأسئلة والمقالات والملخصات والترجمات والمذكرات ورمز الكمبيوتر.

أنواع ماجستير

تميل النماذج اللغوية الكبيرة إلى أن تأتي في ثلاثة أنواع رئيسية.

1 - النماذج القائمة على المحولات

LLM المستندة إلى المحولات هي الشكل الأكثر شيوعًا في معالجة اللغة الطبيعية (NLP) ، وكما يوحي الاسم ، فهي تستند إلى بنية المحولات.

تعالج هذه البنية وتولد النص بمزيج من آليات الانتباه الذاتي والتشفير الموضعي والشبكات العصبية متعددة الطبقات. يحضر المحولات الكلمات ذات الصلة في الجملة ويمكنهم فهم السياق والتبعيات داخل النص نفسه.

في النهاية ، هذا يمكنهم من إنتاج مخرجات دقيقة ومتماسكة.

GPT لشركة OpenAI نموذج هو مثال على المحولات القائمة نموذج. هذا نموذج يُطلق على الكتابة أحيانًا اسم الانحدار التلقائي لأنها تولد نصًا من اليسار إلى اليمين وتتنبأ بالكلمة التالية في الجملة بناءً على ما جاء قبلها.

2 - نماذج الشبكة العصبية المتكررة

تقوم LLMs المستندة إلى الشبكات العصبية المتكررة (RNNs) أيضًا بمعالجة تسلسل الكلمات. لكنها تميل إلى أن تكون أكثر فائدة في السياقات حيث يكون تحديد ترتيب الكلمات أمرًا بالغ الأهمية لفهم الجملة بشكل صحيح.

نظرًا لأن هذه النماذج قادرة على الاحتفاظ بذاكرة المعلومات السابقة ، فيمكنها التقاط التبعيات المتسلسلة داخل نص الإدخال. لزيادة المستقبل أداء، فهم يتعلمون أيضًا من مخرجاتهم الناتجة عن طريق إعادتهم إلى ملف شبكة.

تم بناء بعض من LLMs الأولى على RNNs ، ولكن ورقة 2017 الاهتمام هو كل ما تحتاجه بشرت بنهج جديد يعتمد على المحولات.

3 - النماذج الهجينة

النماذج الهجينة هي نوع أحدث يسعى إلى الاستفادة من نقاط القوة لكل من المحولات والنماذج القائمة على RNN.

بدمج القدرات التسلسلية لـ RNNs وقوة المعالجة المتوازية لـ LLMs ، أظهرت النماذج الهجينة إمكانات في أدوات إنشاء النص وروبوتات الدردشة والمساعدين الظاهريين.

ما هي تطبيقات LLM الأكثر شيوعًا؟

تحتوي نماذج اللغات الكبيرة على تطبيقات غير محدودة تقريبًا ، وفي الوقت الحالي ، تكتشف فرصًا جديدة في البحث ، ومعالجة اللغات الطبيعية ، والروبوتات ، والتمويل ، وإنشاء الكود ، والرعاية الصحية ، من بين أشياء أخرى كثيرة.

فيما يلي قمنا بتفصيل عدد قليل من أكثر الأشياء إثارة للاهتمام والأهمية:

مزودي التجزئة والخدمات

يمكن لهذه الشركات استخدام LLM لتقديم خدمة عملاء محسّنة عبر مساعدي AI وروبوتات الدردشة الديناميكية.

بينما اعتمدت روبوتات المحادثة من الجيل الأول على نصوص محددة مسبقًا وغالبًا ما قدمت تجربة دون المستوى ، يمكن لروبوتات الدردشة المجهزة بـ LLM التحدث بأساليب محادثة مختلفة ، وربما الأهم من ذلك ، التعلم والتكيف بناءً على تفاعلات العملاء السابقة.

بحث

يتم استخدام LLM أيضًا بواسطة محركات البحث لإنشاء نتائج دلالية بناءً على هدف بحث المستخدم وسياق الاستعلام و صلة بين الكلمات.

يختلف هذا عن الطريقة التقليدية حيث تقوم محركات البحث بمسح الويب بحثًا عن التطابقات الدقيقة للكلمات الرئيسية المستخدمة للعثور على المعلومات.

علم الاحياء

تستخدم بعض شركات الذكاء الاصطناعي نماذج لغة كبيرة لفهم (أو تحديد) الحمض النووي ، والحمض النووي الريبي ، والبروتينات ، والجزيئات الأخرى.

في يوليو 2022 ، على سبيل المثال ، أعلنت شركة DeepMind عن قاعدة بيانات تحتوي على جميع البروتينات المعروفة تقريبًا. بعد أربعة أشهر ، أطلق العلماء في Meta هياكل أكثر من 600 مليون بروتين مختلف كجزء من قاعدة بيانات يطلق عليها أطلس ميتاجينومي (ESM).

باستخدام ما يقرب من 2,000 وحدة معالجة رسومات ، استغرق Meta أسبوعين فقط لملء قاعدة البيانات ببروتينات من التربة ومياه البحر ومصادر أخرى. من المأمول أن يتم استخدام خوارزميات الذكاء الاصطناعي يومًا ما للتنبؤ بوظيفة البروتين الفردي.

الوجبات الرئيسية

نماذج اللغات الكبيرة (LLMs) هي أدوات ذكاء اصطناعي يمكنها قراءة النص وتلخيصه وترجمته. يمكنهم التنبؤ بالكلمات وصياغة الجمل التي تعكس كيف يكتب البشر ويتحدثون.
يتم تغذية النماذج اللغوية الكبيرة بمقتطفات نصية تم حجبها جزئيًا أو إخفاءها. العصبية شبكة ثم يسعى للتنبؤ بالأجزاء المفقودة ثم يقارن التنبؤ بالنص الفعلي.
تتضمن ثلاثة نماذج لغة كبيرة شائعة وقوية مایکروسافتو Turing NLG ، و DeepMind's Gopher ، و OpenAI's GPT-3.

ويبرز الرئيسية

مقدمة في LLMs:
- أدوات الذكاء الاصطناعي التي تقرأ وتلخص وترجم النص.
- توقع وتوليد الجمل بطريقة شبيهة بالبشر.
تحويل معالجة اللغة الطبيعية (NLP):
- أحدثت LLM ثورة في البرمجة اللغوية العصبية من خلال نماذج قوية مدربة مسبقًا.
- تم تدريبهم على مجموعات بيانات ضخمة ، وتعلم أنماط اللغة الطبيعية.
التعلم في LLMs:
- تدرب على مجموعات بيانات ضخمة مع خوارزميات معقدة.
- يفهم سياق اللغة الطبيعية واستخدامها.
دور الشبكات العصبية المتكررة (RNNs):
- LLMs مثل GPT-2 و BERT تحل محل البيانات الداخلية واستخراج الميزات.
- RNNs في LLMs تعالج البيانات ، وتتنبأ بالكلمات ، وتفهم السياق.
أمثلة على الفهم السياقي:
- ماجستير تحليل عبارات لفهم العلاقات بين الكلمات.
- يتيح إنشاء لغة طبيعية دقيقة وتلخيصها والمزيد.
عملية تدريب ماجستير:
- مقتطفات نصية مع أجزاء مقنعة مقدمة إلى LLMs.
- عصبي شبكة يتوقع الأجزاء المفقودة ، مقارنة بالنص الفعلي.
- يتم تعديل المهمة المتكررة شبكة معلمات للتعلم.
حجم الشبكة العصبية وجودة مجموعة البيانات:
- تعمل الشبكات العصبية الأكبر حجمًا على تعزيز القدرة على التعلم.
- تؤثر جودة مجموعة البيانات على تنوع تسلسل الكلمات والتنبؤات.
أمثلة بارزة في ماجستير في القانون:
- تورينج إن إل جي (مايكروسوفت):
  - 17 مليار معلمة LLM.
  - يولد نهايات الجمل ، ويجيب على الأسئلة ، ويقدم الملخصات.
- جوفر (ديب مايند):
  - 280 مليار معلمة نموذج.
  - يقوم بفهم القراءة والتحقق من الحقائق وتحديد المحتوى السام.
  - التفوق في فهم اللغة متعدد المهام الهائل (MMLU).
- جي بي تي-3 (أوبن إيه آي):
  - تم تدريبه على 570 جيجابايت من البيانات النصية.
  - متعدد الاستخدامات في إنشاء أشكال مختلفة من النصوص: الإجابات والمقالات والكود والترجمات والمزيد.
أنواع ماجستير في القانون:
- النماذج القائمة على المحولات:
  - مهيمن في البرمجة اللغوية العصبية.
  - الاستفادة من آليات الانتباه الذاتي والتشفير الموضعي والشبكات العصبية متعددة الطبقات.
  - فهم السياق والتبعيات داخل النص.
- نماذج الشبكة العصبية المتكررة (RNNs):
  - عملية الكلمات المتسلسلة ، والتأكيد على الترتيب.
  - الاحتفاظ بذاكرة المعلومات السابقة ، والتقاط التبعيات المتسلسلة.
- النماذج الهجينة:
  - اجمع بين قوى المحولات والنماذج القائمة على RNN.
  - تُستخدم في إنشاء النصوص وروبوتات المحادثة والمساعدين الظاهريين.
تطبيقات LLM:
- مزودو التجزئة والخدمات:
  - المساعدون وروبوتات الدردشة المدعومة بـ LLM لتحسين خدمة العملاء.
- محركات البحث:
  - LLMs تولد نتائج البحث الدلالية بناءً على القصد والسياق.
- علم الأحياء والرعاية الصحية:
  - ماجستير تحليل DNA ، RNA ، بروتينات.
  - المساعدة في التنبؤ بوظائف البروتين.
الخلاصة:
- LLMs تحويل معالجة النص.
- أدوات الذكاء الاصطناعي التنبؤية والتكيفية والمتعددة الاستخدامات.