نموذج اللغة الكبير
| جزء من سلسلة مقالات حول |
| تعلم الآلة والتنقيب في البيانات |
|---|
 |
نموذج اللغة الكبير أو النموذج اللغوي الكبير[1] هو نوع من نماذج اللغة يتميز بقدرته على فهم وتوليد اللغة للأغراض العامة. يكتسب النموذج هذه القدرات باستخدام كم هائل من المعطيات لتعلم مليارات المعلمات أثناء التدريب واستهلاك موارد حسابية كبيرة أثناء التدريب والتشغيل.[2] نماذج اللغة الكبيرة هي شبكات عصبية اصطناعية ( أساسًا محولات[3]) وتُدرب (مسبقًا) باستخدام تعليم ذاتي الإشراف والتعلم شبه المراقب أو الموجه .
وبعدها نماذج لغة انحدارية ذاتية، فإنها تعمل عن طريق أخذ نص مُدخل والتنبؤ بشكل متكرر بالرمز أو الكلمة التالية.[4] حتى عام 2020 كان الضبط الدقيق أو الصقل هو الطريقة الوحيدة التي يمكن من خلالها تكييف النموذج ليكون قادرًا على إنجاز مهام محددة. ومع ذلك يمكن تصميم النماذج الأكبر حجمًا، مثل GPT-3 ، لتحقيق نتائج مماثلة.[5] يُعتقد أنهم يكتسبون معرفة مضمنة حول بناء الجملة وعلم الدلالات و«علم الوجود» المتأصل في مجاميع اللغة البشرية،ولكن عدم الدقة والتحيزات الموجودة في مجاميع اللغة البشرية أيضًا.[6]
من الأمثلة البارزة نماذج المحول المولد المسبق التدريب الخاصة بـ OpenAI (على سبيل المثال، GPT-3.5 وGPT-4 ، المستخدمة في ChatGPT)، و بالم من جوجل (المستخدمة في بارد)، و Meta غيرها.
المراجع[عدل]
- ^ معجم البيانات والذكاء الاصطناعي (PDF) (بالعربية والإنجليزية)، الهيئة السعودية للبيانات والذكاء الاصطناعي، 2022، ص. 81، QID:Q111421033
- ^ "Better Language Models and Their Implications". OpenAI. 14 فبراير 2019. مؤرشف من الأصل في 2020-12-19. اطلع عليه بتاريخ 2019-08-25.
- ^ Merritt, Rick (25 Mar 2022). "What Is a Transformer Model?". NVIDIA Blog (بالإنجليزية الأمريكية). Archived from the original on 2023-11-17. Retrieved 2023-07-25.
- ^ A bot will complete this citation soon. Click here to jump the queue أرخايف:[1].
- ^ Brown، Tom B.؛ Mann، Benjamin؛ Ryder، Nick؛ Subbiah، Melanie؛ Kaplan، Jared؛ Dhariwal، Prafulla؛ Neelakantan، Arvind؛ Shyam، Pranav؛ Sastry، Girish (ديسمبر 2020). Larochelle، H.؛ Ranzato، M.؛ Hadsell، R.؛ Balcan، M.F.؛ Lin، H. (المحررون). "Language Models are Few-Shot Learners" (PDF). Advances in Neural Information Processing Systems. Curran Associates, Inc. ج. 33: 1877–1901. مؤرشف (PDF) من الأصل في 2023-11-17.
- ^ Manning، Christopher D. (2022). "Human Language Understanding & Reasoning". Daedalus. ج. 151 ع. 2: 127–138. DOI:10.1162/daed_a_01905. S2CID:248377870. مؤرشف من الأصل في 2023-11-17.
