هو نوع من أنواع البنية الشبكة العصبية التي قدمتها جوجل في ورقة بحثية عام 2017 بعنوان “الانتباه هو كل ما تحتاجه” (Attention is All You Need). وقد أحدث ثورة في معالجة اللغة الطبيعية (NLP) من خلال تقديم آلية الانتباه الذاتي، والتي تسمح للنماذج بفهم العلاقات بين جميع الكلمات في الجملة في وقت واحد، بغض النظر عن موقعها. تشكل المحولات الأساس للعديد من النماذج الحديثة مثل BERT وGPT وT5، وتستخدم على نطاق واسع في مهام مثل الترجمة الآلية والتلخيص والإجابة على الأسئلة.
مصطلحات مرتبطة:
BERT النماذج التمثيلية ثنائية الاتجاه من المحولات (Bidirectional Encoder Representations from Transformers)
BERT هو نموذج يعتمد على المحول (Transformer) تم تطويره بواسطة غوغل عام 2018. يتميز باستخدام نهج ثنائي الاتجاه لتحليل النصوص، مما يعني أنه يفهم الكلمة بناءً على سياق الكلمات التي قبلها وبعدها. يستخدم BERT بشكل واسع في مهام مثل الإجابة عن الأسئلة وتحليل المشاعر.
T5 المحول القائم على تحويل النصوص (Text-to-Text Transfer Transformer)
T5 هو نموذج آخر طورته غوغل عام 2019. يركز على معالجة كل مهمة من مهام معالجة اللغة الطبيعية كنظام إدخال وإخراج نصوص، مثل الترجمة والتلخيص والإجابة عن الأسئلة.
GPT) Generative Pre-trained Transformer) هو نموذج ذكاء اصطناعي يعتمد على بنية المحولات Transformers طُور بواسطة OpenAI ويُستخدم لإنشاء نصوص طبيعية تشبه اللغة البشرية. يتم تدريب GPT على مجموعة كبيرة من البيانات النصية، مما يتيح له فهم السياق والإجابة على الأسئلة، وكتابة المقالات، وتلخيص النصوص، وحتى إجراء المحادثات.
الإصدارات المختلفة مثل GPT-2 وGPT-3 وGPT-4 تتميز بقدرات متزايدة بسبب أحجام النماذج والتدريب على بيانات أوسع. هذه النماذج تُستخدم في العديد من التطبيقات مثل الترجمة، إنشاء المحتوى، والتفاعل مع المستخدمين.
You must be logged in to post a comment.