٤.٣ معالجة اللغات الطبيعية
التعريفات
- تنظيف البيانات (Data Cleaning)
تُزالُ علامات الترقيم والحركات والرموز والروابط غير المرغوب بها، والتي يمكن أن يسبب وجودها عدم الحصول على نتيجة دقيقة
- توحيد البيانات (Normalization)
خطوة مهمة تضمن اتساق النصوص وتوحيدها قبل البدء في العمليات الأخرى مثل التحليل أو التصنيف
- استخراج جذر الكلمات (Stemming)
استخراج أصل الكلمة الذي نشأت منه
- استخراج الصفات/الخصائص (Feature Extraction)
في هذه المرحلة تُحوَّلُ النصوص إلى تمثيلات رقمية، يمكن للنماذج التعامل معها
- تقييم النموذج (Model Evaluation)
مرحلة أساسية ومهمة لقياس أداء النموذج باستخدام مقاييس مختلفة؛ للتأكد من أنه يعمل بشكل جيد على البيانات الفعلية
- التقسيم والتجزئة (Tokenization)
تجزئة النص تعني تقسيمه إلى أجزاء (Tokens) بناءً على عناصر معينة، مثل الكلمات أو الجمل
- تحليل الصرف (Morphological Analysis)
تشمل دراسة هيكل الكلمات وتكوينها؛ حيث تُحلَّل الكلمات إلى جذورها، وإلى صيغة وتصريف؛ لفهم كيفية تشكيل الكلمة ومعناها
- تحليل النحو (Syntactic Analysis)
يتضمن تحليل النحو دراسة بنية الجمل وتركيبها. تُحدَّد كيفية ترتيب الكلمات في الجملة، وتُحدَّد العلاقات النحوية بينها
- تحليل الدلالة (Semantic Analysis)
يهدف تحليل الدلالة إلى فهم المعنى الحقيقي للكلمات والجمل
- استخراج المعلومات (Information Extraction)
عملية أساسية لتحويل النصوص غير المنظمة إلى بيانات منظمة وقابلة للتحليل
- التعرف إلى الكيانات المسماة (Named Entity Recognition – NER)
ويتضمن تحديد أسماء الأشخاص، والأماكن، والمنظمات، وغيرها في النص
- استخراج العلاقات (Relation Extraction)
عملية تحديد الروابط بين الكيانات المسماة في النصوص وفهمها
- تحليل المشاعر (Sentiment Analysis)
عملية تحديد المشاعر المعبر عنها في النصوص وتصنيفها
- الاستنتاج النصي (Textual Inference)
يتمثل في القدرة على استنتاج معلومات جديدة أو غير مباشرة من النصوص المتاحة
- التلخيص التلقائي (Automatic Summarization)
يتضمن تلخيص النصوص الطويلة إلى نصوص مختصرة
- الترجمة الآلية (Machine Translation)
تتضمن ترجمة النصوص من لغة إلى أخرى
- المحولات (Transformer)
وتعد الأكثر تطورًا، وتُستخدم في بناء أكبر النماذج التي تحلّ مشكلات/تطبيقات كبيرة مثل GPT-3
- نماذج اللغة الكبيرة (Large Language Models)
نماذج مدرّبة على كميات ضخمة جدًا من البيانات النصية؛ حيث يمكنها فهم نصوص وتوليدها بطريقة متقدمة وبدقة عالية
- التعرف على الكلام (Speech Recognition)
يُحوَّل الكلام المنطوق لنص مكتوب
معاينة موضوع «معالجة اللغات الطبيعية» من وحدة «الذكاء الاصطناعي» في مادة المهارات الرقمية. أقسام الشرح: ٢٢، التعريفات: ١٩، الأسئلة المحلولة: ٥.
المصدر: المركز الوطني لتطوير المناهج، معالجة اللغات الطبيعية (ص ١٢٥–١٤٢)
