معالجة اللغات الطبيعية
- إدخال البيانات (Input Data): تشمل البيانات مفردات أي لغة من اللغات التي يمكن للبشر التحدث بها. وتكون المدخلات على شكل نصوص مكتوبة، مثل الجمل والفقرات والمحادثات. أو محكية على شكل كلام منطوق.
- المعالجة القبلية للبيانات (Data Preprocessing): تعدُّ هذه المرحلة أساسية ومهمة قبل البدء بأي خطوة لتنفيذ تطبيق ما، وتُقسم إلى أربع مراحل ننفذها بالترتيب وبالتناسب مع اللغة المستخدمة للتدريب، والنتيجة المُراد تحقيقها:
- أ. تنظيف البيانات (Data Cleaning): وفي هذه المرحلة تُزالُ علامات الترقيم والحركات والرموز والروابط غير المرغوب بها، والتي يمكن أن يسبب وجودها عدم الحصول على نتيجة دقيقة.
- ب. توحيد البيانات (Normalization): هي خطوة مهمة تضمن اتساق النصوص وتوحيدها قبل البدء في العمليات الأخرى مثل التحليل أو التصنيف؛ حيث تشمل خطوات عدة تبعًا للغة، فمثلاً في اللغة العربية، يمكن العمل على بعض التعديلات مثل:
- ج. تحليل النصوص (Tokenization): هو عملية تقسيم النص إلى وحدات أصغر تُعرف بالرموز (Tokens)، ويمكن أن تكون هذه الرموز كلمات فردية، أو عبارات، أو جملًا.
- د. استخراج جذر الكلمات (Stemming): وتعني استخراج أصل الكلمة الذي نشأت منه، وتعدُّ مهمة صعبًا نسبيًا في اللغة العربية مقارنة باللغات الأخرى؛ بسبب بنية الكلمة المعقدة فيها، وتنوع الأوزان والتشكيلات. والجدول (3-1) يبين أمثلة على معالجة البيانات.
أحلل وأناقش
- استخراج الصفات/الخصائص (Feature Extraction): في هذه المرحلة تُحوَّلُ النصوص إلى تمثيلات رقمية، يمكن للنماذج التعامل معها.
- تدريب النموذج (Model Training): يُختارُ في هذه المرحلة النموذج المناسب لتدريب البيانات عليه تبعًا للخصائص المستخرجة.
- تقييم النموذج (Model Evaluation): هي مرحلة أساسية ومهمة لقياس أداء النموذج باستخدام مقاييس مختلفة؛ للتأكد من أنه يعمل بشكل جيد على البيانات الفعلية. هذه المرحلة هي نفسها التي شُرحت في الخطوة السادسة من بناء نماذج تعلّم الآلة.
تحليل النص
- د.
- تحليل الدلالة (Semantic Analysis): يهدف تحليل الدلالة إلى فهم المعنى الحقيقي للكلمات والجمل.
- يتضمن هذا التحليل فهم السياق الذي تُستخدم فيه الكلمات لتحديد معانيها الدقيقة.
- يُعزز تحليل الدلالة من قدرة الأنظمة على فهم النصوص بشكل أعمق وأكثر دقة؛ مما يتيح تطوير تطبيقات ذكية وفعالة في مجالات متعددة.
استخراج المعلومات
- الأماكن الجغرافية GPE: مدينة البتراء، الأردن.
- ب.
- استخراج العلاقات (Relation Extraction): هو عملية تحديد الروابط بين الكيانات المسماة في النصوص وفهمها.
- يساعد هذا في بناء شبكات معرفية تربط بين الأشخاص، والأماكن، والأشياء، والأحداث.
- ويعدُّ استخراج العلاقات خطوة متقدمة بعد التعرف إلى الكيانات المسماة.
فهم النص
- أ.
- تحليل المشاعر (Sentiment Analysis): هو عملية تحديد المشاعر المعبر عنها في النصوص وتصنيفها.
- يمكن أن تكون هذه المشاعر إيجابية، أو سلبية، أو محايدة.
- يُستخدم تحليل المشاعر بشكل واسع في مجالات، مثل تحليل وسائل التواصل الاجتماعي، وتقييم المنتجات، ومراجعات العملاء.
- الكلمات الإيجابية: رائعة، لذيذًا جدًا، ممتازة، سأعود بالتأكيد.
توليد النص
- الترجمة الآلية (Machine Translation): تتضمن ترجمة النصوص من لغة إلى أخرى.
الطرق الحديثة
- يعد التعلم العميق من أبرز الطرق الحديثة؛ حيث يعتمد على استخدام الشبكات العصبية العميقة لفهم النصوص وتحليلها وتوليدها.
- ويُبنى نموذج مكون من طبقات عدة من الوحدات العصبية؛ مما يتيح لها استخراج الخصائص وتعلّم التمثيلات المعقدة للبيانات.
- الشبكات العصبية الالتفافية (Convolutional Neural Network: CNN): التي تُستخدم في تصنيف النصوص واستخراج الخصائص/الأنماط.
- الشبكات العصبية المتكررة (Recurrent Neural Network: RNN): التي تُستخدم عادة لمعالجة البيانات/النصوص المتسلسلة.
- المحولات (Transformer): وتعد الأكثر تطورًا، وتُستخدم في بناء أكبر النماذج التي تحلّ مشكلات/تطبيقات كبيرة مثل GPT-3.
- نماذج اللغة الكبيرة (Large Language Models): هي نماذج مدرّبة على كميات ضخمة جدًا من البيانات النصية؛ حيث يمكنها فهم نصوص وتوليدها بطريقة متقدمة وبدقة عالية.
- تحديد نوع النص (Text Classification) وتحليل المشاعر (Sentiment Analysis): يُستخدم في تصنيف التعليقات والآراء أو تحليلها في وسائل التواصل الاجتماعي، وفي التقييمات والمراجعات. الشكل (3-2) يبين طريقة معالجة نص (آراء) وتحليله.
- الدردشة الذكية (Chatbots): تعمل على إنشاء أنظمة محادثة تفاعلية تقدّم الدعم الفني أو خدمات العملاء. مثل (ChatGPT) و(Google Assistant…