تخطيط حل الذكاء الاصطناعي وإعداده لتلبية احتياجات محددة
- يستكشف هذا الموضوع تخطيط أحد حلول الذكاء الاصطناعي، ويتناول كيفية التعرف على البيانات اللازمة لدعم الحل وكيفية جمعها وإعدادها.
من كتاب مقدمة في الذكاء الاصطناعي المقرّر
ما الأنواع الأربعة الرئيسة من البيانات؟
البيانات شبه المنظمة هي مزيج من البيانات المنظمة وغير المنظمة، وغالبا ما تنشأ لتحقيق التوازن بين الحاجة إلى سهولة القراءة البشرية والحاجة إلى المعالجة الآلية، إذ إن توافر بعض عناصر البيانات المنظمة يسهل تحليلها، وغالبا ما تتضمن البيانات شبه المنظمة استخدام البيانات الوصفية. يمكن اعتبار البريد الإلكتروني شبه منظم لأن التنسيق (العنوان والموضوع والنص والمرفقات وما إلى ذلك) موثق ومنفصل. ومع ذلك، فإن محتوى الجسم نفسه غالبا ما يكون غير منظم. يمكن أيضا رؤية البيانات شبه المنظمة في أمثلة JSON و XML، ما يوفر تبادلا فعالا للبيانات بين الخوادم والعملاء باستخدام الطلبات والاستجابات المستندة إلى واجهة برمجة التطبيقات (API).
المصطلح الرئيس البيانات الوصفية - البيانات التي تقدم وصفا لبيانات.
وقفة للتفكير هل تحتوي البيانات الوصفية (من النوع الذي تسجله الكاميرا الرقمية) على معلومات عن الصورة؟ تلميح ما نوع المعلومات التي تخزنها بيانات الصورة الوصفية؟ توسيع الأفق لماذا تكون التفاصيل حول الكاميرا المستخدمة، وإعدادات الكاميرا، والمعلومات حول مكان وتاريخ التقاط الصورة مفيدة؟
بحث توجد البيانات الوصفية في العديد من السياقات بما في ذلك رسائل البريد الإلكتروني وملفات الصوت والمواقع الإلكترونية. افحص بعض ملفاتك الخاصة وحدد البيانات الوصفية.
يوضح المثال العملي الآتي كود بايثون نموذجي يقوم بعملية استخراج بيانات بسيطة من موقع مصمم خصيصا للمتعلمين للسماح للمتعلمين بممارسة هذه العملية. استخدم محرك بحث للبحث عن 'Scrape this site tool'. يعرض الشكل 21.6 صفحة الويب المحددة من خلال عميل استعراض ويب.

الشكل 21.7 يظهر HTML الأساسي. هذا مجرد مقتطف لبلد واحد 'جنوب أفريقيا'.

يوضح الشكل 21.8 مثالا على كود بايثون يجمع البيانات من الموقع، حيث يستخرج البيانات الرئيسة ويخزنها.

يوضح الشكل 21.9 بعض البيانات المستخرجة بتنسيق JSON من الملف الذي تم إنشاؤه.

كما ترى، أصبحت هذه البيانات الآن نظيفة وخالية من أي محتوى متعلق بـ HTML، ما يجعلها مناسبة للإدخال في أي عملية تعلم آلي.
تجدر الإشارة هنا إلى أن بعض المواقع الإلكترونية لا تسمح بالطلبات البرمجية، وذلك لأن جزءا من هذا الطلب يتضمن "سلسلة وكيل المستخدم". تحدد هذه القيمة لخادم الويب الذي يقدم الخدمة اسم أداة البرنامج التي تقدم الطلب، فعلى سبيل المثال، يُعرف المتصفح على أنه، Google Chrome® أو Apple Safari® أو Microsoft Edge®، وما إلى ذلك. عادة ما تكون هذه الأمور مقبولة؛ إلا أنه عندما يقوم برنامج بإجراء طلب، فإنه عادة لا يخفي طبيعته (مثل "لغة بايثون")، ما قد يؤدي إلى رفض خادم الويب للطلب. من الممكن انتحال أو تزييف سلسلة وكيل المستخدم للتغلب على تردد خادم الويب، ما يجعل برنامجك يقلد عميل متصفح ويب أصلي. قد توفر المواقع الإلكترونية الأخرى واجهات برمجة التطبيقات العامة (API) التي تسمح بالاستعلام عن مصادر البيانات الأساسية لموقع إلكتروني واستخراجها. اعتمادا على طبيعة البيانات، قد تكون هذه الخدمة مجانية أو تتطلب استخدام مفتاح واجهة برمجة التطبيقات (API) قابل للشراء يمنح الوصول.
المصطلح الرئيس الطلبات البرمجية - طلب محتوى يعتمد على الويب عن طريق برنامج أو نص برمجي بدلاً من استخدام متصفح الويب يدويًا.

المصطلح الرئيس المصدر المفتوح - مشاريع البرمجيات التي تُتاح مجانا للجمهور، وعادة ما تسمح لأي شخص باستخدام الشفرة المصدرية للمشروع وتغييرها وتوزيعها.

يتمثل أحد الأمثلة ذلك في Postcodes.io (كما هو موضح في الشكل 21.11)، وهو مشروع نشأ باستخدام برنامج مفتوح المصدر بواسطة Ideal Postcodes. يقدم خدمة مجانية للمطورين للبحث عن البيانات المتعلقة بالرموز البريدية في المملكة المتحدة وتفسير الإحداثيات واستخراج البيانات. تتوفر مجموعات بيانات مماثلة لمناطق مختلفة، مثل postcode.eu لبلدان الاتحاد الأوروبي و getpostalcodes.com لمجموعات أخرى من البلدان. على سبيل المثال، يحتوي getpostalcodes.com على بيانات عن 12 منطقة بريدية في الأردن بما في ذلك عمان (العاصمة)، بالإضافة إلى مناطق مثل الزرقاء والطفيلة واربد وجرش. تعتبر البرامج مفتوحة المصدر، مثل تلك البرامج المستخدمة في Postcodes.io، ناجحة جدا. مفتاح نجاحها هو أنها تسمح بالجهود التعاونية (من مجتمع المبرمجين) لتحسين المشروع بمرور الوقت، وإصلاح الأخطاء وإضافة وظائف وميزات جديدة عند الطلب. يوفر Postcodes.io عددا من نقاط النهاية المختلفة التي يمكن استخدامها للتحقق من بياناته. على سبيل المثال، يمكن استخدامه للتحقق مما إذا كان الرمز البريدي موجودا بالفعل ومكان وجوده في العالم.

من الممكن أيضا الوصول إلى هذه البيانات عبر نقطة النهاية باستخدام طلب HTTP GET إما من خلال متصفح الويب (كما هو موضح في الشكل 21.13)، وإما باستخدام أداة سحب بيانات ويب مخصصة بلغة بايثون (كما هو موضح في الشكل 21.14).


لاحظ استخدام سلسلة وكيل المستخدم المخادع لتوضيح كيفية تنفيذ ذلك. لحسن الحظ، لا تواجه Postcodes.io مشكلة في الرد على الاستعلامات البرمجية، لذلك هذا الأمر ليس ضروريا جدا في هذه الحالة. الناتج من كود بايثون موضح في الشكل 21.15.

المصطلح الرئيس رموز حالة HTTP - رموز عالمية مكونة من ثلاثة أرقام يصدرها الخادم عندما يستجيب للطلب المقدم من العميل، ورمز الحالة الذي يبدأ بالرقم 2 يشير إلى النجاح.
يجب أن تكون البيانات المستخرجة برمجيا بهذه الطريقة مطابقة للطلب اليدوي للمتصفح، ويجب أن تدرك أنه يشيع استخدام رموز حالة HTTP للإشارة إلى الطلبات السيئة/الرموز البريدية غير الموجودة، ويوضح الشكل 21.16 الإجراءات.



بيانات معاملة نقطة البيع في أربع فئات.
| بيانات حامل البطاقة | بيانات المعاملة |
|---|---|
| رقم البطاقة • اسم حامل البطاقة • تاريخ انتهاء الصلاحية | معرف فريد تم إنشاؤه بواسطة نظام نقاط البيع • التاريخ • الوقت • المبلغ • العملة • اسم بائع التجزئة • رمز فئة التجزئة (على سبيل المثال، نوع النشاط التجاري) |
| بيانات الأمان | التفويض |
| قيمة التحقق من البطاقة (CVV/CVC) • بيانات شريحة EMV (يوروباي وماستر كارد وفيزا) • بيانات الشريط المغناطيسي | رمز التفويض • رمز الاستجابة (على سبيل المثال، موافق عليه، مرفوض) |
بيانات حساب بطاقة الولاء في أربع فئات.
| تفاصيل العميل الشخصية | بيانات المعاملة |
|---|---|
| الاسم • قنوات الاتصال • العنوان • رقم الهاتف • البريد الإلكتروني • رسالة نصية قصيرة • تفضيلات الاتصال • تاريخ الميلاد • معلومات الأسرة (الحجم، الأعضاء، وما إلى ذلك) | تاريخ الشراء • تكرار التسوق • حجم السلة • عدد العناصر • التكلفة الإجمالية • طريقة الدفع • بطاقة (خصم أو ائتمان) • نقد • استرداد القسيمة |
| البيانات السلوكية وتفضيلات المستخدم | بيانات المكافآت |
| تاريخ استخدام القسيمة • التسوق عبر الإنترنت • الردود على الترقيات • البريد الإلكتروني • الموقع الإلكتروني • رسائل البريد • تفضيلات المنتج (على سبيل المثال، الولاء للعلامة التجارية) • تفضيل الخدمة • خدمة التوصيل إلى المنزل • انقر واستلم • التسوق داخل المتجر • ملاحظات العملاء | نقاط الولاء التي تم الحصول عليها • نقاط الولاء التي تم استردادها |
كما تمت مناقشته أعلاه، لتخزين البيانات، ستحتاج المؤسسات إما إلى الحصول على حلول محلية (داخلية) وإما استخدام مراكز بيانات ذات علامة بيضاء وإما الاستثمار في خدمات التخزين السحابي (وإما استخدام مزيج من هذه الحلول). يجب مراعاة المشكلات الآتية:
يمكن أن تكون تكاليف تخزين البيانات لمجموعات البيانات الكبيرة مكلفة للغاية، خاصة في حالة الحاجة إلى إتاحة البيانات دائمًا (أي يمكن الوصول إليها عند الحاجة). يقدم العديد من موفري الخدمات السحابية معدلات تخزين أقل تكلفة للبيانات التي يجب الوصول إليها بشكل أقل تكرارًا. في مثل هذه الحلول، يتم وضع البيانات بشكل أساسي في حالة (التجميد العميق) ولا يمكن الوصول إليها عادةً على الفور. ستكون تكلفة كل بايت لهذا النوع من تخزين البيانات أقل تكلفة بشكل ملحوظ من تكلفة تخزين البيانات المتوفرة دائمًا. هذا لا يختلف عن وضع مدخراتك في حساب التوفير المصرفي الذي يقدم فائدة أعلى - العائد أكبر، ولكن قد لا يتم سحب الأموال في أي لحظة.
المهارات المهارات المعرفية: العمليات والإستراتيجيات المعرفية:
- حل المشكلات
- اتخاذ القرار
تؤدي البيانات الضخمة دورًا مهمًا في تطوير أنظمة الذكاء الاصطناعي وفعاليتها، فهي مكتبة من المعلومات سريعة النمو، وتُجمع هذه المعلومات من الإنترنت، ووسائل التواصل الاجتماعي، وأجهزة إنترنت الأشياء (IoT)، وأنظمة العالم الحقيقي، والهواتف المحمولة وما إلى ذلك، ما يعني ببساطة أنها الوقود الذي يشغل آلة الذكاء الاصطناعي. يُستخدم هذا الحجم الكبير من البيانات المصنفة وغير المصنفة لتدريب نماذج التعلم الآلي، ويتحقق ذلك عن طريق اختيار واستخراج الميزات ذات الصلة من كتلة البيانات الخام المتاحة. بالإضافة إلى ذلك، فإن الكميات الهائلة من البيانات المتاحة تمكن علماء البيانات من التحقق من صحة نماذجهم وتقييمها. ويضمن هذا الأمر قدرة نماذج الذكاء الاصطناعي على التعميم الجيد للبيانات التي لم تطلع عليها (حتى الآن)، بدلاً من التحيز المفرط تجاه البيانات المحدودة (أحيانًا) التي تم تدريبها عليها. أحد السمات الهامة للبيانات الضخمة هو السرعة التي يمكن بها استيعابها حديثًا في نظام الذكاء الاصطناعي. وهذا يساعد على تحديد المشكلات المحتملة (على سبيل المثال، الانحراف عن الأصل) ويضمن أن تظل التوقعات دقيقة في المواقف الواقعية المتغيرة بسرعة (على سبيل المثال، التغيرات في أسعار سوق الأسهم). لا يكمن التحدي المتمثل في التعامل مع تعقيد البيانات الضخمة في سياق الذكاء الاصطناعي في تخزينها وتنظيمها فحسب، بل أيضًا في فهمها وتفسيرها بشكل فعال.
المهارات المهارات المعرفية: العمليات والإستراتيجيات المعرفية:
- التفكير الناقد
المهارات المعرفية: الإبداع:
- الابتكار
المصطلح الرئيس البيانات الضخمة - هي مكتبة من البيانات سريعة النمو، وتُجمع هذه البيانات من الإنترنت، ووسائل التواصل الاجتماعي، وأجهزة إنترنت الأشياء (IoT)، وأنظمة العالم الحقيقي، والهواتف المحمولة وما إلى ذلك.
المتقابلات الخمسة للبيانات الضخمة هي المعايير المستخدمة لوصف الخصائص (والتحديات) الرئيسة للبيانات الضخمة، وعادةً ما تكون العناصر الأربعة الأولى (الموضحة في الشكل 21.19) أساسية لتحقيق العنصر الخامس: قيمتها الإجمالية.


يشير إلى السرعة التي يتم بها إنشاء البيانات وتناولها ومعالجتها. بالنسبة للذكاء الاصطناعي، تعني السرعة العالية أن البيانات تتدفق إلى الأنظمة آنيةً أو شبه آنية. البيانات عالية السرعة تجعل أنظمة الذكاء الاصطناعي أكثر استجابة للتغيرات الظروف الواقعية، وتجعل توقعاتها أكثر دقة.
هذا هو قياس لجودة ودقة وموثوقية البيانات التي تم تناولها. أنظمة الذكاء الاصطناعي جيدة بقدر جودة البيانات التي تُغذى بها. فجودة المخرجات هي انعكاس لجودة المدخلات. ستنتشر بيانات ذات جودة سيئة وتتضخم عن طريق نظام الذكاء الاصطناعي، ما يؤدي حتمًا إلى نتائج معيبة وغير دقيقة. لهذا السبب، فإن التأكد من أن البيانات من مصدر موثوق هو خطوة مهمة في أي مشروع ذكاء اصطناعي.
البيانات الكمية أكثر تنظيمًا من البيانات النوعية، وهي مثالية لمعظم خوارزميات التعلم الآلي (الانحدار والتصنيف وما إلى ذلك)، لأنها تستهلك المدخلات الرقمية بكل سلاسة. بالإضافة إلى ذلك، تعمل الأساليب الإحصائية التقليدية بشكل جيد، ومن السهل تتبع التغييرات في البيانات الكمية بمرور الوقت. على الجانب السلبي، قد يتم فقدان الكثير من الفروق الدقيقة باستخدام نظام (تسجيل) بسيط. بالإضافة إلى ذلك، من الممكن أن تتضمن الأسئلة تحيزًا اعتمادًا على كيفية صياغتها، وهذا أمر قد يكون من الصعب اكتشافه إذا تم جمع البيانات الكمية فقط.
ما المتقابلات الخمسة للبيانات الضخمة؟
هذه عملية تحاول فهم لماذا وقعت أحداث أو سلوكيات معينة. يمكن أن يساعد هذا في تحديد هذه العوامل السببية على تحسين تنبؤات الذكاء الاصطناعي والدقة الشاملة للنتائج. وسيكون التطبيق الواقعي لهذا هو مثال مؤسسة تجارية تدير أسطولًا من حافلات النقل العام. تريد الشركة التأكد من أن جميع مركباتها تعمل بكفاءة وأمان، كما أنها تريد تقليل الأعطال وطلبات الصيانة غير المتوقعة - وكلها تزيد التكاليف وتؤدي إلى عدم رضا العملاء. تقوم الشركة بتزويد كل حافلة بأجهزة استشعار الأشياء التي تراقب ضغط الإطارات ومستويات البطارية والكبح والسرعة وأداء المحرك وما إلى ذلك. وهذا يسمح لها بجمع البيانات في الوقت الفعلي واستخدام التحليل التشخيصي لتقييم حالة كل مركبة وعملياتها. هذا، بدوره، يسمح بتحديد الأنماط أو الحالات الشاذة التي قد تشير إلى تآكل غير مبرر، والتنبؤ بفشل مكون ميكانيكي أو كهربائي قبل أن يحدث فعليًا. يمكن بعد ذلك الإبلاغ عن هذه المعلومات إلى فريق الصيانة في المؤسسة. وهذا يسمح لهم بجدولة صيانة سريعة واستباقية نسبيًا. وهذا من شأنه أن يمنع حدوث الأعطال، ويزيد من مدة عمل الحافلات، ويبقى العملاء سعداء.
استخدام التقنيات الإحصائية ونماذج التعلم الآلي للتنبؤ بالأحداث المستقبلية بناءً على البيانات التاريخية. والمثال الجيد على استخدام هذه التقنية هو شركة تأمين تستخدم التحليلات التنبؤية لتحديد ملف المخاطر لعميل محتمل. وهو ما من شأنه أن يسمح للشركة بتحديد علاوة واقعية للعميل، وهي علاوة توازن بين المطالبات المحتملة والتكاليف التشغيلية وربما مقبولًا للخدمات التي تقدمها.
هذه هي عملية اقتراح الإجراءات التي تجعل نتائج معينة أكثر احتمالًا أو تقلل فرصة حدوث بعض المخاطر على الإطلاق. التطبيق الواقعي لهذه العملية سيتم في عالم البيع بالتجزئة. يمتلك العديد من تجار التجزئة الكبار مراكز توزيع متعددة ومتاجر بيع بالتجزئة تنتشر في جميع أنحاء البلد. وهم بذلك يواجهون التحدي المتمثل في موازنة مستويات الأسهم عبر شبكات البيع. إنهم بحاجة إلى التأكد من أن متاجرهم تحتوي على الكميات المناسبة من السلع لتلبية طلبات العملاء المحليين. كما أنهم بحاجة إلى تجنب مخاطر المخزون الزائد غير الضرورية.
هو عملية تقديم البيانات في شكل رسومي (مثل الرسوم البيانية والرسوم التوضيحية، وما إلى ذلك) التي تساعد على توصيل المعلومات الرقمية أو الفنوية الأكثر تعقيدًا بطريقة أكثر قابلية للفهم للفئة المستهدفة.
المهارات المهارات المعرفية: العمليات والإستراتيجيات المعرفية:
- حل المشكلات
- التفسير
مهارات التواصل الشخصي: أخلاقيات العمل/الضمير:
- الإنتاجية
موضوعات ذات صلة راجع أجزاء مفهوم التحيز والحد من تأثير التحيز في مجموعات البيانات. اسأل نفسك عن سبب أهمية معالجة قضايا التحيز لجودة النتائج.
موضوعات ذات صلة راجع الجزء الخاص بجمع البيانات وتجهيزها. فكر في ما يجب القيام به من أجل إعداد البيانات لاستخدامها في مشروع. لماذا يجب إعداد البيانات؟
مبادئ وعمليات جمع البيانات وإعدادها لضمان بيانات عالية الجودة تناسب حلول الذكاء الاصطناعي يوضح هذا الجزء أفضل الممارسات التي يجب اتباعها عند جمع البيانات وإعدادها. يجب أن نتذكر دائمًا أن أحد الأسباب الأساسية لفشل مشاريع الذكاء الاصطناعي هو سوء اختيار البيانات وجمعها. يوجد خمس نقاط رئيسة يجب تذكرها عند جمع البيانات وإعدادها لحل الذكاء الاصطناعي.
1 فهم المتطلبات بشكل كامل تأكد من أن البيانات التي تم جمعها ذات صلة وتفي بمتطلبات مشروع الذكاء الاصطناعي الذي يتم العمل عليه. حدد أنواع البيانات المطلوبة وتنسيقاتها ومعدل تكرار جمعها (كل ساعة، يوميًا، شهريًا، وما إلى ذلك).
2 التأكد من دقة البيانات ومن اتباع ضوابط النزاهة تحقق من سلامة البيانات - تأكد من أن مصدر بياناتك الفعلي قانوني وآمن. يعد عقد البيانات طريقة جيدة لضمان هذه المعلومات وتسجيلها. تحقق من جودة البيانات - تحقق من عدم الاتساق والبيانات المكررة والبيانات المفقودة والأخطاء.
3 الحد من التحيز غير المقصود من خلال ضمان تنوع البيانات تأكد من أن البيانات تحتوي على القدر والفئة المناسبة من التنوع (على سبيل المثال، الديموغرافي والجغرافي، وما إلى ذلك). التأكد من أن ارتباط البيانات بسياق/طبيعة المشكلة التي تتم معالجتها.
4 التأكد من تطهير البيانات بشكل صحيح تطهير القيم المفقودة، والقيم الشاذة، والبيانات العشوائية غير الضرورية في مجموعة البيانات (البيانات العشوائية هي في الأساس بيانات غير ذات صلة يمكن أن تؤدي إلى مواقف غير متوقعة). تحويل البيانات باستخدام تقنيات التخطيط بحيث تكون جاهزة للاستخدام في نموذج تعلم آلي، وما إلى ذلك.
5 اتباع الإرشادات الأخلاقية والاعتبارات القانونية في جميع الأوقات قم بإخفاء هوية معلومات التعريف الشخصية (PII) حيثما أمكن ذلك. واحترم قوانين حماية البيانات والخصوصية المحلية (على سبيل المثال، اللائحة العامة لحماية البيانات في أوروبا).
بحث تتخصص مؤسستك في تقديم حلول تكنولوجيا المعلومات المصممة خصيصًا للقطاع المالي. نظرًا للظروف الصعبة في هذا المجال، تواجه الشركة صعوبة في الاحتفاظ بالموظفين ذوي المستوى الفني المناسب. ويبدو أن إحدى المسائل الرئيسة هي أن عدد الطلبات الواردة لأي وظيفة شاغرة معلن عنها مرتفع للغاية بحيث يتعذر على فريق الموارد البشرية معالجتها بسرعة. تم تقديم اقتراح لبناء حل تنبؤي بالذكاء الاصطناعي. سيتم تدريب هذا الحل على محتويات نماذج الطلبات التي سبق تقديمها ونتائج المقابلات. سيتم استخدامه بعد ذلك لتوفير نظام فرز أولي لتضييق نطاق الطلبات، قبل أن يقوم فريق الموارد البشرية بمعالجتها. ابحث عن المشكلات التي يجب أن تضعها في اعتبارك عند محاولة ضمان جمع بيانات عالية الجودة والتحضير لهذا النوع من حلول الذكاء الاصطناعي.
مقارنة البيانات النوعية بالكمية.
| البيانات النوعية | البيانات الكمية |
|---|---|
| تصف الصفات أو الخصائص | رقمي، على سبيل المثال، الكميات، المبالغ، الدرجات، النطاقات، وما إلى ذلك. |
| غير رقمي | تم جمعها عبر مجموعات البيانات المنظمة والأسئلة المغلقة |
| تركز بقوة على 'لماذا؟' و'كيف؟' | تصنيفات على نمط ليكرت، مثل '3 من 4' |
| تم جمعها من خلال الملاحظات والمقابلات والأسئلة المفتوحة واستطلاعات العملاء، وما إلى ذلك. | سهل القياس والتحليل الإحصائي |
يساعد فهم أهداف مشروع الذكاء الاصطناعي على تحديد نوع البيانات المطلوبة للإجابة عن السؤال (الأسئلة) المحدد. على سبيل المثال، فإن النموذج المطلوب لإجراء التنبؤات الجوية سيحتاج إلى بيانات الطقس السابقة ليتم تدريبه بنجاح. ومع ذلك، إذا كنت تريد من الذكاء الاصطناعي التنبؤ باحتمالية حدوث السرقات في منطقة معينة، فستحتاج إلى الوصول إلى سجلات حوادث الشرطة و/أو مطالبات التأمين على المنازل. ببساطة، تتطلب الأهداف المختلفة بيانات مختلفة.
من الممكن أن يكون لديك بالفعل حق الوصول إلى البيانات التي تطلبها. إذا كان هذا هو الحال، فلا داعي للحصول عليها بشكل منفصل. على سبيل المثال، قد تقوم المؤسسة بشكل روتيني بجمع البيانات المتعلقة بالأعمال التي تحتاج إليها في إطار عملياتها اليومية، لذلك يجب أن تحظى هذه البيانات بتخزين آمن. قد لا تكون بالتنسيق الصحيح، لكنها تمثل نقطة انطلاق جيدة، ما يوفر للشركة الوقت والمال الثمينين.
ما عملية تحليل البيانات التاريخية لفهم ما حدث سابقًا؟
وقفة للتفكير هل سبق لك أن جمعت بيانات لمشروع ما؟ هل قدم شخص ما بيانات؟ هل كانت البيانات متاحة بسهولة على الإنترنت؟ أم كان عليك إنشاء استبيان؟ تلميح فكر في السياق الذي كنت بحاجة فيه إلى البيانات والأسباب التي دفعتك لاختيار مصدر بيانات معين. توسيع الأفق لماذا احتجت إلى استخدام هذا المصدر بالذات؟ ما الذي كان بإمكانك فعله أيضًا؟
المصطلح الرئيس تمام الملاءمة - الحالة التي تتناسب فيها البيانات مع نموذج إحصائي بدقة بحيث لا يمكن استخدامها في أمثلة أكثر عمومية، أي أن تركيزها ضيق أو محدد للغاية.
يمكن أن يحدث التحيز غير المقصود لعدد من الأسباب المختلفة، بما في ذلك طرق جمع البيانات الفعلية المستخدمة (على سبيل المثال، بسبب مشكلات في أخذ العينات أو القياس). كما يوحي الاسم، فإن هذا النوع من التحيز يرجع في الغالب إلى الجهل أو الإهمال، وغالبًا ما يحدث بسبب خطأ بشري. تحدث مشكلة متكررة وشائعة عندما يُطلب منه إجراء تنبؤات بناءً على بيانات واقعية استُخدمت في تدريب الذكاء الاصطناعي. تضمنت إحدى الحالات الشهيرة للتحيز غير المقصود قيام منظمة رائدة بتدريب نظام الذكاء الاصطناعي الخاص بها لتصفية المتقدمين للوظائف، حيث كان هناك شعور بأن هذا سيجعل العملية أكثر كفاءة. ومع ذلك، فإن البيانات التدريبية المستخدمة كانت تتكون من عينات جاءت أصلًا من متقدمين ناجحين من الرجال. نتيجة لذلك، قام نظام الذكاء الاصطناعي بتقييم طلبات النساء بشكل سيء للغاية. وبعد أن بدا الأمر وكأن الذكاء الاصطناعي يميز ضد النساء، سحبت المنظمة الخدمة. التحيز غير المقصود تسبب أيضًا في مشكلات عندما استُخدمت أداة فحص الذكاء الاصطناعي لتمييز أعراض سرطان الجلد. أوضحت البيانات المتحيزة أن الأعراض لدى الأشخاص ذوي البشرة الداكنة لم يتم تحديدها بدقة. كان هذا بسبب تغذية بيانات التدريب بمزيد من صور الوجوه البيضاء. كلا الحالتين نشأتا من مشكلات في تنوع البيانات التي أدت إلى التحيز ونتائج أسوأ لبعض فئات السكان. ومن نتائج هذا النوع من التمييز هو أن الثقة في أنظمة الذكاء الاصطناعي تتضرر.
المصطلحات الرئيسة التحيز المؤسسي - يُقصد به التحيز المترتب على سياسات وإجراءات المنظمة المصممة للعمل بطريقة معينة تصب في مصلحة بعض الفئات الاجتماعية أو الأفراد أو تلحق الضرر بها. التحيز الهيكلي - هو مفهوم أوسع نطاقًا يشير إلى الحفاظ النظامي على عدم المساواة بين مجموعات اجتماعية مختلفة أو أفراد.
التحيز النظامي هو مصطلح واسع المعنى يصف الحالة التي تُصمم فيها عملية معينة لدعم مجموعة معينة من النتائج، ونظرًا لأن هذا الأمر يحدث غالبًا داخل المؤسسات الكبيرة، ففي معظم الأحيان يُستخدم المصطلح إلى جانب التحيز المؤسسي أو الهيكلي. وغالبًا ما يحدث هذا النوع من التحيز بسبب التحيز المعرفي - الطريقة التي يطور بها الناس نظرة ذاتية (غير موضوعية) للعالم ويتخذون قرارات لا تبدو عقلانية (على سبيل المثال، الحكم على الناس بناءً على مظهرهم، بدلاً من الأمور التي يمكنهم القيام بها). ومن الممكن أن ينتقل هذا التحيز إلى نظام الذكاء الاصطناعي.
يوجد عدد من الطرق للحد من تأثير التحيز في مجموعات البيانات. يرد في ما يأتي خمس نصائح أساسية عليك مراعاتها. 1 احذر من التحيز في أخذ العينات. 2 تأكد من أن البيانات لها تمثيل متنوع، باستخدام مجموعة من المصادر المختلفة لمنع التمثيل الناقص لعناصر معينة من السكان. 3 نظف البيانات بعناية قبل استخدامها لاكتشاف أي تحيزات محتملة أو بيانات مفقودة أو انحرافات غير متوقعة. 4 استخدم الخوارزميات التي يمكنها اكتشاف التحيز والإبلاغ عنه. 5 تحقق من صحة القرارات وقيمها باستخدام مقاييس العدالة - ابحث بنشاط عن أي تحيزات غير متوقعة تحدث (وقم بمواجهتها). نصيحة مهمة أخرى هي التفاعل مع مجموعة متنوعة من أصحاب المصلحة خلال جميع مراحل مشروع الذكاء الاصطناعي - من البداية إلى النهاية. وجود وجهات نظر متعددة حول نتائج الذكاء الاصطناعي يمكن أن يكون مفيدًا في تسليط الضوء على التحيز وتحديد القرارات السيئة المحتملة.
عادةً ما يكون إنشاء مصدر بيانات مناسب لحلول الذكاء الاصطناعي مهمة مهندس البيانات، إذ سيقوم بالجمع الأولي للبيانات، وينظفها، ويخططها، ويوحدها - ربما من عدد من مصادر البيانات المتباينة (على سبيل المثال، استجابات واجهة برمجة التطبيقات، ملفات CSV، قواعد البيانات، وما إلى ذلك). يوجد عدد من الطرق المختلفة التي يمكن لمهندس البيانات من خلالها الحصول على البيانات من مصادر موثوقة. وتشمل الآتي:
بالإضافة إلى ذلك، من الممكن استخدام أدوات (اكتشاف) البيانات الآلية لتحديد مصادر البيانات (الملفات وقواعد البيانات وواجهات برمجة التطبيقات وما إلى ذلك) التي تستخدمها التطبيقات الحالية. الوجهة المعتادة لأي مصدر بيانات جديد هي السحابة، ويرجع ذلك أساسًا إلى حجمها وتوافرها وقابليتها للتطوير.
بحث الموقع الرسمي للحكومة الإلكترونية الأردنية متاح عبر الإنترنت ويستضيف منصة البيانات الحكومية المفتوحة الخاصة بهم. تحتوي هذا البوابة المصنفة بشكل جيد والقابلة للبحث على مجموعات بيانات مفتوحة عالية الجودة متاحة بتنسيقات قابلة للقراءة آليًا (على سبيل المثال، CSV، XLSX، وما إلى ذلك) يمكن تنزيلها ومراجعتها. يمكن استخدام هذا المورد العام لتحديد مصادر البيانات المناسبة للمعلومات الآتية:
- استهلاك الطاقة
- عدد حالات الحروق في مستشفيات وزارة الصحة لعام 2021
- عدد القضايا المستلمة والمسجلة بحسب الموقع ونوع المحكمة لعام 2023
- المواليد الأردنيون لعام 2022 بحسب الولادة والجنس.
ابحث وراجع مصدر بيانات مفتوح آخر ذي صلة يمكنك العثور عليه وتحديد مدى ملاءمته وجودته وتنسيقات البيانات المتاحة. اسأل نفسك: هل البيانات موثوقة جيدًا؟
هناك العديد من التحديات المختلفة التي ينطوي عليها تنظيف البيانات كجزء من عملية التحضير.
هذه معاينة من الموضوع. أكمل القراءة في التطبيق
سجّل مجاناً وكمّل الموضوع من الكتاب، ومنرجّعك لنفس المكان.
معاينة موضوع «نتاج التعلم ب: تخطيط حل الذكاء الاصطناعي وإعداده لتلبية احتياجات محددة» من وحدة «مقدمة إلى الذكاء الاصطناعي AI» في مادة مقدمة في الذكاء الاصطناعي. أقسام الشرح: ٦٠، التعريفات: ١٠، الأسئلة المحلولة: ٥.
المصدر: بيرسون، نتاج التعلم ب: تخطيط حل الذكاء الاصطناعي وإعداده لتلبية احتياجات محددة (ص ٢١٤–٢٥٢)