شرح الموضوع
سأتعرّف في هذا الدرس الأدوات والطرائق الخاصة بجمع البيانات وتقنيات تحليلها واستكشافها، ثمّ أستخدم هذه الأدوات في تحديد اتجاه البيانات ونزعتها، وأفاضل بينها بناءً على طبيعة المشكلة التي أحتاج إلى حلّها. كذلك سأوظّف تقنيات التحليل في اكتشاف الأنماط التي تُمثّل الأنظمة المُعقّدة.
تقنيات تحليل البيانات
كيف نجمع البيانات؟ ست طرائق
نتاجات التعلّم :
- أُوضّح طرائق جمع البيانات واستخداماتها.
- أُبيّن مراحل استكشاف البيانات.
- أُميّز بين أدوات جمع البيانات وتحليلها واستكشافها.
- أفاضل بين الأدوات والتقنيات المُتوافرة التي تُستخدَم في تحليل البيانات اعتمادًا على المشكلة التي يُراد حلّها.
تؤدّي الأدوات الخاصة بجمع البيانات وتحليلها دورًا أساسيًا في استكشاف الأنماط والاتجاهات الكامنة داخل البيانات وفهمها.
بناءً على تجارب سابقة، أُبيّن طريقة واحدة يُمكن استخدامها في كلّ ممّا يأتي:
جمع بيانات شخصية عن طلبة الصف من طرف المُعلّم/المُعلّمة.
تعرّف المشكلات التعليمية التي يعانيها أحد الطلبة.
تعرّف حالة الطقس في المدينة التي أسكن فيها على مدار أسبوع كامل.
هل توجد طرائق أخرى لجمع البيانات غير تلك التي دوّنتها.
أقرأ الجمل الآتية، ثمَّ أُبيِّن طريقة جمع البيانات المناسبة لكلٍّ منها:
شركة تريد تقييم رضا العملاء عن مُنتج جديد بعد إطلاقه مدرسة تسعى إلى جمع معلومات عن حضور الطلبة اليومي على مدار العام باحث يرغب في فهم أسباب التغيُّر في مُعدَّلات البطالة في منطقة مُعيَّنة متجر إلكتروني يريد معرفة أكثر المُنتجات شيوعًا بين العملاء مدينة تسعى إلى جمع معلومات عن مستوى الرضا عن وسائل النقل العام
أبحث في المواقع الإلكترونية الموثوقة في شبكة الإنترنت عن طرائق أُخرى لجمع البيانات، ثمَّ أُشارك الزملاء/ الزميلات في ما أتوصل إليه من نتائج.
طرائق جمع البيانات:
- أشكال المقابلات: تختلف أنواعها تبعًا لاعتبارات عديدة، أبرزها:
- عدد المشاركين:
- المقابلة الفردية: تركّز على شخص واحد للحصول على بيانات عميقة ومفصّلة عنه.
- المقابلة الجماعية: الالتقاء بمجموعة من الأشخاص؛ ما يتيح جمع آراء متعدّدة في آنٍ معًا.
- طبيعة المقابلة:
- المقابلة الرسمية: يخطَّط لها مسبقًا بأسئلة مجهّزة وواضحة.
- المقابلة غير الرسمية: تعقد من دون تخطيط دقيق ومحكم، وأسئلتها مفتوحة لتتيح نقاشًا حرًّا.
- متى تناسب؟ الاستبانة أداة مثالية إذا كان الهدف جمع بيانات شاملة ومُوحَّدة تُسهِّل عملية التحليل واتِّخاذ القرارات.
- مزاياها: تتوافر لشريحة واسعة من الأفراد، وتمتاز بسهولة جمعها للبيانات وتحليلها.
لإنشاء استبانة إلكترونية
- فائدتها: المسوحات وسيلة فاعلة لجمع كمٍّ كبير من البيانات بهدف استكشاف مواقف الأفراد، وتحديد الفروق في السلوكات، ومراقبة التغيُّرات المحتملة بمرور الوقت، وصولًا إلى فهم الاتِّجاهات العامة داخل المجتمعات.
- الاستخدام: تُستخدم كثيرًا في مراقبة السلوكات والظواهر بصورة مباشرة ودقيقة؛ ما يتيح جمع بيانات موضوعية عن الواقع بعيدًا عن التحيز أو التعصُّب.
- أمثلة:
- مراقبة سلوك الطلبة الصغار داخل الصفوف؛ لفهم كيفية تفاعلهم مع المعلِّمين/ المعلِّمات والزملاء/ الزميلات.
- دراسة تفاعل الأفراد في بيئة العمل؛ لفهم ديناميكيات الفريق.
- حجم المجموعة: تضمُّ المجموعة عادةً (6-12) فردًا لديهم اهتمام (أو خبرة) مشترك بالموضوع الذي يراد دراسته.
- الهدف: فهم تصوُّرات المشاركين وآرائهم ومواقفهم عن طريق طرح مجموعة من الأسئلة التوجيهية التي تتعلَّق بالموضوع.
- أمثلة:
- دراسة آراء المستهلكين بخصوص منتج جديد.
- استكشاف مواقف المعلِّمين/ المعلِّمات تجاه تطبيق استراتيجيات تعليمية مبتكرة.
- الهدف: جمع بيانات شاملة عن هذه الوحدة؛ بغية فهم الظاهرة المدروسة بوضوح ودقة.
- كيف؟ تعتمد على ملاحظة الظاهرة في سياقها الطبيعي، مع توثيق التفاصيل المحيطة بها.
- مجالاتها: تُستخدَم على نطاق واسع في المجالات الاجتماعية والتعليمية والطبية.
استكشاف البيانات
استكشاف البيانات: نفهم البيانات قبل أن نحلّلها
- المرحلة الأوّلية لتحضير البيانات: تبدأ بتحديد المشكلة أو السؤال الذي نرغب في الإجابة عنه، ووجود هدف واضح خطوة أساسية لتوجيه عملية الاستكشاف.
- بعد ذلك تُجمع البيانات اللازمة للتحليل من مصادر متنوّعة، مثل: قواعد البيانات، والواجهات البرمجية (APIs)، وجداول البيانات، والملفات النصية.
- تنظيف البيانات (Data Cleaning): إزالة الأخطاء والقيم المفقودة والقيم غير المنتمية لضمان جودة البيانات وتحضيرها للتحليل.
- اختيار طريقة العرض: يعتمد على نوع البيانات المستخدَمة، ومن التقنيات الشائعة لتمثيلها:
| المخططات (Histograms) | المخططات في عرض التوزيعات التكرارية، وهي مناسبة للبيانات العددية المُتّصلة. |
| المخططات العمودية (Bar Charts) | هذه المخططات في عرض التوزيعات التكرارية، وهي مناسبة للبيانات التصنيفية. |
| مخططات التشتت (Scatter Plots) | هذه المخططات العلاقة بين مُتغيّرين عدديين، وهي تُسهم في الكشف عن الأنماط أو الاتّجاهات. |
| المخططات الصندوقية (Box Plots) | هذه المخططات في توضيح نطاق البيانات وتوزيعها، مع التركيز على القِيَم غير المنتمية. |
| مخططات السلاسل الزمنية (Time Series Plots) | هذه المخططات في استكشاف البيانات على مدى زمني؛ ما يساعد على فهم الاتّجاهات أو التغيّرات الموسمية. |
| القطاعات الدائرية (Pie Chart) | هذه المخططات في عرض النسب المئوية بين الفئات، وهي مناسبة للفئات المحدودة العدد (3-5 فئات) |
- تلخيص البيانات (Summarizing): تُستخدَم الإحصائيات الوصفية في تقديم رؤى واضحة وموجزة عن البيانات.
- الهدف الرئيس: توجيه التحليل العميق (Further Analysis) عن طريق اكتشاف الأنماط والعلاقات وتحديد المشكلات (مثل: القيم غير المنتمية، والتوزيعات غير الطبيعية) وصولًا إلى تحسين جودة النتائج.
- نتائج الاستكشاف تُقدِّم جملة من الإرشادات لاختيار المعالجة الإحصائية المناسبة.
- الخاتمة: تنتهي العملية باستخلاص نتائج واضحة ترتبط بأهداف التحليل، إضافةً إلى توثيق الخطوات والنتائج.
- عملية تكرارية: قد يتطلّب استكشاف البيانات عمل مراجعات عديدة وإجراء تنقيح مستمر لتحقيق أفضل النتائج.
أدرس التمثيلات البيانية السابقة، ثمّ أُحلّلها - بالتعاون مع أفراد مجموعتي - لفهم البيانات بصورة أوّلية، ثمّ أحدّد مقاييس النزعة المركزية، مثل: المتوسّط. كذلك أحدّد الاتّجاه العام للبيانات. بعد ذلك أُحلّل اتّجاه النزعة؛ سواء كانت زيادةً، أو نقصاناً، أو ثباتاً، إضافةً إلى رصد أيّة قِيَم غير منتمية أو بعيدة عن بقِيّة القِيَم تظهر في التمثيل البياني.
أُناقش أفراد مجموعتي في ملاحظاتي الأوّلية، ثمّ نُشاركها مع أفراد المجموعات الأخرى.
إضاءة
| الطالب | العلامة (100) |
|---|---|
| الطالب الأوّل | 85 |
| الطالب الثاني | 85 |
| الطالب الثالث | 90 |
| الطالب الرابع | 22 |
| الطالب الخامس | 92 |
| الطالب السادس | 95 |
| الطالب السابع | 91 |
| الطالب الثامن | 93 |
| الطالب التاسع | 87 |
| الطالب العاشر | 89 |
أدوات تحليل البيانات :
أدوات التحليل: كل أداة لغرض
- اختيار الأداة: اختيار الأداة المناسبة يُفضي إلى تحقيق أهداف التحليل كما خُطط لها.
- الاختلاف: تختلف أدوات تحليل البيانات تبعًا لاختلاف نوع البيانات، والغرض من التحليل.
1- لغة البرمجة بايثون (Python):
بايثون ومكتباتها السبع
- المزايا: تمتاز لغة البرمجة بايثون بأنها متعدِّدة الاستخدامات، وسهلة التعلُّم، وتُستخدم على نطاق واسع في تحليل البيانات؛ لأنها مفتوحة المصدر (Open Source)، ومجانية.
- المجتمع والمكتبات: مجتمع عالمي ضخم، وأكثر من (137000) مكتبة متخصِّصة في مختلف المجالات.
- ما تتيحه: معالجة متقدِّمة للبيانات، وعمل تحليل عددي دقيق.
من أبرز مكتبات بايثون لتحليل البيانات
| مكتبة (pandas) | تُستخدم هذه المكتبة في معالجة البيانات وعرضها، والتعامل مع الجداول بسهولة. |
| مكتبة (pyspark) | يُمكن لهذه المكتبة التعامل مع البيانات الضخمة (Big Data) ومعالجتها. |
| مكتبة (numpy) | الاسم الكامل لهذه المكتبة هو (Numerical Python)، وهي تتيح تنفيذ العمليات الحسابية والعمليات المنطقية بكفاءة عالية، ويُمكنها التعامل مع المصفوفات والعمليات الرياضية. |
| مكتبة (scikit-learn) | تُعدُّ هذه المكتبة واحدة من المكتبات الشاملة للتعلُّم الآلي والنمذجة الإحصائية، وهي تُستخدم في التصنيف (Classification)، والانحدار (Regression)، والتجميع (Clustering)، وتقليل الأبعاد (Dimensionality Reduction). |
| مكتبة (scipy) | الاسم الكامل لهذه المكتبة هو (Scientific Python)، وهي مكتبة شاملة تُوفِّر وظائف رياضية مُتقدِّمة مثل الجبر الخطي، وتُناسب بوجه خاص المهام التي تتطلب تحليلاً علميًا وهندسيًا مُتقدِّمًا، وتستلزم أساليب رياضية وإحصائية مُتخصِّصة. |
| مكتبة (matplotlib) | تتيح هذه المكتبة إنشاء الرسوم البيانية والمُخطَّطات، مثل: المُخطَّطات الخطِّيَّة، ومُخطَّطات التشتُّت. |
| مكتبة (Natural Language Toolkit:** NLTK) | تُعنى هذه المكتبة بمعالجة اللغة الطبيعية (NLP)، ويستفاد منها في تمكين جهاز الحاسوب من فهم النصوص البشرية (لغة الإنسان)، والتفاعل معها، وتحليلها، ومعالجة النصوص. |
2- برمجية إكسل (Excel):
إكسل: جداول ومخططات تُرى بنظرة
- استخداماتها: تلخيص البيانات الممثَّلة في جداول، وإجراء العمليات الحسابية على الخلايا، وتمثيل البيانات بالرسوم البيانية، وفرز كمٍّ كبير من البيانات وتنظيمها.
- إنشاء المخططات: توفِّر إكسل ما لا يقل عن (20) نوعًا مختلفًا من المخططات، بدءًا بالخيارات القياسية (مثل: المخططات الشريطية، ومخططات التشتُّت)، وانتهاءً بأكثرها تعقيدًا، مثل: مخططات الرادار (Radar Charts).
- متى يناسب؟ هو أنسب المخططات للبيانات المتعدِّدة المتغيِّرات، مثل: تحليل تغيُّر درجات الحرارة في مواقع مختلفة خلال السنة، ومقارنة أداء المنتجات في مناطق متعدِّدة.
| المؤشر | الفريق 1 | الفريق 2 | الفريق 3 |
|---|---|---|---|
| المبيعات | 90 | 80 | 85 |
| العملاء | 85 | 88 | 82 |
| المنتج | 80 | 90 | 88 |
| العمل الجماعي | 92 | 85 | 90 |
| الدقة | 95 | 92 | 88 |
- خرائط الأشجار (Treemap): تقدِّم عرضًا هرميًا للبيانات باستخدام مستطيلات، وتُمثَّل فيها الفئات بالألوان.
- مزاياها: سهولة عرض كثير من البيانات التي قد يصعب عرضها في أنواع أخرى من المخططات، واكتشاف الأنماط بسهولة، وإبراز أكثر العناصر أهمية، مثل تحديد أكثر المنتجات مبيعًا في متجر ما.
| بيض | 10 |
| حليب | 30 |
| خبز | 27 |
| منظفات | 15 |
| شوكولاته | 5 |
أناقش:
إثراء
إثراء: أدوات أخرى لتحليل البيانات
توجد أدوات أُخرى لتحليل البيانات، يختلف استخدامها تبعًا لاختلاف حجم البيانات، وتعقيدها، ونوع التحليل المطلوب. في ما يأتي استعراض لهذه الأدوات ومزاياها:
- (R): ومن ثَمَّ، فهي تُعدُّ خيارًا مثاليًا للبحوث الأكاديمية والحوسبة الإحصائية.
- (SQL): وتُعدُّ أداة أساسية للتعامل مع البيانات الهيكلية.
- (Power BI): تمتاز بسهولة التكامل مع منتجات مايكروسوفت، مثل: (Excel)، و(Azure)، وتُعدُّ مثالية للتعاون عبر السحابة.
- (Google BigQuery): يمتاز بقدرته على التوسُّع، ويستخدم استعلامات شبيهة بالأداة (SQL)، ويدعم التكامل مع خدمات (Google Cloud).
أبحث
المفاضلة بين أدوات تحليل البيانات:
كيف نختار الأداة؟ أربعة معايير
ليس من السهل اختيار الأداة المناسبة لتحليل البيانات بسبب تنوُّع الأدوات، وعدم وجود أداة تُناسب جميع الاحتياجات والمُتطلَّبات. لذلك يجب أوَّلًا فهم طبيعة البيانات التي يُراد تحليلها، ثمَّ استخدام مجموعة من المعايير للمفاضلة بين الأدوات.
- سعر الأداة: بعضها يتطلَّب اشتراكًا لقاء مبلغ من المال، وبعضها الآخر متاح بصورة مجانية.
- بعض الإصدارات المجانية تفتقر إلى مزايا لا تتوافر إلَّا في النسخ المدفوعة، فيجب تقييم المزايا ومدى وفائها بالاحتياجات المطلوبة.
- القدرات الرسومية: تتيح الرسوم البيانية عرض البيانات بشكل واضح وبسيط؛ ما يُسهِّل فهم الأنماط والعلاقات، ويدعم التحليل البصري على نحو أكثر شمولًا وفاعلية.
المواطنة الرقمية:
أُقيِّم تعلُّمي
أقيّم تعلّمي: أسئلة الدرس
السؤال الأوَّل: أعرِّف المصطلحات الآتية:
القِيَم غير المنتمية (Outlier)
خرائط الأشجار (Treemap)
الإحصاءات الوصفية (Descriptive Statistics)
استكشاف البيانات (Data Exploration)
تصوُّر البيانات (Data visualization)
أحد الخيارات الآتية لا يُعدُّ من طرائق جمع البيانات:
المقابلات.
دراسة الحالة.
الرسم البياني.
الملاحظة.
تُستخدَم دراسة الحالة بصورة رئيسة في:
جمع بيانات عن مجموعة كبيرة التحليل المُعمَّق استكشاف الأنماط الزمنية.
مراقبة الظواهر الطبيعية.
أكثر أداة تُستخدَم في جمع بيانات من مجموعة كبيرة في وقت قصير هي:
الاستبانات.
مجموعات التركيز.
الأداة النوعية التي تُركّز على مناقشة مجموعة صغيرة من الأفراد لاستكشاف آرائهم هي:
المسوحات.
المقابلات الهاتفية.
من مكتبات برمجية بايثون (Python) التي تُستخدم في إنشاء رسوم بيانية ومُخطّطات مُتقدّمة:
مكتبة (Pandas).
مكتبة (NumPy).
مكتبة (Matplotlib).
مكتبة (Scikit-learn).
تُعدّ الملاحظة واحدة من أدوات جمع البيانات التي تعتمد على تدخل الباحث مباشرة لتوجيه السلوك.
تُعدّ الاستبانات أداة رئيسة لجمع بيانات كمّيّة مُنظّمة وقابلة للتحليل الإحصائي.
تُعدّ المقابلات الرسمية أكثر مرونة مقارنةً بالمقابلات غير الرسمية.
تُستخدم مكتبة (Pandas) في معالجة البيانات والتعامل مع الجداول في برمجية بايثون (Python)
تُستخدم المُخطّطات العمودية في عرض مقارنات بين الفئات.
تُعدّ لغة البرمجة (Python) الخيار الأفضل لتحليل البيانات غير المُنظَّمة، في حين تُعدّ لغة (SQL) الخيار الأفضل لتحليل البيانات المُنظَّمة.
تُعدّ ____ وسيلة فاعلة لجمع بيانات نوعية تفصيلية تتطلّب فهماً عميقاً لموضوع مُعيّن.
تُجمع البيانات باستخدام ____ لتحليل الظواهر بصورة مباشرة من دون تدخل الباحث.
يُمكن جمع بيانات شاملة ومُنظّمة باستخدام ____؛ سواء أكان ذلك ورقياً أم إلكترونياً.
تُستخدم ____ عند جمع آراء مُتعدّدة - في الوقت نفسه - عن موضوع مُحدّد.
مكتبة ____ في برمجية بايثون (Python) تُستخدم في إنشاء الرسوم البيانية والمُخطّطات.
المهارات: أُوظّف مهارات التفكير الناقد والبحث الرقمي والتواصل في الإجابة عن الأسئلة الآتية:
السؤال الأوّل: أبحث بمساعدة سراج عن مَزيّة كل مكتبة من المكتبات التي تُوفّرها برمجية بايثون الواردة في الجدول الآتي.
السؤال الثاني: أُقارن بين لغة البرمجة بايثون (Python) وبرمجية إكسل (Excel) من حيث الفاعلية في تحليل البيانات الكبيرة والرسوم البيانية المُتقدّمة.
السؤال الثالث: أدرس الحالة الآتية، ثمّ أُبيّن كيف يُمكن للشركة الاستفادة من مراحل استكشاف البيانات في فهم أسباب التباين في أداء الموظفين، تعمل إحدى الشركات على استكشاف البيانات المُتعلّقة بأداء موظفيها لتحسين الإنتاجية. وقد تبيّن لها أثناء عملية استكشاف البيانات وجود تفاوت كبير في أداء الموظفين في الفروع المختلفة للشركة.
