تنظيف البيانات قبل التحليل الإحصائي: القيم المفقودة والمتطرفة والترميز

أغلقت رابط الاستبانة، وصدرت الردود إلى SPSS، وتريد الانتقال فورًا إلى اختبار الفرضيات. توقف قليلًا. رقم واحد أدخل خطأ، أو مستجيب أجاب عن نصف الأسئلة، أو فقرة سلبية لم تعكس، قد يغير نتيجة اختبار كامل. يشرح هذا المقال تنظيف البيانات (Data Cleaning) قبل التحليل الإحصائي خطوة بخطوة: إعداد الترميز، وكشف أخطاء الإدخال، والتعامل مع القيم المفقودة والمتطرفة، ثم توثيق قراراتك في الرسالة بطريقة تقنع اللجنة.

لماذا تنظف بياناتك قبل التحليل؟

التحليل الإحصائي لا يميز بين البيانات الصحيحة والخاطئة، بل يحسب ما تعطيه له. مثال افتراضي بسيط: عشر إجابات عن فقرة في مقياس خماسي هي 4 و3 و5 و4 و3 و4 و2 و4 و3 و3، ومتوسطها 3.50. لو أدخلت إحدى الدرجات 4 بالخطأ على أنها 44، يقفز المتوسط إلى 7.50، وهي قيمة مستحيلة في مقياس أعلى درجاته 5. الخطأ هنا واضح، لكن أخطاء أخرى أصغر قد تمر دون أن تلاحظها وتغير النتائج بهدوء.

التنظيف يحمي أيضًا افتراضات الاختبارات. كثير من حالات عدم الاعتدالية أو ضعف الثبات سببها أخطاء في البيانات، لا خصائص حقيقية للمتغيرات.

قبل أي تعديل، احفظ نسخة أصلية من ملف البيانات ولا تعدل عليها أبدًا، واعمل على نسخة ثانية. بهذا تستطيع العودة إلى الأصل إذا احتجت مراجعة أي قرار.

ضبط الترميز وإعداد ملف SPSS

ابدأ بدليل ترميز (Codebook) مكتوب يحدد لكل متغير اسمه ووصفه وقيمه المسموحة ومعنى كل قيمة. ثم اضبط نافذة Variable View في SPSS:

Name وLabel: اسم قصير بلا مسافات مثل Q1، ووصف كامل يظهر في الجداول.
Values: معنى كل رقم، مثل 1 = ذكر و2 = أنثى، أو 1 = غير موافق بشدة إلى 5 = موافق بشدة.
Missing: إذا استخدمت رمزًا للقيم المفقودة مثل 99، فعرفه هنا. إذا لم تفعل، سيحسبه البرنامج درجة حقيقية ويفسد المتوسطات.
Measure: حدد مستوى القياس: اسمي (Nominal) أو رتبي (Ordinal) أو كمي (Scale).

إذا جمعت البيانات بنموذج إلكتروني، فستصلك الإجابات غالبًا نصوصًا مثل «موافق بشدة». حولها إلى أرقام بأمر Recode، وتأكد أن الترميز موحد في كل الفقرات. ثم اعكس الفقرات السلبية الصياغة، كما يشرح مقال مقياس ليكرت الخماسي. وإذا كنت جديدًا على واجهة البرنامج، فابدأ من دليل SPSS للمبتدئين.

كشف أخطاء الإدخال

القيم خارج المدى

شغل أمر Frequencies أو Descriptives لكل المتغيرات، وانظر إلى أدنى قيمة وأعلاها. في مقياس من 1 إلى 5 لا يجوز ظهور 0 أو 6 أو 55. ابحث عن الحالة بأمر Find أو بفرز العمود، ثم ارجع إلى الاستبانة الأصلية إن كانت ورقية لتصحيح القيمة.

الحالات المكررة

قد يرسل المستجيب النموذج مرتين، أو تدخل استبانة ورقية مرتين. استخدم أمر Identify Duplicate Cases من قائمة Data لكشف الحالات المتطابقة في كل الإجابات، وراجعها قبل الحذف.

الإجابات غير الجادة

الإجابة النمطية (Straight-lining): مستجيب اختار البديل نفسه في كل الفقرات، بما فيها الفقرات السلبية التي يفترض أن تأتي إجابتها معاكسة.
التناقض المنطقي: مثل عمر 24 عامًا مع خبرة 15 عامًا، أو مستجيب ذكر أنه لا يستخدم المنصة ثم أجاب عن أسئلة تقييمها.
سرعة الإجابة: إذا سجل النموذج وقت الإرسال، فالإجابات المكتملة في وقت قصير جدًا مقارنة بطول الاستبانة تستحق المراجعة.

بعض هذه المشكلات يمكن الوقاية منها عند تصميم الاستبانة، مثل إضافة فقرات سلبية قليلة تكشف الإجابة العشوائية، وجعل الأسئلة الأساسية إلزامية في النموذج الإلكتروني.

التعامل مع القيم المفقودة

احسب حجم الفقد

جدول Frequencies يعرض عدد القيم المفقودة في كل متغير. ولمعرفة عدد الفقرات المتروكة لدى كل مستجيب، أنشئ متغيرًا جديدًا بأمر Compute Variable ودالة NMISS، مثل NMISS(Q1 TO Q30). بهذا ترى هل الفقد متركز في فقرات معينة، أم في مستجيبين بعينهم تركوا أجزاء كبيرة من الاستبانة.

افهم نمط الفقد

صنف روبن (Rubin) القيم المفقودة إلى ثلاثة أنماط:

مفقودة عشوائيًا تمامًا (MCAR): لا علاقة للفقد بأي متغير، كأن تتلف صفحة من استبانات بالصدفة.
مفقودة عشوائيًا (MAR): يرتبط الفقد بمتغيرات أخرى مقيسة، كأن يترك المعلمون الأكبر سنًا أسئلة التقنية أكثر من غيرهم.
مفقودة غير عشوائيًا (MNAR): يرتبط الفقد بالقيمة المفقودة نفسها، كأن يتجنب أصحاب الدخل المرتفع سؤال الدخل.

يستخدم كثير من الباحثين اختبار ليتل (Little’s MCAR Test)، وإذا جاء غير دال فذلك يتسق مع افتراض الفقد العشوائي التام. ويذكر تاباكنيك وفيدل (Tabachnick & Fidell) أن الفقد القليل، نحو 5% أو أقل، بنمط عشوائي في بيانات كبيرة يكون أقل خطورة، وأن معظم طرق المعالجة تعطي عندها نتائج متقاربة.

طرق المعالجة

الحذف القائمي (Listwise): يحذف الحالة كلها إذا فقدت أي قيمة. بسيط، لكنه يقلل العينة وقد يحيزها إذا لم يكن الفقد عشوائيًا.
الحذف الزوجي (Pairwise): يستخدم كل البيانات المتاحة في كل تحليل، فيختلف عدد الحالات من تحليل لآخر.
التعويض بالمتوسط: سهل وشائع، لكنه يقلل التباين ويضعف الارتباطات، فينتقده كثير من المنهجيين.
الأساليب الحديثة: مثل خوارزمية تعظيم التوقع (EM) والتعويض المتعدد (Multiple Imputation)، وهي أنسب عادةً عندما يكون الفقد أكبر أو غير عشوائي تمامًا.

وقاعدة عملية: الاستبانة التي ترك صاحبها جزءًا كبيرًا منها تستبعد عادةً، ولا تعوض قيمها. حدد معيار الاستبعاد مسبقًا، واذكره في الرسالة.

التعامل مع القيم المتطرفة

كيف تكشفها؟

الدرجات المعيارية: من نافذة Descriptives اختر حفظ القيم المعيارية متغيرات جديدة. يقترح تاباكنيك وفيدل عد القيم التي تتجاوز ±3.29 متطرفة، ويستخدم آخرون ±3.
مخطط الصندوق: يرمز SPSS للقيم المتطرفة بدائرة، وللقيم شديدة التطرف بنجمة، مع رقم الحالة بجوار كل منها.
مسافة ماهالانوبيس (Mahalanobis): لكشف الحالات المتطرفة في تركيبة عدة متغيرات معًا. تحفظها من نافذة Save في الانحدار، وتقارنها بالقيمة الحرجة لمربع كاي عند مستوى 0.001 ودرجات حرية تساوي عدد المتغيرات.

ماذا تفعل بها؟

تحقق من سببها: إذا كانت خطأ إدخال فصححه.
اسأل هل هي حقيقية: القيمة المتطرفة الصحيحة جزء من الواقع، وحذفها دون مبرر يشوه النتائج.
اختبر أثرها: أعد التحليل مع الحالة وبدونها. إذا لم تتغير النتيجة جوهريًا، فأبقها واذكر ذلك.
اختر المعالجة وبررها: مثل التحويل، أو استبدال القيمة بأقرب قيمة غير متطرفة، أو الاستبعاد بمعيار معلن.

بعد التنظيف تنتقل إلى فحص الافتراضات، وأولها غالبًا اختبار التوزيع الطبيعي.

توثيق قرارات التنظيف في الرسالة

اللجنة تحتاج أن تعرف كيف وصلت من عدد الاستبانات الموزعة إلى عدد الحالات المحللة. اذكر عدد ما وزع، وما عاد، وما استبعد وسبب الاستبعاد، وطريقة معالجة الفقد والتطرف. صياغة نموذجية بأرقام افتراضية:

وزع الباحث (420) استبانة، استرد منها (372)، واستبعدت (14) استبانة لعدم اكتمال أكثر من نصف فقراتها، و(6) استبانات لنمطية الإجابة، فبلغ عدد الاستبانات الصالحة للتحليل (352) استبانة. وعولجت القيم المفقودة القليلة المتبقية بأسلوب التعويض المتعدد.

قائمة فحص سريعة قبل التحليل

نسخة أصلية محفوظة لم تعدل.
كل المتغيرات معرفة بأسمائها وقيمها ومستوى قياسها.
لا قيم خارج المدى في أي متغير.
الحالات المكررة والإجابات غير الجادة روجعت.
الفقرات السلبية معكوسة، والدرجات الكلية محسوبة بعد العكس.
قرارات الفقد والتطرف مكتوبة مع أسبابها.

مكان هذه الفقرة عادةً في وصف إجراءات الدراسة، كما يوضح مقال كيف تكتب الفصل الثالث: منهجية الدراسة وإجراءاتها.

أخطاء شائعة في تنظيف البيانات

العمل على الملف الأصلي مباشرةً دون نسخة احتياطية.
ترك رموز مثل 99 أو 0 دون تعريفها قيمًا مفقودة.
حذف كل القيم المتطرفة تلقائيًا لتحسين النتائج.
التعويض بالمتوسط لكمية كبيرة من القيم المفقودة دون تبرير.
نسيان عكس الفقرات السلبية قبل حساب الدرجات الكلية.
عدم ذكر أي إجراء تنظيف في الرسالة، فيبدو عدد الحالات المحللة غير مفسر.

أسئلة شائعة

ما النسبة المقبولة للقيم المفقودة؟

لا توجد نسبة ملزمة. يذكر بعض المؤلفين أن الفقد القليل، نحو 5% أو أقل، بنمط عشوائي أقل خطورة، لكن الأهم نمط الفقد وسببه. افحص النمط، واختر طريقة المعالجة المناسبة، واذكرها.

هل أحذف القيم المتطرفة دائمًا؟

لا. صحح أخطاء الإدخال، وأبق القيم الحقيقية ما لم يكن لها أثر جوهري غير مبرر. وإذا قررت الاستبعاد، فاذكر المعيار وعدد الحالات المستبعدة.

هل أنظف البيانات قبل حساب الصدق والثبات؟

نعم. أخطاء الإدخال والفقرات غير المعكوسة تؤثر مباشرةً في معاملات الثبات والارتباطات، فالتنظيف يسبق كل التحليلات.

هل يكفي التنظيف في Excel قبل نقل البيانات إلى SPSS؟

يمكن إجراء بعض الخطوات في Excel، مثل الفرز وكشف التكرار، لكن الأفضل إكمال الفحص في SPSS بعد ضبط تعريف المتغيرات، لأنه يكشف القيم خارج المدى والمتطرفة بسهولة.

تنظيف البيانات عمل غير ظاهر في جداول النتائج، لكنه يحدد صحتها كلها: ترميز موحد، وأخطاء مصححة، ومعالجة مبررة للقيم المفقودة والمتطرفة، وتوثيق واضح. إذا أردت من يراجع ملف بياناتك وينظفه ويجهزه للتحليل ثم يحلله، فتعرف على خدمة التحليل الإحصائي في مركز المستشار، أو احجز استشارة مجانية.