منهجية البحث في الذكاء الاصطناعي: تصميم تجربة قابلة للتكرار ومقارنة عادلة

تقرأ رسائل كثيرة في تعلم الآلة فتجد الجملة نفسها: «حقق النموذج المقترح أداء أعلى من الدراسات السابقة». ثم يسأل المحكّم: على أي بيانات؟ بأي تقسيم؟ هل ضبطت معاملات النماذج المنافسة بالعناية نفسها؟ كم مرة كررت التجربة؟ وهل الفرق أكبر من التذبذب العشوائي؟ هذه الأسئلة هي صلب منهجية البحث في الذكاء الاصطناعي، والإجابة عنها تحول رقمًا لافتًا إلى نتيجة يمكن الدفاع عنها. يشرح هذا المقال كيف تصمم تجربة قابلة للتكرار، وكيف تقارن نموذجك بغيره مقارنة عادلة، وكيف تكتب ذلك في فصل المنهجية، مع مثال افتراضي من رسالة عربية.

من سؤال البحث إلى فرضية قابلة للاختبار

«بناء نموذج لكشف الأخبار المضللة» هدف هندسي، لا سؤال بحث. السؤال البحثي يحدد ما الذي ستقارنه، وعلى أي بيانات، وبأي مقياس. قارن بين صياغتين:

• صياغة عامة: هل يمكن استخدام التعلم العميق في كشف الأخبار المضللة العربية؟ الجواب معروف مسبقًا: نعم، بدرجة ما.
• صياغة قابلة للاختبار: هل يحقق نموذج لغوي من نوع المحولات (Transformers) مدرب مسبقًا على العربية متوسط F1 كليًا (Macro-F1) أعلى من نموذج خطي على تمثيل TF-IDF، حين يختبر الاثنان على أخبار من فترة لاحقة لفترة التدريب؟

الصياغة الثانية تحدد المقارنة والمقياس وشرط التقييم، فيصبح لها جواب قد يأتي بالنفي. حدد المقياس الرئيسي قبل التجارب واكتبه في الخطة، حتى لا تختار لاحقًا المقياس الذي يجامل نموذجك. وقواعد صياغة الأسئلة والفرضيات عمومًا في مقال صياغة أسئلة البحث وفرضياته.

البيانات: اختيارها وتوثيقها وحقوق استخدامها

مجموعة البيانات جزء من تصميم التجربة، لا مجرد مدخل لها. قبل أن تعتمد مجموعة منشورة أو تجمع مجموعتك، أجب عن ثلاثة أسئلة:

1. هل تمثل المشكلة التي تدرسها؟ مجموعة جمعت من منصة واحدة أو لهجة واحدة أو فترة واحدة تحد من تعميم نتائجك، ويجب أن يظهر ذلك في حدود الدراسة.
2. هل يسمح الترخيص باستخدامك؟ اقرأ رخصة المجموعة وشروط المنصة التي جمعت منها. بعض الرخص يقصر الاستخدام على البحث غير التجاري، وبعض المنصات يمنع إعادة نشر النصوص الأصلية فيكتفي الباحثون بنشر معرفاتها.
3. هل فيها بيانات شخصية؟ إذا جمعت نصوصًا أو سجلات تخص أشخاصًا، فستحتاج غالبًا إلى موافقة لجنة أخلاقيات البحث وإلى خطة لإخفاء الهوية وحفظ البيانات، حسب تعليمات جامعتك.

ولتوثيق المجموعة اقترح باحثون إطارًا معروفًا باسم أوراق بيانات مجموعات البيانات (Datasheets for Datasets): أسئلة عن الدافع إلى جمع البيانات، ومكوناتها، وطريقة جمعها ووسمها (Labeling)، والمعالجة التي مرت بها، والاستخدامات المناسبة وغير المناسبة، وطريقة توزيعها وصيانتها. حتى لو لم تملأ النموذج كاملًا، فإجاباتك عن هذه الأسئلة مادة جاهزة لقسم البيانات في رسالتك.

تقسيم البيانات ومنع التسرب

التقسيم المعتاد ثلاثي: بيانات تدريب يتعلم منها النموذج، وبيانات تحقق (Validation) تختار بها الإعدادات وتقارن الصيغ، وبيانات اختبار تعزلها من البداية ولا تفتحها إلا مرة واحدة في النهاية. إذا كانت البيانات قليلة، فالتحقق المتقاطع (Cross-Validation) على بيانات التدريب يعطي تقديرًا أثبت من تقسيم تحقق واحد. وفي التصنيف استخدم التقسيم الطبقي (Stratification) حتى تبقى نسب الفئات متقاربة بين الأجزاء، خاصة إذا كانت إحدى الفئات نادرة.

شرح مقال بناء نموذج تنبؤي بلغة بايثون التسرب الناتج عن المعالجة قبل التقسيم وتسرب الهدف. وفي الأبحاث تتكرر صورتان أخريان:

• التسرب الزمني: إذا كان النموذج سيستخدم على بيانات المستقبل، فالتقسيم العشوائي يجعل التدريب يرى أمثلة من بعد فترة الاختبار، فيبدو الأداء أعلى مما سيكون عليه فعلًا. الحل أن تدرب على الفترة الأقدم وتختبر على الأحدث.
• تسرب المكررات: النص المعاد نشره، والصورة نفسها بعد قص أو تدوير، والمريض نفسه في أكثر من سجل. إذا وقعت نسختان من الشيء نفسه في التدريب والاختبار، فالنموذج يتذكر ولا يعمم. احذف المكررات والنسخ شبه المتطابقة قبل التقسيم، أو قسم البيانات حسب المجموعة (المستخدم أو المريض) لا حسب الصف.

ووثق ذلك كله: نسب التقسيم، والمعيار الذي قسمت به، وعدد الحالات في كل جزء بعد حذف المكررات.

مقارنة عادلة: خطوط الأساس وضبط المعاملات والاستئصال

نتيجة النموذج المقترح لا معنى لها إلا قياسًا إلى بديل معقول. وتختل عدالة المقارنة غالبًا في موضعين، ثم يأتي سؤال ثالث عن مصدر التحسن.

خط أساس قوي لا خط أساس ضعيف

اختر خطوط أساس (Baselines) يستخدمها الباحثون فعلًا في المشكلة نفسها: نموذجًا بسيطًا شفافًا مثل الانحدار اللوجستي، وأقوى طريقة منشورة تستطيع تشغيلها، وأحيانًا قاعدة غير تعلمية كالتصنيف بقوائم الكلمات. خط الأساس الضعيف أو القديم أو غير المضبوط يجعل أي تحسن يبدو كبيرًا، والمحكّم ينتبه لذلك.

ضبط المعاملات على بيانات التحقق وحدها

المعاملات الفائقة (Hyperparameters)، مثل معدل التعلم وعمق الشجرة، تضبط على بيانات التحقق أو داخل التحقق المتقاطع، ولا تلمس بيانات الاختبار. وأعط كل نموذج ميزانية ضبط متقاربة: عدد تجارب متقاربًا وفضاء بحث معقولًا. إذا جربت مئة إعداد لنموذجك وإعدادًا افتراضيًا واحدًا للمنافس، فأنت تقارن جهدك لا النموذجين. واذكر في الرسالة فضاء البحث لكل نموذج والقيم التي وقع عليها الاختيار.

دراسات الاستئصال

إذا كان نموذجك يجمع عدة مكونات، كخطوة لتطبيع اللهجات وطبقة إضافية وبيانات تدريب موسعة، فالسؤال التالي حتمي: أي هذه المكونات صنع الفرق؟ دراسة الاستئصال (Ablation Study) تجيب عنه: تحذف مكونًا واحدًا في كل مرة، وتبقي كل شيء آخر ثابتًا، بما في ذلك البيانات والبذور وميزانية الضبط، ثم تقارن الأداء. اعرض النتائج في جدول يبدأ بالنموذج الكامل، ويليه صف لكل مكون محذوف.

البذور العشوائية وعدم اليقين والدلالة الإحصائية

نتيجة تشغيل واحد لا تكفي. تهيئة الأوزان وترتيب الأمثلة وأحيانًا التقسيم نفسه تعتمد على البذرة العشوائية (Random Seed)، وقد يتغير الأداء بين بذرة وأخرى بما يكفي لقلب ترتيب نموذجين متقاربين. الممارسة الشائعة أن تكرر التدريب بعدة بذور، وتعرض المتوسط والانحراف المعياري، لا أفضل تشغيل.

ثم اسأل: هل الفرق بين النموذجين أكبر من هذا التذبذب؟ من الأساليب الشائعة في الأدبيات:

• فترة الثقة بالمعاينة الذاتية (Bootstrap): تسحب من مجموعة الاختبار عينات مع الإرجاع بحجمها نفسه، مئات أو آلاف المرات، وتحسب المقياس في كل مرة، ثم تأخذ المئينين 2.5 و97.5 حدين لفترة ثقة 95%. وتطبق الطريقة نفسها على الفرق بين نموذجين، بسحب الحالات نفسها للاثنين في كل مرة.
• اختبار مكنمار (McNemar): لمقارنة مصنفين على مجموعة الاختبار نفسها. يركز على الحالات التي أصاب فيها أحدهما وأخطأ الآخر، ويختبر هل يميل هذا الاختلاف إلى جهة واحدة.
• الاختبارات المزدوجة عبر الطيات: إذا قيمت النموذجين على الطيات نفسها، فقارن درجاتهما زوجًا زوجًا باختبار t للعينات المرتبطة أو باختبار ويلكوكسون للرتب ذات الإشارة. وانتبه إلى أن بيانات التدريب متداخلة بين الطيات، فالدرجات ليست مستقلة، والاختبار المعتاد قد يبالغ في إعلان الدلالة. لهذا اقترحت صيغ مصححة تراعي هذا التداخل.

ومستوى الدلالة 0.05 عرف شائع لا قاعدة ملزمة. اعرض حجم الفرق مع فترة ثقته، فالفرق الدال إحصائيًا قد يكون صغيرًا لا يغير شيئًا في التطبيق.

قابلية التكرار: ما الذي توثقه

قابلية التكرار (Reproducibility) تعني أن يحصل غيرك، بالشيفرة والبيانات نفسها، على نتائج قريبة من نتائجك. سجل في ملحق أو مستودع مرافق:

• الشيفرة: كاملة، مع أمر تشغيل لكل تجربة تظهر في الجداول.
• البذور: قائمة البذور المستخدمة في كل تجربة.
• البيئة البرمجية: إصدار اللغة والمكتبات، مثل PyTorch وscikit-learn، في ملف متطلبات بإصدارات مثبتة.
• العتاد: نوع وحدة المعالجة الرسومية وعددها، وزمن التدريب التقريبي. بعض العمليات على هذه الوحدات غير حتمية، فقد تختلف النتائج قليلًا رغم تثبيت البذرة، وهذا سبب إضافي لعرض المتوسط عبر البذور.
• البيانات: مصدرها وإصدارها، ومعرفات أمثلة التدريب والتحقق والاختبار إن سمح الترخيص.

وإلى جانب ورقة البيانات، وثق النموذج النهائي ببطاقة نموذج (Model Card): الغرض منه، وبيانات تدريبه وتقييمه، ومقاييس أدائه العامة ولكل فئة مهمة، والاستخدامات التي لا يصلح لها، وحدوده المعروفة. البطاقة صفحة أو صفحتان في الملحق، وتجيب مسبقًا عن كثير من أسئلة لجنة المناقشة.

مثال افتراضي: فصل المنهجية في رسالة عربية

المثال التالي افتراضي بالكامل، للتوضيح فقط. عنوان الرسالة: «تصنيف المشاعر في التغريدات العربية المكتوبة باللهجات الخليجية: مقارنة بين نموذج لغوي مدرب مسبقًا ونماذج خطية». هكذا يمكن أن تنظم الباحثة فصل المنهجية:

1. السؤال والفرضية: يحقق النموذج المدرب مسبقًا متوسط F1 كليًا أعلى من الانحدار اللوجستي على TF-IDF، على تغريدات من الأشهر الأخيرة في فترة الجمع. المقياس الرئيسي محدد في الخطة.
2. البيانات: مصدر الجمع وفترته وشروط المنصة، وموافقة لجنة الأخلاقيات، وإرشادات الوسم، ومعامل الاتفاق بين الواسمين مثل كابا كوهين، وورقة بيانات في الملحق. وخطوات تطبيع النص العربي ومعالجته كما في مقال تحليل النصوص العربية ببايثون.
3. التقسيم: حذف إعادات النشر والنصوص شبه المتطابقة أولًا، ثم تقسيم زمني: الأشهر الأقدم للتدريب والتحقق، والأحدث للاختبار، مع استبعاد حسابات الاختبار من التدريب.
4. النماذج والضبط: ثلاثة خطوط أساس ونموذج مقترح، وفضاء بحث لكل منها بميزانية متقاربة، والضبط على بيانات التحقق وحدها.
5. التقييم: خمس بذور لكل نموذج، والمتوسط والانحراف المعياري، وفترات ثقة بالمعاينة الذاتية على مجموعة الاختبار، واختبار مكنمار بين النموذج المقترح وأقوى خط أساس.
6. الاستئصال: النموذج دون خطوة تطبيع اللهجات، ثم دون البيانات الإضافية.
7. البيئة وقابلية التكرار: الإصدارات والعتاد ورابط المستودع، وبطاقة النموذج في الملحق.

لاحظ أن كل بند يجيب عن سؤال سيطرحه المحكّم. والإطار العام لهذا الفصل في أي تخصص يشرحه مقال كيف تكتب منهجية الدراسة وإجراءاتها. وإذا كان بحثك في الأمن السيبراني، فاقرأ أيضًا الأخطاء المنهجية الشائعة في أبحاث تعلم الآلة للأمن السيبراني، ففيه مزالق خاصة بذلك المجال.

أسئلة شائعة

هل يكفي التحقق المتقاطع دون مجموعة اختبار منفصلة؟

إذا ضبطت المعاملات واخترت النموذج بالتحقق المتقاطع نفسه، فالدرجة الناتجة متفائلة لأنها استخدمت في الاختيار. الحل مجموعة اختبار معزولة، أو تحقق متقاطع متداخل (Nested Cross-Validation) يجري فيه الضبط داخل كل طية خارجية.

كم بذرة عشوائية أحتاج في تجاربي؟

لا يوجد عدد ملزم. ابدأ بعدد يسمح به وقت التدريب، خمس مثلًا، وزده إذا كان التباين بين التشغيلات كبيرًا أو كانت الفروق بين النماذج صغيرة. الأهم أن تعرض التباين بوضوح ولا تخفيه.

هل أعيد تشغيل الدراسات السابقة أم أنقل أرقامها؟

نقل الأرقام من الأوراق المنشورة مقبول عادةً إذا تطابق الإعداد: البيانات نفسها والتقسيم نفسه والمقياس نفسه. إذا اختلف شيء من ذلك، فأعد تشغيل الطريقة المنافسة في إعدادك، واذكر في الرسالة أي الأرقام منقول وأيها أعدت إنتاجه.

هل أحتاج موافقة أخلاقية إذا كانت البيانات منشورة؟

يعتمد ذلك على سياسة جامعتك ونوع البيانات. المجموعات المفتوحة مجهولة الهوية قد لا تحتاج موافقة جديدة، أما جمع منشورات أشخاص أو بيانات صحية فيحتاج عادةً إلى مراجعة لجنة الأخلاقيات. اسأل اللجنة قبل الجمع، لا بعده.

التجربة الجيدة في تعلم الآلة تجيب عن سؤال محدد، وتقارن بإنصاف، وتعرض عدم اليقين، ويستطيع غيرك أن يعيدها. إذا كنت في مرحلة الخطة وتريد بناء هذا التصميم قبل أن تبدأ التجارب، فتعرف على خدمة إعداد الخطط والمقترحات البحثية في مركز المستشار، أو احجز استشارة مجانية.