أخطاء تعلم الآلة في أبحاث الأمن السيبراني: مزالق منهجية وكيف تتجنبها

قد تقرأ ورقة تعلن أن نموذجًا لكشف التسلل (Intrusion Detection) حقق أداء شبه كامل على مجموعة بيانات معروفة، ثم يعجز النموذج نفسه عن العمل على شبكة حقيقية. المشكلة في حالات كهذه غالبًا ليست في الخوارزمية، بل في أخطاء منهجية تضخم النتيجة دون أن ينتبه الباحث. هذا المقال عن أخطاء تعلم الآلة في أبحاث الأمن السيبراني: كيف تظهر في كشف التسلل والبرمجيات الخبيثة (Malware) والتصيد الاحتيالي (Phishing)، وكيف تتجنبها في رسالتك قبل أن يكتشفها المحكّم. وأبني فيه على ورقة مرجعية في هذا الباب: «Dos and Don’ts of Machine Learning in Computer Security» لأرب وزملائه (Arp et al.)، المنشورة في مؤتمر USENIX Security عام 2022. رصدت الورقة أخطاء تتكرر في أبحاث تعلم الآلة للأمن، وأعرضها هنا بصياغتي مع ما تعنيه لرسالتك.

لماذا يختلف تعلم الآلة في الأمن عن غيره؟

في معظم مشكلات التصنيف تفترض أن بيانات المستقبل تشبه بيانات الماضي. في الأمن هذا الافتراض ضعيف لثلاثة أسباب: الهجمات نادرة مقارنة بالنشاط العادي، والمهاجم يغير أسلوبه ليفلت من الكشف، والبرمجيات والشبكات نفسها تتغير باستمرار. لذلك قد يخفي خطأ صغير في التصميم فجوة كبيرة بين أداء المختبر وأداء الواقع.

مبادئ التجربة العامة، من التقسيم إلى خطوط الأساس والدلالة الإحصائية، تجدها في مقال منهجية البحث في الذكاء الاصطناعي. وهنا نركز على ما يخص الأمن. وإذا كنت ما زلت تختار موضوعك، فراجع عناوين رسائل الماجستير في الأمن السيبراني.

أخطاء البيانات: العينة والوسوم

تحيز العينة

تحيز العينة (Sampling Bias) يعني أن البيانات لا تمثل البيئة التي سيعمل فيها النظام. مثال ذلك في البرمجيات الخبيثة: عينات خبيثة جمعت من مصدر وفترة، وعينات سليمة من مصدر وفترة أخرى. عندها قد يتعلم النموذج الفرق بين المصدرين، لا الفرق بين الخبيث والسليم. وفي التصيد قد تأتي الرسائل الاحتيالية من أرشيف قديم والسليمة من صندوق بريد حديث، فيتعلم النموذج علامات الزمن.

كيف تتجنبه: اجمع الفئتين من المصادر والفترات نفسها قدر الإمكان، وصف مصدر كل فئة بدقة، واذكر ما لم تستطع ضبطه.

عدم دقة الوسوم

عدم دقة الوسوم (Label Inaccuracy) يعني أن بعض وسوم التدريب والاختبار خاطئة أو غير مؤكدة. والوسوم في الأمن نادرًا ما تكون حقيقة مؤكدة. الحكم على ملف بأنه خبيث يعتمد كثيرًا على تجميع أحكام محركات مكافحة الفيروسات، وهذه الأحكام قد تختلف فيما بينها وتتغير مع الوقت. وفي مجموعات كشف التسلل المولدة في بيئة تجريبية قد تحدد الوسوم بقواعد مثل توقيت الهجمات المخطط لها أو عناوين الأجهزة المهاجمة، وأي خطأ في هذه القواعد ينتقل مباشرةً إلى الوسوم.

كيف تتجنبها: صف مصدر الوسوم وقاعدة الوسم، كعدد المحركات المطلوب للحكم بأن الملف خبيث، وافحص عينة يدويًا، واختبر حساسية نتائجك لتغيير هذه القاعدة.

أخطاء التصميم والتدريب

التلصص على البيانات

التلصص على البيانات (Data Snooping) أن يستفيد النموذج أثناء التطوير من معلومات لن تتاح له عند الاستخدام الحقيقي. ومن أوضح صوره في الأمن التلصص الزمني: تقسيم عشوائي يخلط عينات من سنوات مختلفة، فيرى التدريب برمجيات خبيثة ظهرت بعد عينات الاختبار، أو تتوزع حملة تصيد واحدة بين الطرفين. والنتيجة نموذج يبدو قادرًا على كشف عائلات ما كان ليعرفها لو درب في وقته.

الارتباطات الزائفة

الارتباط الزائف (Spurious Correlation) سمة ترتبط بالوسم بسبب طريقة صنع مجموعة البيانات، لا بسبب طبيعة الهجوم. تخيل مجموعة لكشف التسلل ولدت فيها كل الهجمات من جهاز واحد في المختبر: قد يتعلم النموذج عنوان ذلك الجهاز أو قيمة ثابتة في ترويسة حزمه، فيحقق أداء عاليًا لا علاقة له بسلوك الهجوم.

كيف تتجنبه: احذف المعرفات التي لا معنى لها خارج المختبر، كالعناوين والطوابع الزمنية، واستخدم أدوات التفسير لترى على أي سمات يعتمد النموذج، ثم اسأل: هل كان محلل أمني سيعتمد عليها؟

الاختيار المتحيز للمعاملات

الاختيار المتحيز للمعاملات (Biased Parameter Selection) أن تختار عتبة الإنذار أو المعاملات الفائقة بالنظر إلى نتائج مجموعة الاختبار. حتى اختيار العتبة التي تعطي أفضل F1 على الاختبار يجعل الرقم متفائلًا. اضبط كل شيء على بيانات تحقق منفصلة، ثم طبقه على الاختبار مرة واحدة.

أخطاء التقييم: خط الأساس والمقاييس

خط الأساس غير المناسب

من صور خط الأساس غير المناسب (Inappropriate Baseline) مقارنة شبكة عصبية عميقة بنماذج قديمة غير مضبوطة، وهي مقارنة لا تثبت شيئًا. قارن بنموذج بسيط، كالانحدار اللوجستي أو الغابات العشوائية على السمات نفسها، وبالطريقة غير التعلمية المستخدمة في الواقع، كقواعد التواقيع في كشف التسلل أو القوائم السوداء في التصيد. وإذا لم يتفوق نموذجك المعقد على هذه البدائل بوضوح، فهذه نتيجة تستحق أن تكتبها بأمانة.

المقاييس غير المناسبة ومغالطة المعدل الأساسي

الهجمات نادرة، وهنا تقع مغالطة المعدل الأساسي (Base-Rate Fallacy). مثال حسابي افتراضي: شبكة فيها مليون اتصال يوميًا، منها مئة اتصال هجومي. نموذج يلتقط كل الهجمات بمعدل إنذار كاذب 1% سيطلق نحو عشرة آلاف إنذار كاذب يوميًا مقابل مئة إنذار صحيح، أي أن قرابة 1% فقط من إنذاراته صحيحة. والنموذج الذي يقول «كل شيء سليم» يحقق دقة كلية (Accuracy) تتجاوز 99.9% دون أن يكشف هجومًا واحدًا. لذلك اعرض مجموعة مقاييس لا مقياسًا واحدًا:

وطريقة حساب هذه المقاييس واختيار العتبة في مقال بناء نموذج تنبؤي بلغة بايثون.

أخطاء التشغيل: المختبر ونموذج التهديد

التقييم في المختبر وحده

التقييم في المختبر وحده (Lab-Only Evaluation) يعني أن النموذج لم يختبر في ظروف تشبه التشغيل: حجم حركة حقيقي، وقيود زمن الاستجابة، وكلفة مراجعة الإنذارات، وبيانات من بيئة غير التي درب فيها. إذا تعذر الاختبار في بيئة حقيقية، فاختبر على مجموعة بيانات ثانية مستقلة على الأقل، وناقش الفجوة بوضوح كما يشرح مقال حدود الدراسة ومحدداتها.

نموذج التهديد غير المناسب

نموذج التهديد (Threat Model) يحدد ما يعرفه المهاجم وما يستطيع فعله. حين تقيم النموذج كأن المهاجم لا يعلم بوجوده، فأنت تفترض خصمًا لا يتكيف. والمهاجم في الواقع يعدل البرمجية الخبيثة مع الحفاظ على وظيفتها، أو يغير صياغة رسالة التصيد، حتى يتجاوز الكاشف، وهذا هو التهرب العدائي (Adversarial Evasion). وقد يحاول أيضًا تسميم بيانات التدريب إذا كان النظام يتعلم من بيانات يجمعها باستمرار.

كيف تتجنبه: اكتب نموذج التهديد في فصل المنهجية، واختبر النموذج أمام تعديلات واقعية يقدر عليها المهاجم، لا أمام تشويش عشوائي.

انجراف المفهوم ومجموعات البيانات العامة

انجراف المفهوم (Concept Drift) أن تتغير العلاقة بين السمات والوسم مع الزمن: عائلات برمجيات خبيثة جديدة، وأساليب تصيد جديدة، وتطبيقات وبروتوكولات جديدة في الشبكة. والتقييم الذي يكشفه بسيط: درب على البيانات الأقدم واختبر على الأحدث. والأفضل أن تختبر على عدة فترات متتالية بعد التدريب، لترى كيف يتراجع الأداء مع الوقت ومتى يحتاج النموذج إلى إعادة تدريب.

ومن المجموعات العامة المستخدمة في أبحاث كشف التسلل NSL-KDD وUNSW-NB15 وCIC-IDS2017 وCSE-CIC-IDS2018، وفي البرمجيات الخبيثة EMBER. هذه المجموعات متاحة وتسهل المقارنة بالدراسات السابقة، لكن دراسات لاحقة وثقت مشكلات في الوسم والتصميم في بعضها. فقبل أن تعتمد أيًا منها:

• ابحث عن الدراسات التي راجعت المجموعة أو انتقدتها، واقرأ ما وجدته.
• اعرف كيف ولدت البيانات وكيف وسمت، ومن أي فترة هي.
• لا تكتف بمجموعة واحدة إن أمكن، واختبر التعميم من مجموعة إلى أخرى.
• تحقق هل يسمح تصميم المجموعة بتقسيم زمني، واذكر ذلك في المنهجية.

قائمة فحص قبل التسليم

والإطار الأوسع لتصميم البحث في هذا المجال تجده في مقال منهجية البحث في الأمن السيبراني.

أسئلة شائعة

هل يمكن أن أعتمد على مجموعة بيانات عامة مثل NSL-KDD في رسالتي؟

يمكن، بشرط أن تعرف المشكلات التي وثقتها الدراسات عن المجموعة التي تختارها وتناقشها، وألا تكون المجموعة الوحيدة في تقييمك إن أمكن. وقد يسألك المحكّم عن سبب اختيارها، فاذكره بوضوح.

لماذا حقق نموذجي أداء شبه كامل في كشف التسلل؟

النتيجة شبه الكاملة تستحق التدقيق قبل أن تكتبها. ابحث أولًا عن تسرب زمني أو مكررات بين التدريب والاختبار، وعن سمات خاصة بالمختبر كالعناوين. وتذكر أن الدقة الكلية قد تكون مرتفعة جدًا حتى لنموذج لا يكشف شيئًا.

ما الفرق بين انجراف المفهوم والتسرب الزمني؟

التسرب الزمني خطأ في تصميم التجربة: يرى التدريب بيانات من المستقبل. أما انجراف المفهوم فظاهرة حقيقية في البيانات: العلاقة التي تعلمها النموذج تتغير مع الوقت. التقسيم الزمني يمنع الأول ويكشف الثاني.

هل علي أن أختبر الهجمات العدائية في كل رسالة؟

ليس دائمًا، لكن عليك أن تكتب نموذج التهديد وتناقش قابلية التهرب. إذا كان نظامك سيواجه مهاجمًا يعرف بوجوده، فالتقييم الخالي من أي اختبار للتهرب سيبدو ناقصًا.

تعلم الآلة في الأمن يكافئ الصرامة: عينة ممثلة، ووسوم موثقة، وتقسيم زمني، وخطوط أساس واقعية، ومقاييس تحترم ندرة الهجمات، ونموذج تهديد مكتوب. إذا أردت مراجعة تصميم تجاربك أو بناء نماذجك وتقييمها بهذه المعايير، فتعرف على خدمة التعلم الآلي والنماذج التنبؤية في مركز المستشار، أو احجز استشارة مجانية.