تقييم أثر البرامج والسياسات: الفروق في الفروق ومطابقة درجة الميل في R
دليل تطبيقي إلى تقييم أثر البرامج والسياسات: مشكلة الوضع المضاد، والتجارب العشوائية، والفروق في الفروق، ومطابقة درجة الميل بـMatchIt، والانقطاع والضبط التركيبي، وعرض الأثر بأمانة.
نقدر ما أحدثه البرنامج أو السياسة فعلًا مقارنة بما كان سيحدث دونه، باستخدام فرق الفروق ومطابقة درجة الميل وانقطاع الانحدار والضبط التركيبي.
عن المنهجية
تنفق الوزارات والمنظمات الدولية موارد كبيرة على برامج التدريب والدعم النقدي والإصلاحات التعليمية، ثم يأتي السؤال: هل أحدث البرنامج فرقًا؟ مقارنة المستفيدين بغير المستفيدين لا تجيب عنه، لأن الفئتين تختلفان غالبًا قبل البرنامج نفسه. تقييم الأثر يبني مجموعة مقارنة موثوقة تمثل ما كان سيحدث للمستفيدين لو لم يشاركوا، ويقدر الفرق بينهما بأسلوب يمكن الدفاع عنه أمام المراجعين والممولين.
نختار التصميم حسب طريقة تنفيذ البرنامج والبيانات المتاحة: فرق الفروق عند وجود بيانات قبل التدخل وبعده، ومطابقة درجة الميل عند توفر خصائص غنية للمشاركين، وانقطاع الانحدار عند وجود معيار أهلية رقمي، والضبط التركيبي عند تقييم سياسة طبقت في منطقة واحدة. ونصرح بافتراضات كل تصميم ونختبرها قدر الإمكان: الاتجاهات المتوازية، وتوازن المتغيرات بعد المطابقة، وعدم التلاعب بالعتبة، مع أخطاء معيارية عنقودية واختبارات متانة.
يحصل صاحب القرار على تقدير للأثر مع فترة ثقة واضحة، وشرح لما يعنيه بلغة السياسة لا بلغة المعادلات، وبيان صريح بالافتراضات التي يقوم عليها وبما لا يستطيع التقييم إثباته. وإذا كانت البيانات لا تسمح باستنتاج سببي مقنع نقول ذلك من البداية، ونقترح طرقًا لجمع البيانات في الدورات القادمة. التحليل كله موثق في شيفرة يستطيع فريقكم أو أي مراجع خارجي إعادة تشغيلها.
للمؤسسات والجهات
وزارات العمل والتنمية الاجتماعية: قياس أثر برامج التدريب المهني أو الدعم النقدي على التشغيل والدخل.
وزارات التعليم والجامعات: تقدير أثر منهج جديد أو برنامج دعم أكاديمي على التحصيل ومعدلات الاستمرار.
الجهات الصحية: تقييم أثر حملات التوعية أو تغيير سياسات الرسوم على استخدام الخدمات الوقائية.
البلديات: قياس أثر مشروعات البنية التحتية أو تنظيم المرور في منطقة معينة مقارنة بمناطق مماثلة.
الجهات الاقتصادية: تقدير أثر حوافز الاستثمار أو تعديل الضرائب على نشاط المنشآت المستهدفة.
المنظمات الدولية وغير الحكومية: إعداد تقييمات أثر تلبي متطلبات الممولين في التصميم والتوثيق والشفافية.
النماذج والأساليب
يقارن تغير النتيجة لدى المستفيدين بتغيرها لدى مجموعة مقارنة، بافتراض اتجاهات متوازية قبل التدخل.
يعالج دخول الوحدات في البرنامج في أوقات مختلفة بمقدرات حديثة مثل Callaway-Sant'Anna وSun-Abraham.
تبني مجموعة مقارنة متوازنة في الخصائص المقاسة، مع فحص التوازن بالفروق المعيارية بين المتوسطات.
يستغل معيار أهلية رقميًا، كدرجة أو حد دخل، ليقارن الحالات القريبة من العتبة على جانبيها.
يبني من مناطق لم تشملها السياسة وحدة مركبة تحاكي مسار المنطقة المعنية قبل التدخل.
يجمع نموذج الميل ونموذج النتيجة بحيث يبقى التقدير متسقًا إذا صح أحدهما.
من الكود
مقتطفات مبسطة من نوع الكود الذي نسلمه موثقًا مع التقرير، تعمل على بيانات مدمجة أو اصطناعية، ويعاد تشغيلها على بيانات مؤسستك متى وصلت.
import numpy as np
import pandas as pd
import statsmodels.formula.api as smf
# Synthetic panel: 100 districts x 8 years, half treated
rng = np.random.default_rng(1)
df = pd.DataFrame(
[(i, t) for i in range(100) for t in range(8)],
columns=["unit", "year"])
df["treated"] = (df.unit < 50).astype(int)
df["post"] = (df.year >= 4).astype(int)
u = rng.normal(0, 1, 100)[df.unit] # unit heterogeneity
df["y"] = (u + 0.3 * df.year + 2.0 * df.treated * df.post
+ rng.normal(0, 1, len(df)))
# Two-way fixed effects DiD, SEs clustered by district
m = smf.ols("y ~ treated:post + C(unit) + C(year)",
data=df).fit(cov_type="cluster",
cov_kwds={"groups": df["unit"]})
print("ATT:", round(m.params["treated:post"], 3),
"SE:", round(m.bse["treated:post"], 3))
print(m.conf_int().loc["treated:post"].round(3).tolist())library(MatchIt)
library(marginaleffects)
data("lalonde", package = "MatchIt")
# 1:1 nearest-neighbour matching on a logit propensity score
m <- matchit(treat ~ age + educ + race + married +
nodegree + re74 + re75,
data = lalonde, method = "nearest",
distance = "glm", caliper = 0.2)
# Covariate balance after matching (|SMD| < 0.1 target)
summary(m)$sum.matched[, "Std. Mean Diff."]
# ATT with cluster-robust SEs by matched pair
md <- match.data(m)
fit <- lm(re78 ~ treat * (age + educ + re74 + re75),
data = md, weights = weights)
avg_comparisons(fit, variables = "treat",
vcov = ~subclass,
newdata = subset(md, treat == 1))Python: statsmodels, linearmodels, dowhy, econml, rdrobust, pysynconR: fixest, did, MatchIt, cobalt, rdrobust, Synth, marginaleffects
المخرجات
نتفق على النطاق كتابيًا من البداية، والمدة حسب حجم العمل وتعقيد المنهجية.
تقدير للأثر مع فترات ثقة وأخطاء معيارية مناسبة لبنية البيانات.
فحوص الافتراضات: الاتجاهات السابقة للتدخل، وتوازن المتغيرات، واختبارات المتانة والاختبارات الوهمية (Placebo).
رسوم دراسة الحدث أو التوازن أو العتبة بحسب التصميم المستخدم.
شيفرة Python أو R موثقة تتيح لأي مراجع إعادة إنتاج النتائج كاملة.
ملخص للسياسات يشرح حجم الأثر وحدوده بلغة مناسبة لصناع القرار والممولين.
منهجيات أخرى
نماذج تتنبأ بالطلب والمخاطر والتسرب، مع تحقق متقاطع ومقاييس دقة واضحة وتفسير لأهم العوامل.
التفاصيل والنماذج ←نماذج ARIMA وETS وProphet لتوقع المؤشرات الاقتصادية والتشغيلية بفترات ثقة.
التفاصيل والنماذج ←نماذج للبيانات المتداخلة وبيانات البانل، وتقديرات بايزية بفترات مصداقية.
التفاصيل والنماذج ←تصنيف النصوص واستخراج موضوعاتها واتجاهاتها من الشكاوى والاستبانات المفتوحة والمنشورات.
التفاصيل والنماذج ←خرائط وتحليل للارتباط المكاني يكشف التفاوت بين المناطق وبؤر التركز.
التفاصيل والنماذج ←لوحات بـ Power BI وTableau وShiny وDash تتجدد مع وصول البيانات.
التفاصيل والنماذج ←أوزان المعاينة والتصاميم الطبقية والعنقودية وتقديرات المناطق الصغيرة.
التفاصيل والنماذج ←من المدونة
دليل تطبيقي إلى تقييم أثر البرامج والسياسات: مشكلة الوضع المضاد، والتجارب العشوائية، والفروق في الفروق، ومطابقة درجة الميل بـMatchIt، والانقطاع والضبط التركيبي، وعرض الأثر بأمانة.
شرح تحليل الانحدار الخطي البسيط والمتعدد: شروطه وطرق فحصها في SPSS، وقراءة R² وجدول ANOVA ومعاملات بيتا، وصياغة النتائج في الرسالة بمثال تطبيقي.
دليل حساب حجم العينة للباحثين: العوامل المؤثرة، ومنطق جدول كريجسي ومورجان ومعادلة ستيفن ثامبسون، وتحليل القوة الإحصائية، وكيف تبرر حجم عينتك في الرسالة.
لديك بيانات وسؤال؟
نبدأ باستشارة مبدئية مجانية نحدد فيها السؤال والبيانات والمنهجية المناسبة، ونرد عليك خلال ساعة.
الأسئلة الشائعة