DOI: https://doi.org/10.71014/sieds.v80i2.454
تاريخ النشر: 2026-02-19
المؤلف: Ilaria Bombelli وآخرون
الموضوع الرئيسي: طرق إحصائية واستدلال بايزي
نظرة عامة
يتناول قسم ورقة البحث نموذجًا جديدًا في إنتاج الإحصاءات الرسمية يدمج البيانات الإدارية وبيانات الاستطلاع من خلال نظام قائم على السجل. بينما توفر البيانات الإدارية تعدادًا كاملاً لوحدات معينة، فإنها تمثل عادةً فقط مجموعة فرعية من السكان المستهدفين الإحصائيين الأوسع وتفتقر إلى العينة الاحتمالية. على النقيض من ذلك، يمكن جعل بيانات الاستطلاع، على الرغم من أنها محدودة أيضًا لمجموعة فرعية، تمثيلية من خلال الوزن. تعتبر التأخيرات في توفر البيانات تحديًا كبيرًا في هذا التكامل، مما يتطلب إجراءات محددة لتوليد مجموعة بيانات كاملة، بما في ذلك التعامل مع القيم المفقودة وإدماج الأوزان في نماذج التقدير.
تسلط الورقة الضوء على استخدام غابة عشوائية (RF)، وهي تقنية تعلم آلي (ML)، لتعزيز تقدير مستوى التعليم المحقق (ALE) من قبل المعهد الوطني الإيطالي للإحصاء (Istat). يسمح هذا النهج بالاستفادة من معلومات واسعة، بما في ذلك البيانات الطولية والمتغيرات ذات الفئات العديدة، لالتقاط العلاقات المعقدة التي قد تكافح الأساليب التقليدية لمعالجتها. يتم تقييم النتائج عبر سيناريوهات مختلفة، كل منها يتوافق مع مستويات مختلفة من المعلومات المتاحة ويركز على ثلاث مجموعات سكانية متميزة تتميز بأنماط توفر بيانات فريدة.
مقدمة
تسلط مقدمة الورقة الضوء على المطالب المتزايدة على الإحصاءات الرسمية لإنتاج بيانات موثوقة وفي الوقت المناسب لتحليلات اجتماعية متنوعة، بما في ذلك الديموغرافيات والاقتصاد. تؤكد على التحدي المزدوج المتمثل في زيادة طلبات البيانات مع إدارة عبء المستجيبين، مما أدى إلى ارتفاع معدلات عدم الاستجابة. لمعالجة هذه التحديات، تدعو الورقة إلى تحول نموذجي نحو دمج بيانات الاستطلاع التقليدية مع مصادر بيانات جديدة، وخاصة البيانات الإدارية. يهدف هذا التكامل إلى إنشاء مجموعة بيانات شاملة تتجاوز قيود كلا نوعي البيانات، مثل تغطية السكان الجزئية والفجوات الزمنية.
تقترح الورقة نهجًا جديدًا لتقدير مستوى التعليم المحقق (ALE) باستخدام تقنيات التعلم الآلي، وبشكل خاص غابة عشوائية، كبديل للنماذج التقليدية الخطية اللوغاريتمية التي يستخدمها المعهد الوطني الإيطالي للإحصاء (Istat). يُفترض أن هذا النهج في التعلم الآلي يستخدم المعلومات المتاحة بشكل فعال، بما في ذلك البيانات الطولية، ويلتقط العلاقات المعقدة بين المتغيرات. ومع ذلك، يعترف المؤلفون بالتحدي المتمثل في إدماج أوزان العينة في إطار التعلم الآلي. ستفصل الأقسام التالية من الورقة إطار التقدير، ونموذج الغابة العشوائية، وتطبيق هذه الطريقة لتقدير ALE، مع اختتام المناقشة بالنتائج والاتجاهات المستقبلية.
مناقشة
في هذا القسم، يناقش المؤلفون تطبيق تقنيات التعلم الآلي (ML)، وبشكل خاص خوارزمية الغابة العشوائية (RF)، لتقدير مستوى التعليم المحقق (ALE) في السكان الإيطاليين. باستخدام بيانات من السجل الأساسي للأفراد (BRI) ومصادر إدارية متنوعة، تسلط الدراسة الضوء على قيود الإحصاءات التقليدية المعتمدة على الاستطلاعات، وخاصة التأخير في البيانات الإدارية وتحت تغطية بعض شرائح السكان. تم تدريب نموذج RF على عينة رئيسية (MS) للتنبؤ بـ ALE للسكان بأكملهم، مما يظهر أداءً متفوقًا مقارنة بالنماذج التقليدية الخطية اللوغاريتمية، خاصة عند إدماج أوزان العينة. تشير النتائج إلى أن نموذج RF يلتقط العلاقات غير الخطية بشكل فعال ويوفر تمثيلًا أكثر دقة لتوزيعات ALE عبر مجموعات سكانية مختلفة.
يستكشف المؤلفون أيضًا تأثير تغيير عدد ميزات الإدخال على دقة التنبؤ، كاشفين أنه بينما يؤدي زيادة تعقيد النموذج عمومًا إلى تحسين الأداء لمجموعات سكانية أكثر معلوماتية، إلا أنه يمكن أن يؤثر سلبًا على تلك التي لديها بيانات محدودة. على وجه الخصوص، أظهرت المجموعة السكانية C، التي تتميز بمعلومات نادرة، أداءً متدنيًا مع إدخال متغيرات إضافية. كان ضبط المعلمات الفائقة، وخاصة عدد الميزات التي تم النظر فيها عند كل انقسام (mtry)، أمرًا حاسمًا لتحسين التنبؤات عبر السكان المتنوعين. تشير النتائج إلى أن هيكل RF المرن، القادر على التكيف مع خصائص البيانات المختلفة، ضروري للتقدير الفعال في سياقات متنوعة. ستتضمن الأعمال المستقبلية دمج نماذج ML إضافية مصممة خصيصًا لمجموعات سكانية معينة، بهدف تطوير نموذج تجميعي يجمع بين نقاط القوة في أساليب مختلفة لتحسين دقة التنبؤ.
DOI: https://doi.org/10.71014/sieds.v80i2.454
Publication Date: 2026-02-19
Author(s): Ilaria Bombelli et al.
Primary Topic: Statistical Methods and Bayesian Inference
Overview
The research paper section discusses a new paradigm in Official Statistical production that integrates administrative and survey data through a register-based system. While administrative data provides a complete enumeration of specific units, it typically represents only a subset of the broader statistical target population and lacks probabilistic sampling. Conversely, survey data, although also limited to a subset, can be made representative through weighting. A significant challenge in this integration is the delay in data availability, necessitating specific procedures for generating a complete dataset, including handling missing values and incorporating weights into estimation models.
The paper highlights the use of Random Forest (RF), a Machine Learning (ML) technique, to enhance the estimation of the Attained Level of Education (ALE) by the Italian National Institute of Statistics (Istat). This approach allows for the utilization of extensive information, including longitudinal data and variables with numerous categories, to capture complex relationships that traditional methods may struggle to address. The evaluation of results is conducted across various scenarios, each corresponding to different levels of available information and focusing on three distinct population subsets characterized by unique data availability patterns.
Introduction
The introduction of the paper highlights the evolving demands on Official Statistics to produce reliable and timely data for various societal analyses, including demographics and economics. It emphasizes the dual challenge of increasing data requests while managing respondent burden, which has led to higher non-response rates. To address these challenges, the paper advocates for a paradigm shift towards integrating traditional survey data with new data sources, particularly administrative data. This integration aims to create a comprehensive dataset that overcomes the limitations of both data types, such as partial population coverage and timing discrepancies.
The paper proposes a novel approach for imputing the Attained Level of Education (ALE) using machine learning techniques, specifically Random Forest, as an alternative to traditional log-linear models employed by the Italian National Institute of Statistics (Istat). This machine learning approach is posited to effectively utilize available information, including longitudinal data, and to capture complex variable relationships. However, the authors acknowledge the challenge of incorporating sampling weights into the machine learning framework. The subsequent sections of the paper will detail the imputation framework, the Random Forest model, and the application of this method for ALE imputation, concluding with a discussion of findings and future directions.
Discussion
In this section, the authors discuss the application of machine learning (ML) techniques, specifically the Random Forest (RF) algorithm, for imputing the Attained Level of Education (ALE) in the Italian population. Utilizing data from the Base Register of Individuals (BRI) and various administrative sources, the study highlights the limitations of traditional survey-based statistics, particularly the lag in administrative data and the under-coverage of certain population segments. The RF model was trained on a Master Sample (MS) to predict ALE for the entire population, demonstrating superior performance compared to traditional log-linear models, particularly when sampling weights were incorporated. The results indicate that the RF model effectively captures non-linear relationships and provides a more accurate representation of ALE distributions across different subpopulations.
The authors further explore the impact of varying the number of input features on prediction accuracy, revealing that while increasing the complexity of the model generally improves performance for more informative subpopulations, it can adversely affect those with limited data. Specifically, subpopulation C, characterized by sparse information, showed diminished performance as additional regressors were introduced. The tuning of hyperparameters, particularly the number of features considered at each split (mtry), was crucial for optimizing predictions across heterogeneous populations. The findings suggest that a flexible RF structure, capable of adapting to different data characteristics, is essential for effective imputation in diverse contexts. Future work will involve integrating additional ML models tailored to specific subpopulations, ultimately aiming to develop an ensemble model that combines the strengths of various approaches for improved predictive accuracy.