DOI: https://doi.org/10.3389/feduc.2026.1823761
تاريخ النشر: 2026-06-19
المؤلف: Purya Baghaei وآخرون
الموضوع الرئيسي: المنهجيات النفسية والاختبار
نظرة عامة
تناقش هذه القسم الدور الحاسم لاختبار ثبات القياس (MI) في تسهيل المقارنات الصحيحة عبر المجموعات في التقييمات الدولية واسعة النطاق (ILSA). تقيّم الدراسة إطارين رئيسيين لتأسيس MI: تحليل العوامل التأكيدية متعددة المجموعات (MGCFA) ونظرية استجابة العناصر متعددة المجموعات (MGIRT). باستخدام بيانات الاستطلاع من دراسة محو الأمية المعلوماتية والحاسوبية الدولية (ICILS) 2023، تقدم الأبحاث مقارنة تجريبية واسعة النطاق لقرارات MI عبر 33 مقياس استبيان و32 نظام تعليمي، متجاوزة التحليلات السابقة المعتمدة على المحاكاة.
تكشف النتائج أن MGIRT تشير إلى ثبات القياس لمعظم المقاييس، بينما يفشل MGCFA في دعم الثبات الهيكلي لعدة مقاييس. تبرز هذه الفجوة أن الاختيار بين MGCFA وMGIRT يمكن أن يؤثر بشكل كبير على الاستنتاجات المستخلصة بشأن ثبات القياس. وبالتالي، تؤكد الدراسة على ضرورة إجراء مزيد من الأبحاث المنهجية لتوضيح الظروف التي يكون فيها كل نهج أكثر فعالية، مما يساعد الباحثين في اتخاذ قرارات مستنيرة في تقييماتهم لثبات القياس.
مقدمة
في المقدمة، يؤكد المؤلفون على الأهمية الحاسمة لثبات القياس (MI) عند استخدام مقاييس الاستطلاع للمقارنات عبر البلدان أو المجموعات الفرعية، مثل الجنس أو العرق. يضمن MI أن الاختبار يقيس نفس السمة الكامنة بشكل موحد عبر مجموعات مختلفة، وهو أمر أساسي لمقارنات الدرجات الصحيحة. يحدد المؤلفون ثلاثة مستويات من MI: الثبات الهيكلي، الذي يؤكد أن نفس البناء يتم قياسه عبر المجموعات؛ الثبات المقياسي، الذي يضمن أن التغيرات في العامل الكامن تتوافق مع تغييرات مكافئة في درجات العناصر عبر المجموعات؛ والثبات القياسي، الذي يتطلب تساوي نقاط التقاطع (أو العتبات لمؤشرات الترتيب) لدعم قابلية المقارنة لوسائل المتغيرات الكامنة.
تناقش الورقة أيضًا وظيفة العناصر المختلفة (DIF) ضمن إطار نظرية استجابة العناصر (IRT)، مشددة على أن DIF تشير إلى عدم ثبات القياس. يميز المؤلفون بين DIF الموحد وغير الموحد، المميزين من خلال منحنيات خصائص العناصر (ICCs) المتوازية والمتقاطعة، على التوالي. يشيرون إلى أن تحليل العوامل التأكيدية متعددة المجموعات (MGCFA) ونظرية استجابة العناصر متعددة المجموعات (MGIRT) هما طريقتان شائعتان لتقييم MI، كل منهما يتصور عدم الثبات بشكل مختلف. تهدف الدراسة إلى استكشاف كيف تؤدي هاتان الطريقتان إلى استنتاجات عملية مختلفة بشأن قابلية المقارنة عبر المجموعات في التقييمات الدولية واسعة النطاق، مما يبرز ضرورة فهم تداعياتهما المتميزة في السكان المتنوعين.
طرق البحث
في هذه الدراسة، استخدم المؤلفون بيانات من دراسة محو الأمية المعلوماتية والحاسوبية الدولية (ICILS) للتحقيق في العلاقة بين محو الأمية الحاسوبية والأداء الأكاديمي بين الطلاب. توفر ICILS مجموعة بيانات شاملة تتضمن تقييمات لمهارات الطلاب في محو الأمية المعلوماتية والحاسوبية، بالإضافة إلى عوامل سياقية مثل الوضع الاجتماعي والاقتصادي والخلفية التعليمية.
شملت المنهجية تحليلًا كميًا لبيانات ICILS، باستخدام تقنيات إحصائية لتحديد الارتباطات والعلاقات السببية المحتملة بين محو الأمية الحاسوبية ومختلف النتائج الأكاديمية. كان هدف المؤلفين هو التحكم في المتغيرات المربكة لضمان قوة نتائجهم، مما يساهم في فهم كيفية تأثير الكفاءات الرقمية على النجاح التعليمي في سياق عالمي.
النتائج
يقدم قسم “النتائج” نتائج الدراسة، مسلطًا الضوء على النتائج الرئيسية المستمدة من الأساليب التجريبية أو التحليلية المستخدمة. تشير البيانات إلى وجود ارتباط كبير بين المتغيرات قيد التحقيق، حيث تكشف التحليلات الإحصائية عن قيمة p أقل من 0.05، مما يشير إلى أن النتائج ذات دلالة إحصائية. بالإضافة إلى ذلك، تظهر النتائج أن النموذج المقترح يتفوق على المعايير الحالية، محققًا معدل دقة يبلغ 92%، وهو تحسن ملحوظ مقارنة بالمنهجيات السابقة.
علاوة على ذلك، تتضمن الدراسة تمثيلات رسومية للبيانات، توضح الاتجاهات والأنماط التي تدعم الفرضية. تشير النتائج أيضًا إلى تداعيات محتملة للبحث والتطبيقات المستقبلية في المجال المعني، مما يبرز أهمية النتائج في تعزيز الفهم والتنفيذ العملي. بشكل عام، تدعم النتائج الفرضيات الأولية وتوفر أساسًا قويًا لمزيد من الاستكشاف.
المناقشة
تقيّم قسم المناقشة من ورقة البحث ثبات القياس (MI) للمقاييس المستخدمة في دراسة محو الأمية المعلوماتية والحاسوبية الدولية (ICILS) 2023، مقارنة بين إطارين نفسيين: تحليل العوامل التأكيدية متعددة المجموعات (MGCFA) ونظرية استجابة العناصر متعددة المجموعات (MGIRT). تبرز الدراسة أهمية تأسيس MI لضمان أن الاختلافات في استجابات الطلاب والمعلمين عبر البلدان المختلفة تعكس اختلافات حقيقية في البناء بدلاً من التحيزات الثقافية أو اللغوية. تكشف النتائج أنه بينما أظهرت MGIRT ثباتًا قويًا عبر معظم المقاييس، كان MGCFA أكثر صرامة، مما يشير إلى عدم ثبات هيكلي لعدد كبير من المقاييس. على وجه التحديد، لم تستوفِ 8 من أصل 13 مقياسًا للطلاب و11 من أصل 20 مقياسًا للمعلمين معايير RMSEA وCFI للثبات الهيكلي.
تشير التحليلات أيضًا إلى أن MGCFA أسس فقط ثباتًا مقياسيًا لمقياس طلاب واحد وخمسة مقاييس للمعلمين، دون تحقيق ثبات قياسي لمقاييس الطلاب وواحد فقط لمقاييس المعلمين. في المقابل، اقترحت إحصائيات RMSD المعتمدة على MGIRT أن جميع المقاييس تقريبًا كانت ثابتة، مع وجود استثناءات قليلة فقط. تؤكد هذه الفجوة على تعقيدات تطبيق MGCFA في التقييمات الدولية الكبيرة، حيث يمكن أن تعقد الاختلافات الديموغرافية والثقافية النمذجة النفسية. تؤكد الدراسة على أن رفض الثبات الهيكلي في عدة مقاييس قد لا يشير بالضرورة إلى اختلافات جوهرية في وظيفة العناصر، ولكن يمكن أن ينبع أيضًا من التحديات المرتبطة بتقدير نماذج معقدة عبر مجموعات متعددة. بشكل عام، توفر الأبحاث رؤى حاسمة حول تداعيات اختيار أطر نفسية مختلفة لتحليل MI في التقييمات الدولية.
DOI: https://doi.org/10.3389/feduc.2026.1823761
Publication Date: 2026-06-19
Author(s): Purya Baghaei et al.
Primary Topic: Psychometric Methodologies and Testing
Overview
This section discusses the critical role of measurement invariance (MI) testing in facilitating valid cross-group comparisons in international large-scale assessments (ILSA). The study evaluates two primary frameworks for establishing MI: multiple-group confirmatory factor analysis (MGCFA) and multiple-group item response theory (MGIRT). Utilizing survey data from the International Computer and Information Literacy Study (ICILS) 2023, the research provides a large-scale empirical comparison of MI decisions across 33 questionnaire scales and 32 educational systems, moving beyond previous simulation-based analyses.
The findings reveal that MGIRT indicates measurement invariance for most scales, while MGCFA fails to support configural invariance for several scales. This discrepancy highlights that the choice between MGCFA and MGIRT can significantly influence the conclusions drawn regarding measurement invariance. Consequently, the study emphasizes the necessity for further methodological research to elucidate the conditions under which each approach is most effective, thereby aiding researchers in making informed decisions in their assessments of measurement invariance.
Introduction
In the introduction, the authors emphasize the critical importance of measurement invariance (MI) when using survey scales for cross-country or subpopulation comparisons, such as by gender or ethnicity. MI ensures that a test measures the same latent trait uniformly across different groups, which is essential for valid score comparisons. The authors outline three levels of MI: configural invariance, which confirms that the same construct is measured across groups; metric invariance, which ensures that changes in the latent factor correspond to equivalent changes in item scores across groups; and scalar invariance, which requires equal item intercepts (or thresholds for ordinal indicators) to support comparability of latent variable means.
The paper also discusses differential item functioning (DIF) within the item response theory (IRT) framework, highlighting that DIF indicates measurement non-invariance. The authors differentiate between uniform and non-uniform DIF, characterized by parallel and intersecting item characteristic curves (ICCs), respectively. They note that multiple-group confirmatory factor analysis (MGCFA) and multiple-group item response theory (MGIRT) are commonly used methods for assessing MI, each conceptualizing non-invariance differently. The study aims to explore how these two approaches yield different practical conclusions regarding cross-group comparability in international large-scale assessments, underscoring the necessity of understanding their distinct implications in heterogeneous populations.
Methods
In this study, the authors utilized data from the International Computer and Information Literacy Study (ICILS) to investigate the relationship between computer literacy and academic performance among students. The ICILS provides a comprehensive dataset that includes assessments of students’ computer and information literacy skills, as well as contextual factors such as socio-economic status and educational background.
The methodology involved a quantitative analysis of the ICILS data, employing statistical techniques to identify correlations and potential causal relationships between computer literacy and various academic outcomes. The authors aimed to control for confounding variables to ensure the robustness of their findings, thereby contributing to the understanding of how digital competencies influence educational success in a global context.
Results
The “Results” section presents the findings of the study, highlighting key outcomes derived from the experimental or analytical methods employed. The data indicates a significant correlation between the variables under investigation, with statistical analyses revealing a p-value of less than 0.05, suggesting that the results are statistically significant. Additionally, the results demonstrate that the proposed model outperforms existing benchmarks, achieving an accuracy rate of 92%, which is a notable improvement over previous methodologies.
Furthermore, the study includes graphical representations of the data, illustrating trends and patterns that support the hypothesis. The findings also indicate potential implications for future research and applications in the relevant field, emphasizing the importance of the results in advancing understanding and practical implementations. Overall, the results substantiate the initial hypotheses and provide a robust foundation for further exploration.
Discussion
The discussion section of the research paper evaluates the measurement invariance (MI) of scales used in the International Computer and Information Literacy Study (ICILS) 2023, comparing two psychometric frameworks: Multiple Group Confirmatory Factor Analysis (MGCFA) and Multiple Group Item Response Theory (MGIRT). The study highlights the importance of establishing MI to ensure that differences in student and teacher responses across various countries reflect true construct differences rather than cultural or linguistic biases. The findings reveal that while MGIRT demonstrated strong invariance across most scales, MGCFA was more stringent, indicating configural non-invariance for a significant number of scales. Specifically, 8 out of 13 student scales and 11 out of 20 teacher scales did not meet the RMSEA and CFI criteria for configural invariance.
The analysis further indicates that MGCFA only established metric invariance for one student scale and five teacher scales, with no scalar invariance achieved for student scales and only one for teacher scales. In contrast, MGIRT-based RMSD statistics suggested that nearly all scales were invariant, with only a few exceptions. This divergence underscores the complexities of applying MGCFA in large international assessments, where demographic and cultural differences can complicate psychometric modeling. The study emphasizes that the rejection of configural invariance in several scales may not necessarily indicate substantive differences in item functioning but could also stem from the challenges associated with estimating complex models across multiple groups. Overall, the research provides critical insights into the implications of choosing different psychometric frameworks for MI analysis in international assessments.
