DOI: https://doi.org/10.1057/s41599-026-06979-6
تاريخ النشر: 2026-03-26
المؤلف: Emine Yavuz
الموضوع الرئيسي: المنهجيات النفسية والاختبار
نظرة عامة
تقيّم هذه الدراسة بشكل نقدي صحة وعدالة تقييم الكفاءة العالمية PISA 2018 باستخدام إطار عمل قائم على الحجج لكين. تركز على الاستنتاجات الرئيسية المتعلقة بالتسجيل، والتعميم، والاستقراء، واتخاذ القرار، بهدف تحديد ما إذا كانت استجابات العناصر يمكن تفسيرها بشكل موثوق كمؤشرات على الكفاءة العالمية. باستخدام نماذج استجابة العناصر التفسيرية على عينة كندية، تبحث الدراسة في وجود واستقرار تأثيرات الكتيب والاختبار، وتأثير المتغيرات على مستوى الطالب على صعوبة العناصر، ووظيفة العناصر المختلفة بناءً على الجنس (DIF).
تظهر النتائج أنه بينما كانت تأثيرات الكتيب الثابتة صغيرة بشكل عام ولكنها كانت أحيانًا ذات دلالة، كانت تأثيرات الاختبار ضئيلة. ومن الجدير بالذكر أن المتنبئين على مستوى الطالب مثل الكفاءة الذاتية والاحترام للتنوع الثقافي أثروا بشكل إيجابي باستمرار على صعوبة العناصر عبر الكتيبات، بينما أظهرت المتغيرات المعرفية تأثيرات أضعف وأقل استقرارًا. أظهرت تحليلات DIF الميتا-تحليل أن عددًا قليلاً فقط من العناصر أظهر وظيفة مختلفة متوسطة إلى عالية مرتبطة بالجنس، مع بقاء أداء العناصر بشكل عام مستقرًا عبر مجموعات الكتيبات. تدعم هذه النتائج الاستخدام التفسيري لدرجات الكفاءة العالمية مع تسليط الضوء على اعتبارات التصميم والمجموعات الفرعية المهمة لضمان العدالة في التقييمات واسعة النطاق.
مقدمة
تناقش مقدمة ورقة البحث مفهوم الكفاءة العالمية (GC)، والتي تُعرّف على أنها القدرة على التنقل في السياقات الدولية والثقافية المتعددة. يُعزى الأهمية المتزايدة لـ GC إلى زيادة الهجرة والتقدم التكنولوجي، مما يتطلب من الأفراد التمييز والتفاعل مع معلومات متنوعة، لا سيما في الفضاءات الرقمية. تقوم المؤسسات التعليمية بشكل متزايد بإدماج المواطنة العالمية والوعي في مناهجها لإعداد الطلاب لعالم معولم. ومع ذلك، لا تزال الأدبيات حول GC في طور التطور، حيث تركز معظم الدراسات على تعريفها وطرق تقييمها. شكل تقييم PISA 2018 خطوة مهمة في تقييم GC، لكنه واجه انتقادات بشأن أسسه النظرية وصحة القياس.
تسلط الورقة الضوء على الطبيعة متعددة الأبعاد لـ GC، كما عرّفتها منظمة التعاون والتنمية الاقتصادية (OECD)، والتي تشمل أبعادًا مثل فحص القضايا العالمية، وفهم وجهات النظر المتنوعة، والانخراط في التواصل بين الثقافات بشكل فعال، واتخاذ إجراءات من أجل التنمية المستدامة. على الرغم من الجهود المبذولة لإنشاء إطار تقييم قوي، ظهرت تحديات في قياس GC بسبب نقص إطار نظري شامل والتحيزات الثقافية في عناصر الاختبار. تهدف الدراسة إلى معالجة هذه التحديات من خلال تقييم صحة تقييم PISA 2018 لـ GC من خلال نماذج استجابة العناصر التفسيرية (EIRMs) ضمن إطار صحة قائم على الحجج (ABV)، مما يوفر رؤى أساسية للبحوث والممارسات التقييمية المستقبلية في الكفاءة العالمية.
النتائج
تصنف نتائج هذه الدراسة، التي تم تأطيرها ضمن صحة كين المستندة إلى الأدلة، إلى ثلاثة مجالات رئيسية: التسجيل والتعميم، والاستقراء، والقرار/العدالة. في نتائج التسجيل والتعميم، استخدمت الدراسة نماذج استجابة العناصر التجريبية (EIRMs) لتقييم تأثير ميزات تصميم الاختبار والكتيب على صعوبة العناصر. كشفت التحليلات أنه بينما كانت تأثيرات الاختبار الثابتة غير ذات دلالة بشكل مستمر، مما يشير إلى عدم وجود تأثير منهجي على صعوبة العناصر، كانت العديد من تأثيرات الكتيب الثابتة ذات دلالة إحصائية وإيجابية. يشير هذا إلى أن أشكال الكتيب المحددة أظهرت صعوبة أكبر للعناصر بغض النظر عن قدرة الطالب، مما يبرز أهمية تصميم الكتيب في التقييم. تدعم مكونات التباين العشوائي الضئيلة الاستنتاج بأن التأثيرات الملحوظة للكتيب هي منهجية وليست عشوائية.
في نتائج استنتاج الاستقراء، درست الدراسة تأثير الخصائص العاطفية على مستوى الطالب على صعوبة العناصر عبر مجموعات الكتيبات. وُجدت ارتباطات إيجابية كبيرة بين الكفاءة الذاتية فيما يتعلق بالقضايا العالمية، والاحترام للتنوع الثقافي، والوعي بالتواصل بين الثقافات مع نجاح العناصر. على العكس، كانت هناك ارتباطات بين الوعي الأعلى بالقضايا العالمية والعقلية العالمية مع احتمالات أقل قليلاً للاستجابات الصحيحة. تشير هذه النتائج إلى أن بعض الأبعاد العاطفية تؤثر باستمرار على صعوبة العناصر، بينما لا تترجم أخرى إلى تباينات منهجية. أخيرًا، قيمت نتائج استنتاج القرار وظيفة العناصر المختلفة بناءً على الجنس (DIF) باستخدام EIRMs. أظهرت الغالبية العظمى من العناصر DIF ضئيل، مما يشير إلى تحيز قياس مرتبط بالجنس ضئيل. ومع ذلك، أظهرت بعض العناصر DIF معتدلة إلى عالية، مما يشير إلى اختلافات ذات دلالة في احتمالات الاستجابة بين الجنسين. بشكل عام، تؤكد النتائج عدالة تفسيرات الدرجات لمعظم العناصر مع تحديد عناصر معينة قد تتطلب مزيدًا من التدقيق.
المناقشة
تؤكد قسم المناقشة في ورقة البحث على الإطار النظري الذي يدعم صحة التقييمات، لا سيما في سياق تقييم الكفاءة العالمية PISA 2018. تشير إلى نموذج مثلث التقييم من المجلس الوطني للبحوث (2001)، الذي يفترض أن صحة درجات التقييم تعتمد على توافق الإدراك، والملاحظة، والتفسير. تنتقد الدراسة الانفصال المحتمل بين النظرية المعرفية وممارسات القياس، مما قد يؤدي إلى آثار سلبية على التعليم والسياسة. تعتمد إطار عمل كين (2013) للصحة القائمة على الحجج (ABV) لتقييم صحة الدرجات المستمدة من عناصر PISA 2018 GC بشكل منهجي، مع التركيز على أربعة مصادر رئيسية من أدلة الصحة: التسجيل والتعميم، والاستقراء، والعدالة من خلال وظيفة العناصر المختلفة (DIF).
تهدف الدراسة الحالية إلى تقييم تجريبي ما إذا كانت استجابات العناصر تتماشى مع تعريف منظمة التعاون والتنمية الاقتصادية (OECD) لـ GC من خلال نمذجة صعوبة العناصر بالنسبة لتصميم التقييم وخصائص الطلاب. تستخدم نماذج استجابة العناصر التفسيرية (EIRMs) لتحليل تأثيرات تصميم الكتيب والاختبار على صعوبة العناصر، فضلاً عن تأثير الخصائص العاطفية والمعرفية على مستوى الطالب. تستخدم الدراسة نهجًا منهجيًا قويًا، بما في ذلك الإحلال المتعدد لمعالجة البيانات المفقودة وهيكل نمذجة من مستويين لحساب الاعتماديات الهرمية في البيانات. تشير النتائج إلى تباين كبير في صعوبة العناصر عبر مجموعات الكتيبات المختلفة، مما يبرز أهمية مراعاة تصميم التقييم عند تفسير اختلافات الدرجات وضمان العدالة في التقييمات. بشكل عام، تسهم هذه البحث في أدبيات EIRM التطبيقية من خلال إظهار فائدتها في التقييمات واسعة النطاق وتعزيز إطار الصحة الذي وضعه كين.
DOI: https://doi.org/10.1057/s41599-026-06979-6
Publication Date: 2026-03-26
Author(s): Emine Yavuz
Primary Topic: Psychometric Methodologies and Testing
Overview
This study critically evaluates the validity and fairness of the PISA 2018 Global Competence assessment using Kane’s argument-based framework. It focuses on key inferences related to scoring, generalization, extrapolation, and decision-making, aiming to determine if item responses can be reliably interpreted as indicators of global competence. Employing explanatory item response models on a Canadian sample, the research investigates the presence and stability of booklet and testlet effects, the influence of student-level covariates on item difficulty, and gender-based differential item functioning (DIF).
The findings reveal that while booklet fixed effects were generally small yet occasionally significant, testlet effects were negligible. Notably, student-level predictors such as self-efficacy and respect for cultural diversity consistently positively influenced item difficulty across booklets, whereas cognitive variables showed weaker and less stable effects. The meta-analytic DIF analyses indicated that only a few items exhibited moderate to high gender-related differential functioning, with overall item performance remaining stable across booklet groups. These results support the interpretive use of global competence scores while highlighting important design and subgroup considerations for fairness in large-scale assessments.
Introduction
The introduction of the research paper discusses the concept of global competence (GC), which is defined as the ability to navigate international and cross-cultural contexts. The growing importance of GC is attributed to increased migration and technological advancements, necessitating individuals to discern and engage with diverse information, particularly in digital spaces. Educational institutions are increasingly incorporating global citizenship and awareness into their curricula to prepare students for a globalized world. However, the literature on GC is still developing, with most studies focusing on its definition and assessment methods. The 2018 PISA assessment marked a significant step in evaluating GC, but it faced criticism regarding its theoretical foundations and measurement validity.
The paper highlights the multidimensional nature of GC, as defined by the OECD, which includes dimensions such as examining global issues, understanding diverse perspectives, engaging in effective intercultural communication, and taking action for sustainable development. Despite efforts to create a robust assessment framework, challenges arose in measuring GC due to the lack of a comprehensive theoretical framework and cultural biases in test items. The study aims to address these challenges by evaluating the validity of the PISA 2018 GC assessment through explanatory item response models (EIRMs) within an argument-based validity (ABV) framework, thereby providing essential insights for future research and assessment practices in global competence.
Results
The results of this study, framed within Kane’s evidence-based validity, are categorized into three main areas: scoring and generalization, extrapolation, and decision/fairness. In the scoring and generalization findings, the study employed Empirical Item Response Models (EIRMs) to assess the impact of testlet and booklet design features on item difficulty. The analysis revealed that while testlet fixed effects were consistently nonsignificant, indicating no systematic influence on item difficulty, several booklet fixed effects were statistically significant and positive. This suggests that specific booklet forms exhibited greater item difficulty independent of student ability, highlighting the importance of booklet design in the assessment. The negligible random-effect variance components further support the conclusion that observed booklet effects are systematic rather than random.
In the extrapolation inference findings, the study examined the influence of student-level affective characteristics on item difficulty across booklet groups. Significant positive associations were found between self-efficacy regarding global issues, respect for cultural diversity, and awareness of intercultural communication with item success. Conversely, higher awareness of global issues and global-mindedness were linked to slightly lower probabilities of correct responses. These results indicate that certain affective dimensions consistently affect item difficulty, while others do not translate into systematic variations. Lastly, the decision inference findings assessed gender-based differential item functioning (DIF) using EIRMs. The majority of items showed negligible DIF, suggesting minimal gender-related measurement bias. However, a few items exhibited moderate to high DIF, indicating meaningful differences in response probabilities between genders. Overall, the findings affirm the fairness of score interpretations for most items while identifying specific items that may require further scrutiny.
Discussion
The discussion section of the research paper emphasizes the theoretical framework underpinning the validity of assessments, particularly in the context of the PISA 2018 Global Competence (GC) assessment. It references the assessment triangle model from the National Research Council (2001), which posits that the validity of assessment scores hinges on the alignment of cognition, observation, and interpretation. The study critiques the potential disconnect between cognitive theory and measurement practices, which can lead to adverse effects on teaching and policy. It adopts Kane’s (2013) Argument-Based Validity (ABV) framework to systematically evaluate the validity of scores derived from PISA 2018 GC items, focusing on four primary sources of validity evidence: scoring and generalization, extrapolation, and fairness through differential item functioning (DIF).
The current study aims to empirically assess whether item responses align with the OECD’s definition of GC by modeling item difficulty in relation to assessment design and student characteristics. It employs explanatory item response models (EIRMs) to analyze the effects of booklet and testlet design on item difficulty, as well as the influence of student-level emotional and cognitive characteristics. The study utilizes a robust methodological approach, including multiple imputation to address missing data and a two-level modeling structure to account for hierarchical dependencies in the data. The findings indicate significant variability in item difficulty across different booklet groups, highlighting the importance of considering assessment design in interpreting score differences and ensuring fairness in evaluations. Overall, the research contributes to the applied EIRM literature by demonstrating its utility in large-scale assessments and reinforcing the validity framework established by Kane.