DOI: https://doi.org/10.1017/psy.2024.16
تاريخ النشر: 2025-01-03
المؤلف: Jimmy de la Torre وآخرون
الموضوع الرئيسي: المنهجيات النفسية والاختبار
نظرة عامة
تقدم هذه القسم نظرة عامة على نموذج التشخيص المعرفي المتعدد المشبع (sp-CDM)، الذي يلبي الحاجة إلى تصنيفات أكثر دقة لمهارات الطلاب في البيئات التعليمية، متجاوزًا التصنيفات الثنائية لتشمل مستويات متعددة من الإتقان (مثل: لا، أساسي، ومتقدم). يتم وضع sp-CDM كإطار عام يشمل نماذج التشخيص المعرفي الحالية (CDMs) للسمات المتعددة، مما يوضح مرونته من خلال العلاقات الرياضية التي تربطه بهذه النماذج الموجودة.
يقترح المؤلفون خوارزميات لتقدير معلمات sp-CDM ويجرون دراسة محاكاة لتقييم قدرات استرداد معلمات النموذج. تسلط هذه الدراسة أيضًا الضوء على المخاطر المحتملة لاستخدام نماذج CDMs ذات السمات المتعددة المقيدة أو المعقدة بشكل مفرط. بالإضافة إلى ذلك، يتم تقديم مثال على بيانات حقيقية لتوضيح التطبيقات العملية وفوائد sp-CDM في التقييمات التعليمية، مما يعزز أهميته في تشخيص كفاءات الطلاب بدقة.
مقدمة
تناقش مقدمة هذه الورقة القيود المفروضة على نماذج التشخيص المعرفي الحالية (CDMs) التي تركز بشكل أساسي على السمات الثنائية، والتي تصنف إتقان الطلاب إلى نتائج ثنائية. يجادل المؤلفون بضرورة وجود سمات متعددة، والتي تسمح بتصنيفات أكثر دقة، مثل مستويات الإتقان في مهارات مثل التفكير النسبي. يوضحون ذلك من خلال مثال يتضمن سمتين متعددتين تتعلقان بالكسور والنسب، مما يبرز كيف يمكن تمثيل هذه السمات كسلسلة من السمات الثنائية التي تحافظ على علاقة شرطية.
تهدف الورقة إلى اقتراح إطار جديد، نموذج التشخيص المعرفي المتعدد المشبع (sp-CDM)، الذي يوسع نموذج pG-DINA الحالي من خلال تخفيف فرضية إتقان مستوى السمة المحددة (SALM). يسمح هذا النموذج الجديد بمساهمات متغيرة لمستويات السمات المختلفة في احتمالية النجاح، مما يوفر نهجًا أكثر مرونة وعمومية للسمات المتعددة. ينوي المؤلفون أيضًا اشتقاق حالات خاصة من sp-CDM، وفحص تقدير معاييره، وتطبيقه على بيانات حقيقية من تقييم التفكير النسبي. يتميز sp-CDM بقدرته على تخصيص احتمالات نجاح فريدة لمستويات السمات المختلفة، واستخدام وظائف ربط بديلة، وإظهار العلاقات الرياضية مع النماذج الموجودة، مما يسهم بشكل كبير في الأدبيات المتعلقة بالتشخيص المعرفي.
النتائج
في قسم النتائج، تم تقييم أداء نموذج التشخيص المعرفي المتعدد المشبع (sp-CDM) تحت ظروف متغيرة، تحديدًا لـ $K = 3$. تشير النتائج، الموضحة في الأشكال 2 و3، إلى أن sp-CDM يستعيد المعلمات بشكل فعال مع تحيز ضئيل (يتراوح من -0.007 إلى 0.000) وأخطاء جذر متوسط المربعات منخفضة (RMSEs) (بين 0.000 و0.009)، خاصة عند استخدام عناصر عالية الجودة. تكشف دقة التصنيف، كما هو موضح في الجداول 5 و6 و7، عن نسب عالية من السمات المصنفة بشكل صحيح (PCA) والمتجهات (PCV)، حيث تصل القيم للعناصر عالية الجودة إلى 96.9% لـ PCA و89.3% لـ PCV.
بالمقابل، أدى ملاءمة نماذج مخفضة مثل النموذج الإضافي الكامل (f A-M) ونموذج المدخلات الحتمية العامة، نموذج “البوابة” الضوضائية (pG-DINA) إلى تحيزات أكبر وRMSEs، بالإضافة إلى قيم أقل لـ PCA وPCV، خاصة تحت ظروف عالية الجودة. من الجدير بالذكر أنه عندما تم تطبيق sp-CDM على بيانات تم إنشاؤها من هذه النماذج المخفضة، كانت مقاييس الأداء متوافقة بشكل وثيق مع تلك التي تم الحصول عليها من النموذج الحقيقي، مما يشير إلى أن sp-CDM هو خيار أكثر أمانًا عندما يكون النموذج الحقيقي غير مؤكد. أشارت تحليلات إضافية إلى أن الاختبارات الأكثر معلوماتية، حتى مع أحجام عينات أصغر، يمكن أن تؤدي إلى تقديرات أفضل لمعلمات العناصر، مما يبرز أهمية تصميم الاختبار في التشخيص المعرفي. بشكل عام، تؤكد النتائج على قوة sp-CDM وآثاره العملية لتشخيص إتقان الطلاب بدقة في التقييمات التعليمية.
المناقشة
تقدم قسم المناقشة في ورقة البحث نموذج التشخيص المعرفي المتعدد المشبع (sp-CDM)، الذي يعمم نماذج التشخيص المعرفي الحالية (CDMs) للسمات المتعددة من خلال السماح بوظائف ربط متنوعة (هوية، لوغاريتم، ولوغ). يستوعب إطار sp-CDM سمات ومستويات متعددة، مما يوفر نهجًا أكثر مرونة مقارنة بالنماذج التقليدية التي غالبًا ما تفرض افتراضات صارمة. يحدد القسم الصياغة الرياضية لـ sp-CDM، موضحًا وظائف استجابة العناصر (IRFs) وآثار الافتراضات المختلفة، مثل النماذج المشتركة، المنفصلة، والإضافية.
تُبرز مرونة sp-CDM من خلال قدرته على استيعاب النماذج الموجودة كحالات خاصة، مما يعزز قابليته للتطبيق في التقييمات التعليمية. كما تؤكد المناقشة على التحديات المرتبطة بتقدير المعلمات بسبب تعقيد النموذج، مما يشير إلى أن النماذج الأبسط قد تكون مفضلة في بعض الأحيان. يتم الإشارة إلى دراسات المحاكاة لإظهار فعالية sp-CDM في استرداد المعلمات ومقارنة ملاءمته مع النماذج المقيدة، مما يدعو في النهاية إلى استخدامه في تقديم تغذية راجعة أكثر دقة لأغراض التعليم.
DOI: https://doi.org/10.1017/psy.2024.16
Publication Date: 2025-01-03
Author(s): Jimmy de la Torre et al.
Primary Topic: Psychometric Methodologies and Testing
Overview
The section presents an overview of the saturated polytomous cognitive diagnosis model (sp-CDM), which addresses the need for more nuanced classifications of student skills in educational settings, moving beyond binary categorizations to include multiple levels of mastery (e.g., no, basic, and advanced). The sp-CDM is positioned as a general framework that encompasses existing cognitive diagnosis models (CDMs) for polytomous attributes, demonstrating its versatility through mathematical relationships that link it to these existing models.
The authors propose algorithms for estimating the parameters of the sp-CDM and conduct a simulation study to assess the model’s parameter recovery capabilities. This study also highlights the potential pitfalls of using constrained or overly complex polytomous-attribute CDMs. Additionally, a real-data example is provided to illustrate the practical applications and benefits of the sp-CDM in educational assessments, reinforcing its relevance in accurately diagnosing student competencies.
Introduction
The introduction of this paper discusses the limitations of existing cognitive diagnosis models (CDMs) that primarily focus on dichotomous attributes, which categorize student mastery into binary outcomes. The authors argue for the necessity of polytomous attributes, which allow for more nuanced classifications, such as levels of mastery in skills like proportional reasoning. They illustrate this with an example involving two polytomous attributes related to fractions and ratios, highlighting how these can be represented as a series of dichotomous attributes that maintain a prerequisite relationship.
The paper aims to propose a new framework, the saturated polytomous cognitive diagnosis model (sp-CDM), which extends the existing pG-DINA model by relaxing the assumption of specific attribute level mastery (SALM). This new model allows for varying contributions of different attribute levels to the success probability, thus providing a more flexible and general approach to polytomous attributes. The authors also intend to derive special cases of the sp-CDM, examine its parameter estimation, and apply it to real data from a proportional reasoning assessment. The sp-CDM is characterized by its ability to assign unique success probabilities to different attribute levels, utilize alternative link functions, and demonstrate mathematical relationships with existing models, thereby contributing significantly to the literature on cognitive diagnosis.
Results
In the results section, the performance of the saturated polytomous cognitive diagnosis model (sp-CDM) was evaluated under varying conditions, specifically for $K = 3$. The findings, illustrated in Figures 2 and 3, indicate that the sp-CDM effectively recovers parameters with minimal bias (ranging from -0.007 to 0.000) and low root mean square errors (RMSEs) (between 0.000 and 0.009), particularly when high-quality items are used. The classification accuracy, as shown in Tables 5, 6, and 7, reveals high percentages of correctly classified attributes (PCA) and vectors (PCV), with values for high-quality items reaching up to 96.9% for PCA and 89.3% for PCV.
In contrast, fitting reduced models such as the fully additive model (f A-M) and the generalized deterministic input, noisy “and” gate model (pG-DINA) resulted in larger biases and RMSEs, as well as lower PCA and PCV values, especially under high-quality conditions. Notably, when the sp-CDM was applied to data generated from these reduced models, the performance metrics aligned closely with those obtained from the true model, suggesting that the sp-CDM is a safer choice when the true model is uncertain. Additional analyses indicated that more informative tests, even with smaller sample sizes, can yield better item parameter estimates, emphasizing the importance of test design in cognitive diagnosis. Overall, the results underscore the sp-CDM’s robustness and practical implications for accurately diagnosing student mastery in educational assessments.
Discussion
The discussion section of the research paper introduces the saturated polytomous cognitive diagnosis model (sp-CDM), which generalizes existing cognitive diagnosis models (CDMs) for polytomous attributes by allowing for various link functions (identity, logit, and log). The sp-CDM framework accommodates multiple attributes and levels, providing a more flexible approach compared to traditional models that often impose stringent assumptions. The section outlines the mathematical formulation of the sp-CDM, detailing the item response functions (IRFs) and the implications of different assumptions, such as conjunctive, disjunctive, and additive models.
The sp-CDM’s versatility is highlighted through its ability to encompass existing models as special cases, thereby enhancing its applicability in educational assessments. The discussion also emphasizes the challenges associated with parameter estimation due to the model’s complexity, suggesting that simpler models may sometimes be preferable. Simulation studies are referenced to demonstrate the effectiveness of the sp-CDM in recovering parameters and comparing its fit against constrained models, ultimately advocating for its use in providing finer-grained feedback for instructional purposes.