DOI: https://doi.org/10.3389/fpsyg.2026.1739222
PMID: https://pubmed.ncbi.nlm.nih.gov/41987987
تاريخ النشر: 2026-03-31
المؤلف: Di Wu وآخرون
الموضوع الرئيسي: تقييم الطلاب والتغذية الراجعة
نظرة عامة
تستكشف هذه الدراسة فعالية إطار تقييم تعاوني مدعوم بالذكاء الاصطناعي في تعزيز الحكم التقييمي بين طلاب الدراسات العليا. تفترض أن التقييم الفعال في التعليم العالي يتطلب دمج معايير جودة متعددة مع إدارة التحيزات الذاتية. تستخدم البحث منهجًا مختلطًا لتقييم 121 ورقة بحثية من طلاب الدراسات العليا عبر أربعة شروط تقييم: الطلاب فقط، الذكاء الاصطناعي فقط، الذكاء الاصطناعي المعزز بالاسترجاع، والتقييم التعاوني المدعوم بالذكاء الاصطناعي. تشير النتائج إلى أن النهج التعاوني يقلل بشكل كبير من الانحرافات عن تقييمات الخبراء (انخفاض متوسط الخطأ المطلق من 3.260 إلى 1.221) ويعزز اتساق التقييم بين المقيمين. تكشف التحليلات السلوكية أن الطلاب المتقدمين يظهرون مراقبة ميتا-معرفية أكثر تقدمًا وتفكيرًا تأمليًا مقارنة بالطلاب الجدد، الذين يميلون إلى استخدام استراتيجيات استكشافية.
لا تؤكد الدراسة فقط على صحة إطار التقييم التعاوني المدعوم بالذكاء الاصطناعي، بل توضح أيضًا الآليات النفسية الكامنة وراء تطوير الحكم التقييمي. من خلال دمج معايير الخبراء وتسهيل المعايرة التأملية، يعمل الإطار كأداة تقييم وموارد تربوية، مما يعزز التنظيم الميتا-معرفي والكفاءة التقييمية المستقلة. يبرز هذا التركيز المزدوج إمكانيات التعاون بين الإنسان والذكاء الاصطناعي في السياقات التعليمية، مقترحًا أن الذكاء الاصطناعي يمكن أن يعمل كشريك تعلم يدعم الحكم التأملي ويعزز ممارسات التعلم الأعمق. يوصي المؤلفون بمزيد من البحث لمعالجة القيود المنهجية واستكشاف قابلية تطبيق الإطار عبر بيئات تعليمية متنوعة.
مقدمة
تؤكد مقدمة ورقة البحث على الدور الحاسم لمهام ورقة البحث في التعليم العالي، مشددة على تأثيرها على الحكم التقييمي للطلاب، والتفكير التأملي، والتطور الأكاديمي العام. تجادل بأن التقييم يجب أن يُنظر إليه كعملية تتطلب جهدًا معرفيًا تعزز انخراط الطلاب مع معايير التقييم بدلاً من كونه مجرد آلية للتقدير. يقدم دمج الذكاء الاصطناعي (AI) في ممارسات التقييم فرصًا وتحديات، خاصة في تعزيز العمليات المعرفية والميتا-معرفية أثناء التقييم. بينما يمكن أن توفر أنظمة الذكاء الاصطناعي، وخاصة نماذج اللغة الكبيرة (LLMs)، ملاحظات قائمة على المعايير، إلا أنها لا تزال تواجه قيودًا في تقييم الأبعاد العليا مثل الأصالة وجودة الحجة.
تقترح الدراسة أن التقييم التعاوني المدعوم بالذكاء الاصطناعي يمكن أن يعمل كبيئة منظمة للطلاب لممارسة التقييم، وتلقي ملاحظات فورية، واستيعاب معايير الخبراء. من خلال تأطير هذه العملية ضمن نظرية الحكم التقييمي والتعلم الذاتي المنظم (SRL)، تهدف الدراسة إلى استكشاف كيف يمكن للذكاء الاصطناعي تسهيل تطوير الحكم التقييمي من خلال عملية دورية من التخطيط، والمراقبة، والتفكير. تحدد الورقة ثلاثة أسئلة بحث رئيسية تركز على تأثير الذكاء الاصطناعي على دقة التقييم، والاختلافات بين التقييمات المدعومة بالذكاء الاصطناعي وتقييمات الخبراء، وتطور استراتيجيات تفاعل طلاب الدراسات العليا مع الذكاء الاصطناعي بمرور الوقت. في النهاية، تسعى الدراسة لإظهار أن الذكاء الاصطناعي يمكن أن يعزز ليس فقط موثوقية التقييم ولكن أيضًا عملية التعلم المعنية في التقييم الأكاديمي، مما يعزز وعي الطلاب الميتا-معرفي وقراءة التقييم.
الطرق
تحدد قسم المنهجية في الدراسة تصميمًا مختلطًا يهدف إلى التحقيق في تفاعلات الطلاب مع الذكاء الاصطناعي والعمليات المعرفية أثناء تقييم الأوراق. تم تقسيم الإجراء التجريبي إلى مرحلتين، تضمنا تحليلات كمية ونوعية. تضمنت المرحلة الكمية مقارنات داخل الموضوع عبر أربعة شروط تقييم: الطلاب فقط، الذكاء الاصطناعي فقط، الذكاء الاصطناعي مع توليد معزز بالاسترجاع (RAG)، ومعايير الخبراء. قام ما مجموعه 121 طالبًا بتقييم أوراقهم باستخدام معيار موحد، يقيم أبعاد الصرامة، والأصالة، والأهمية، والاتفاق، بينما تلقوا أيضًا تقييمات من كل من نموذج ذكاء اصطناعي عام ونموذج ذكاء اصطناعي معزز بـ RAG.
في المرحلة النوعية، ركزت الدراسة على ترميز وتحليل تسلسلي لتفاعلات الطلاب مع وكيل الذكاء الاصطناعي. تم تشجيع الطلاب على تبرير درجاتهم ومقارنتها مع الملاحظات التي أنشأها الذكاء الاصطناعي، مما يعزز الحكم التأملي. سمحت حالة التقييم التعاوني المدعوم بالذكاء الاصطناعي للطلاب بالتفاعل مع الذكاء الاصطناعي في عملية التقييم، باستخدام قاعدة معرفة مستندة إلى الخبراء لتعزيز الدقة. كانت هذه المقاربة الشاملة تهدف إلى توضيح الاتساق والانحرافات في التقييم بين التقييمات البشرية وتقييمات الذكاء الاصطناعي، بينما تستكشف أيضًا العمليات المعرفية المعنية في مهام التقييم.
النتائج
يقدم قسم النتائج في الدراسة نتائج مهمة تتعلق بتنفيذ استراتيجيات التقييم التعاوني المدعوم بالذكاء الاصطناعي في الإرشاد الأكاديمي. تستخدم الدراسة تحليلات إحصائية تم إجراؤها عبر SPSS، بما في ذلك إحصائيات وصفية لت quantifying الفروق بين تقييمات الخبراء ومصادر التقييم البديلة، باستخدام مقاييس مثل متوسط الخطأ المطلق (MAE)، وجذر متوسط مربع الخطأ (RMSE)، ومتوسط الخطأ النسبي المطلق (MAPE). تكشف تحليلات الارتباط لبيرسون عن ارتباطات بين تقييمات الخبراء وتلك التي تم إنشاؤها تحت ظروف تقييم مختلفة، بينما تقيم اختبارات t لعينة مزدوجة الفروق النظامية، مدعومة باختبارات شابيرو-ويلك التي تؤكد على طبيعة الفروق المزدوجة.
تشير النتائج الرئيسية إلى أن التقييمات التي يقودها الطلاب، عند مقارنتها بتلك التي تم إجراؤها من خلال التعاون القائم على RAG، تعزز بشكل كبير دقة وموثوقية التقييم عبر أبعاد مثل الصرامة، والأصالة، والأهمية، والاتفاقيات. بالإضافة إلى ذلك، تبرز الدراسة التأثير التحويلي للإرشاد المدعوم بالذكاء الاصطناعي على سلوكيات استفسار الطلاب، موضحة دور الوكيل في تطوير التفكير الأكاديمي والكفاءة التقييمية. تؤكد التحليلات المقارنة بين الذكاء الاصطناعي بدون RAG، والتقييم التعاوني المدعوم بالذكاء الاصطناعي، وتقييمات الخبراء على فعالية الاستراتيجيات التعاونية في عكس أنماط تقييم الخبراء وتحسين نتائج التقييم، مما يوفر دعمًا تجريبيًا ورؤى قابلة للتنفيذ لتعزيز ممارسات الإرشاد الأكاديمي.
المناقشة
تستكشف قسم المناقشة في ورقة البحث الأسس النفسية للحكم التقييمي في التقييم الأكاديمي المدعوم بالذكاء الاصطناعي، مشددة على أن هذه العملية نفسية بطبيعتها، تتطلب من المتعلمين تفسير معايير الجودة والانخراط في التفكير التأملي. يدمج المؤلفون أطر نظرية متنوعة، مثل نظرية الحكم التقييمي، والتعلم الذاتي المنظم، ونظرية الحمل المعرفي، لتوضيح كيف يمكن للطلاب تطوير القدرة على تقييم الأعمال الأكاديمية بشكل مستقل. يبرزون أنه بينما يمكن للذكاء الاصطناعي تخفيف الحمل المعرفي من خلال هيكلة مهام التقييم، فإن العديد من الدراسات تفتقر إلى أساس نظري قوي، خاصة فيما يتعلق بالجوانب التحفيزية للتعلم الذاتي المنظم. يحذر المؤلفون من الاعتماد المفرط على الذكاء الاصطناعي، والذي قد يقلل من الانخراط الميتا-معرفي ويفصل الأداء عن نتائج التعلم.
كما ينتقد القسم التقييم البشري التقليدي ومراجعة الأقران، مشيرًا إلى التحديات مثل إرهاق المقيمين، والذاتية، وعدم الاتساق في تطبيق المعايير، مما قد يضر بالموثوقية والعدالة. بينما يمكن أن تعزز مراجعة الأقران التعلم من خلال الممارسة التقييمية، فإنها غالبًا ما تعوقها التباينات في جودة الملاحظات وتطبيق معايير التقييم. يجادل المؤلفون بإمكانية التدخلات المدعومة بالذكاء الاصطناعي لتسوية الحاجة إلى الاتساق مع الانخراط التكويني، مقترحين أن النماذج التعاونية التي تدمج قدرات الإنسان والذكاء الاصطناعي يمكن أن تعزز موثوقية التقييمات مع الحفاظ على السلطة التفسيرية للمقيمين البشريين. يقترحون إطار تقييم تعاوني مدعوم بالذكاء الاصطناعي ينطوي بنشاط على الطلاب في عملية التقييم، مما يعزز حكمهم التقييمي ومهارات التفكير التأملي بينما يعالج قيود كل من أنظمة التقييم التقليدية والآلية.
القيود
تسلط القيود في الدراسة حول التقييم التعاوني المدعوم بالذكاء الاصطناعي الضوء على عدة عوامل تؤثر على قابلية تعميم النتائج وصلاحيتها البيئية. أولاً، تم إجراء البحث مع عينة محدودة من طلاب الماجستير في تكنولوجيا التعليم من جامعة واحدة في الصين، مما قد يقيد قابلية تطبيق النتائج على تخصصات أكاديمية أخرى أو سياقات ثقافية. كما أن التركيز على كتابة المقالات الأكاديمية المنظمة يحد من النطاق، حيث لم يتم فحص مهام أكاديمية أكثر تعقيدًا، مثل الأطروحات أو المشاريع متعددة التخصصات. بالإضافة إلى ذلك، تم تصميم الدراسة بشكل أساسي لالتقاط تأثيرات التفاعل على المدى القصير، مما يفتقر إلى بيانات طولية لتقييم استمرارية التحسينات في التفكير التقييمي بمرور الوقت.
علاوة على ذلك، فإن الاعتماد على السلوكيات القابلة للملاحظة لاستنتاج البنى النفسية الأساسية، دون قياس مباشر من خلال أدوات موثوقة، يضعف الادعاءات السببية المتعلقة بالآليات المعرفية. كما أن التحيزات المحتملة من معايير التقييم وقوالب المحفزات، بالإضافة إلى استخدام مقيم خبير واحد للتقييمات، تعقد النتائج أكثر. لاحظت الدراسة أيضًا أن التقييمات الذاتية من قبل الطلاب قد تُدخل تحيزات، على الرغم من بذل الجهود لمعايرة هذه التقييمات مقابل تقييمات الخبراء. وبالتالي، يوصي المؤلفون بمزيد من البحث للتحقق من صحة الإطار عبر سياقات تعليمية متنوعة، ودمج التصاميم الطولية، وتعزيز الصرامة المنهجية لمعالجة هذه القيود وتحسين فهم دور الذكاء الاصطناعي في تعزيز المهارات التقييمية العليا.
DOI: https://doi.org/10.3389/fpsyg.2026.1739222
PMID: https://pubmed.ncbi.nlm.nih.gov/41987987
Publication Date: 2026-03-31
Author(s): Di Wu et al.
Primary Topic: Student Assessment and Feedback
Overview
This study investigates the efficacy of an AI-supported collaborative marking framework in enhancing evaluative judgment among graduate students. It posits that effective assessment in graduate education necessitates the integration of multiple quality criteria while managing subjective biases. The research employs a mixed-method approach to evaluate 121 graduate research papers across four marking conditions: student-only, AI-only, retrieval-augmented AI, and AI-supported collaborative marking. Findings indicate that the collaborative approach significantly reduces deviations from expert ratings (mean absolute error decreasing from 3.260 to 1.221) and enhances inter-rater consistency. Behavioral analyses reveal that senior students exhibit more advanced metacognitive monitoring and reflective reasoning compared to juniors, who tend to use exploratory strategies.
The study not only validates the AI-supported collaborative marking framework but also elucidates the psychological mechanisms underlying evaluative judgment development. By integrating expert criteria and facilitating reflective calibration, the framework serves as both an assessment tool and a pedagogical resource, promoting metacognitive regulation and independent evaluative competence. This dual focus highlights the potential of human-AI collaboration in educational contexts, suggesting that AI can act as a learning partner that scaffolds reflective judgment and fosters deeper learning practices. The authors recommend further research to address methodological limitations and explore the framework’s applicability across diverse educational settings.
Introduction
The introduction of the research paper emphasizes the critical role of research paper assignments in graduate education, highlighting their impact on students’ evaluative judgment, reflective reasoning, and overall academic development. It argues that assessment should be viewed as a cognitively demanding process that fosters students’ engagement with evaluation criteria rather than merely a grading mechanism. The integration of artificial intelligence (AI) in assessment practices presents both opportunities and challenges, particularly in enhancing cognitive and metacognitive processes during evaluation. While AI systems, especially large language models (LLMs), can provide rubric-based feedback, they still face limitations in assessing higher-order dimensions such as originality and argument quality.
The study proposes that AI-supported collaborative marking can serve as a structured environment for students to practice assessment, receive immediate feedback, and internalize expert standards. By framing this process within evaluative judgment theory and self-regulated learning (SRL), the research aims to explore how AI can facilitate the development of evaluative judgment through a cyclical process of planning, monitoring, and reflection. The paper outlines three key research questions focused on the impact of AI on assessment accuracy, the differences between AI-supported and expert assessments, and the evolution of graduate students’ interaction strategies with AI over time. Ultimately, the study seeks to demonstrate that AI can enhance not only the reliability of scoring but also the learning process involved in academic evaluation, thereby fostering students’ metacognitive awareness and assessment literacy.
Methods
The methodology section of the study outlines a mixed-methods design aimed at investigating student-AI interactions and cognitive processes during paper evaluations. The experimental procedure was divided into two stages, incorporating both quantitative and qualitative analyses. The quantitative phase involved within-subject comparisons across four evaluation conditions: student-only, AI-only, AI with retrieval-augmented generation (RAG), and expert benchmarking. A total of 121 students self-evaluated their papers using a standardized rubric, assessing dimensions of rigor, originality, significance, and convention, while also receiving evaluations from both a general AI model and an RAG-enhanced AI model.
In the qualitative phase, the study focused on coding and sequential analysis of student interactions with the AI agent. Students were encouraged to justify their scores and compare them with AI-generated feedback, fostering reflective judgment. The AI-supported collaborative marking condition allowed students to engage with the AI in the evaluation process, utilizing an expert-informed knowledge base to enhance accuracy. This comprehensive approach aimed to elucidate the consistency and deviations in scoring between human and AI evaluations, while also exploring the cognitive processes involved in the evaluation tasks.
Results
The results section of the study presents significant findings regarding the implementation of AI-supported collaborative marking strategies in academic mentoring. The research employs statistical analyses conducted via SPSS, including descriptive statistics to quantify discrepancies between expert evaluations and alternative rating sources, specifically using metrics such as mean absolute error (MAE), root mean square error (RMSE), and mean absolute percentage error (MAPE). Pearson correlation analyses reveal associations between expert ratings and those generated under various evaluation conditions, while paired-sample t-tests assess systematic differences, supported by Shapiro-Wilk tests confirming the normality of paired differences.
Key findings indicate that student-led evaluations, when compared to those conducted through RAG-based Agent collaboration, significantly enhance the accuracy and consistency of marking across dimensions such as rigor, originality, significance, and conventions. Additionally, the study highlights the transformative impact of AI-supported guidance on students’ inquiry behaviors, showcasing the Agent’s role in developing academic reasoning and evaluative competence. A comparative analysis among AI without RAG, AI-supported collaborative marking, and expert evaluations further emphasizes the effectiveness of collaborative strategies in mirroring expert scoring patterns and improving marking outcomes, thereby providing empirical support and actionable insights for enhancing academic mentoring practices.
Discussion
The discussion section of the research paper explores the psychological foundations of evaluative judgment in AI-supported academic evaluation, emphasizing that this process is inherently psychological, requiring learners to interpret quality criteria and engage in reflective reasoning. The authors integrate various theoretical frameworks, such as evaluative judgment theory, self-regulated learning, and cognitive load theory, to elucidate how students can develop the ability to assess academic work independently. They highlight that while AI can alleviate cognitive load by structuring evaluation tasks, many studies lack a solid theoretical basis, particularly regarding the motivational aspects of self-regulated learning. The authors caution against overreliance on AI, which may diminish metacognitive engagement and disconnect performance from learning outcomes.
The section also critiques traditional human scoring and peer review, noting challenges such as rater fatigue, subjectivity, and inconsistencies in applying criteria, which can compromise reliability and fairness. While peer review can enhance learning through evaluative practice, it is often hindered by variations in feedback quality and scoring criteria application. The authors argue for the potential of AI-supported interventions to reconcile the need for consistency with formative engagement, suggesting that collaborative models integrating human and AI capabilities could enhance the reliability of evaluations while preserving the interpretive authority of human raters. They propose a structured AI-supported collaborative marking framework that actively involves students in the evaluation process, fostering their evaluative judgment and reflective reasoning skills while addressing the limitations of both traditional and automated scoring systems.
Limitations
The limitations of the study on AI-supported collaborative marking highlight several factors that affect the generalizability and ecological validity of the findings. Firstly, the research was conducted with a limited sample of master’s students in educational technology from a single university in China, which may restrict the applicability of the results to other academic disciplines or cultural contexts. The focus on structured academic essay writing also limits the scope, as more complex academic tasks, such as theses or interdisciplinary projects, were not examined. Additionally, the study’s design primarily captured short-term interaction effects, lacking longitudinal data to assess the persistence of improvements in evaluative reasoning over time.
Moreover, the reliance on observable behaviors to infer core psychological constructs, without direct measurement through validated instruments, weakens causal claims regarding cognitive mechanisms. Potential biases from scoring rubrics and prompt templates, as well as the use of a single expert rater for evaluations, further complicate the findings. The study also noted that self-evaluations by students could introduce biases, although efforts were made to benchmark these against expert ratings. Consequently, the authors recommend future research to validate the framework across diverse educational contexts, incorporate longitudinal designs, and enhance methodological rigor to address these limitations and improve the understanding of AI’s role in fostering higher-order evaluative skills.