DOI: https://doi.org/10.1016/j.compedu.2025.105511
تاريخ النشر: 2025-11-26
المؤلف: Eman AlGhamdi وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في التعليم
نظرة عامة
تستكشف هذه الدراسة فعالية نماذج اللغة الكبيرة (LLMs)، وبالتحديد GPT-4o، في تقديم تقييمات شخصية وتعليقات للمهام المفتوحة للدراسات العليا. تفحص استراتيجيتين للتوجيه: تركيب التوجيه (التقييم والتعليقات معًا) وتفكيك التوجيه (التقييم يليه التعليقات)، بالإضافة إلى تأثير ترتيب المهام على الأداء. كشفت التحليلات أن فعالية التوجيه تختلف عبر مستويات أداء الطلاب، حيث أسفرت توجيهات تفكيك-التقييم-أول عن نتائج أفضل قليلاً للمهام ذات الأداء العالي، بينما كانت توجيهات تركيب-التقييم-أول أكثر فعالية للمهام ذات الأداء المنخفض.
فيما يتعلق بجودة التعليقات، كانت استجابات GPT-4o تتماشى بشكل أقرب مع مبادئ التعليقات المتمحورة حول المتعلم مقارنة بالمعلمين البشريين. أثر ترتيب المهام على طبيعة التعليقات؛ حيث أن التوجيهات التي أعطت الأولوية للتعليقات عززت استقلالية المتعلم، بينما تلك التي أعطت الأولوية للتقييم عززت العلاقة بين الطالب والمعلم. تؤكد هذه النتائج على إمكانية GPT-4o في تعزيز التعليم الشخصي من خلال تقديم تعليقات مخصصة وتقترح تداعيات تصميمية لأنظمة التقييم التكيفية التي تتماشى مع كفاءة الطلاب واحتياجاتهم من الوكالة.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على الطلب المتزايد على التعلم الشخصي في التعليم، لا سيما في الدورات التي تتطلب الكتابة بشكل مكثف، مما زاد من الحاجة إلى تقييمات وتعليقات فردية في الوقت المناسب. ظهرت أنظمة تقييم المقالات الآلية (AES) كحلول قابلة للتوسع، حيث أظهرت أداءً قويًا على مجموعات بيانات التقييم المعتمدة. ومع ذلك، فإن الأساليب التقليدية في التعلم الآلي والتعلم العميق لها قيود، مثل الاعتماد على مجموعات بيانات موسومة كبيرة والتحديات في الحفاظ على التماسك في المقالات الأطول. تقدم التطورات الأخيرة في نماذج اللغة الكبيرة التوليدية (LLMs)، لا سيما التعلم القائم على التوجيه مع نماذج مثل GPT-4، فرصًا جديدة للمعلمين لتنفيذ أدوات الذكاء الاصطناعي دون الحاجة إلى خبرة تقنية واسعة.
تهدف الدراسة إلى استكشاف كيفية تعامل نماذج LLMs القائمة على التوجيه بشكل فعال مع كل من التقييم وتوليد التعليقات لمهام المقالات المفتوحة في التعليم العالي، مع معالجة الطبيعة المترابطة لهذه المهام كما يؤديها المعلمون البشريون. تركز أسئلة البحث على تأثير تركيب المهام (توجيهات مشتركة مقابل منفصلة) وترتيب المهام (التقييم أولاً مقابل التعليقات أولاً) على أداء LLM. باستخدام مجموعة بيانات تضم 214 اقتراح مشروع للدراسات العليا، تقيم الدراسة أداء GPT-4o في التقييم الآلي وجودة التعليقات المولدة، كاشفة عن رؤى حول كيفية تأثير تصميم التوجيه على دقة التقييم وتوليد تعليقات مخصصة ومتمحورة حول المتعلم. من المتوقع أن تُفيد النتائج في تطوير أنظمة تقييم تعاونية وتكيفية تعزز التجربة التعليمية.
الطرق
في هذه الدراسة، بحث المؤلفون تأثير كمية المهام وترتيب العرض على دقة التقييم وجودة التعليقات من خلال استخدام أربعة تكوينات توجيهية متميزة. تضمنت هذه التكوينات: (1) تركيب-التقييم-أول، حيث يُطلب تقييم شامل (0-15) قبل التعليقات؛ (2) تركيب-التعليقات-أول، الذي يولد تعليقات قبل التقييم؛ (3) تفكيك-التقييم-أول، حيث يُطلب التقييم والتعليقات في توجيهين منفصلين، مع حدوث التقييم أولاً؛ و(4) تفكيك-التعليقات-أول، الذي يقدم التعليقات أولاً، يليه توجيه تقييم منفصل.
لضمان الاتساق في المخرجات من GPT-4o، تم تنفيذ كل توجيه خمس مرات لكل اقتراح، وتم حساب النتائج كمتوسط (المتوسط ± الانحراف المعياري). تم تثبيت معلمات GPT-4o (درجة الحرارة = 0، top-p = 0.01) لتقليل التباين، وتم معالجة كل اقتراح من خلال مكالمات API فردية لتجنب تسرب السياق. يتم توضيح تفاصيل توجيه تركيب-التقييم-أول في الشكل 2، مع توفر توجيهات إضافية في الملحق A.
النتائج
في معالجة سؤال البحث 2 (RQ2)، بحثت الدراسة تأثير ترتيب المهام وعدد المهام في توجيه على جودة التعليقات التي تم توليدها بواسطة GPT-4o، باستخدام إطار عمل التعليقات المتمحورة حول المتعلم (Ryan et al., 2023) كمعيار قياس. كشفت النتائج أن GPT-4o أنتج عناصر تدعم الوكالة، مثل المكون النشط وتعزيز العلاقة، بشكل أكثر تكرارًا من التعليقات التي أنشأها البشر. بشكل محدد، كانت التوجيهات المهيكلة كتركيب-التقييم-أول وتفكيك-التقييم-أول تحقق أعلى معدلات لمكون تعزيز العلاقة (66.4% و66.8%، على التوالي)، مما يشير إلى أن التوجيهات التي تعطي الأولوية للتقييم تعزز نغمة أكثر علاقة. على العكس، كانت التوجيهات التي تعطي الأولوية للتعليقات أكثر فعالية في تعزيز استقلالية المتعلم، حيث ظهر المكون النشط في تفكيك-التعليقات-أول (32.7%) في أغلب الأحيان.
على الرغم من النتائج الإيجابية في المكونات المتعلقة بالوكالة، أظهرت عناصر التعليقات المتمحورة حول المتعلم الأخرى تباينًا ضئيلًا عبر التوجيهات المختلفة. تضمنت جميع التوجيهات باستمرار اقتراحات للتحسين المستقبلي وتحديد نقاط القوة والضعف (100%)، بينما كان مكون ملخص الأداء موجودًا في 37%-39% فقط من الحالات. من الجدير بالذكر أن GPT-4o تفوق على المعلمين البشريين في هذا الجانب، حيث أدرجوه في 1.4% فقط من التعليقات. ومع ذلك، أظهرت كل من تعليقات GPT-4o والبشر نقصًا كبيرًا في تقديم تعليقات داعمة عاطفيًا، حيث كان مكون التأكيد والتشجيع غائبًا تقريبًا في الاستجابات التي تم إنشاؤها بواسطة النموذج (< 1%) وكان موجودًا في 3.3% فقط من تعليقات البشر. بالإضافة إلى ذلك، كان مكون نتائج التعلم مفقودًا تمامًا من كلا المصدرين، مما يبرز مجالًا حرجًا للتحسين في تقديم تعليقات داعمة عاطفيًا ومتوافقة مع التعلم.
المناقشة
تسلط قسم المناقشة من الورقة البحثية الضوء على تطور تقييم المقالات الآلي (AES) من الأساليب الإحصائية التقليدية إلى تقنيات التعلم الآلي المتقدمة، مع التركيز بشكل خاص على قدرات النماذج القائمة على المحولات مثل GPT-4. لقد أظهر هذا النموذج أداءً متفوقًا في التقييم الآلي، لا سيما عندما يتم دعمه بمقاييس التقييم والأمثلة، مما يشير إلى إمكانيته في تعزيز أنظمة التقييم الآلي. ومع ذلك، فإن المشهد الحالي لـ AES يركز بشكل أساسي على مجموعات البيانات التي تقيم المهارات الكتابية الأساسية بدلاً من الجودة الجوهرية للمقالات في التعليم العالي، مما يمثل فجوة كبيرة في الأدبيات.
علاوة على ذلك، يبرز القسم أهمية جودة التعليقات في السياقات التعليمية، مشيرًا إلى أن التعليقات الفعالة أكثر فائدة لتعلم الطلاب من مجرد التقييم. بينما أظهرت الدراسات الأخيرة أن نماذج اللغة الكبيرة (LLMs) مثل ChatGPT يمكن أن تولد تعليقات مفصلة، لا يزال هناك نقص في العمق في تعزيز مشاركة الطلاب وملكية عملية التعلم. تدعو الورقة إلى إطار عمل للتعليقات المتمحورة حول المتعلم الذي يركز على وكالة الطلاب والمشاركة النشطة، مقترحة أن يتم تصور التعليقات كتفاعل ثنائي الاتجاه بدلاً من تعليق تقييمي أحادي الاتجاه. تهدف الدراسة إلى استكشاف كيفية استخدام نماذج LLMs القائمة على التوجيه لتوليد تعليقات مخصصة وذات مغزى للتقييمات المفتوحة، وبالتالي معالجة الفجوات المحددة في ممارسات AES الحالية.
القيود
تناقش هذه القسم قيود الدراسة وتقترح مجالات للبحث المستقبلي. تتمثل القيود الرئيسية المحددة في مجموعة البيانات الصغيرة، التي تم اشتقاقها من دورة دراسات عليا واحدة. يحد هذا من إمكانية تعميم النتائج، حيث قد تتأثر بالموضوع المحدد والسياق الأكاديمي. بالإضافة إلى ذلك، فإن التصنيف الثنائي للطلاب إلى أداء عالٍ ومنخفض، بسبب حجم العينة المحدود، قيد قدرة التحليل على اكتشاف التباينات الدقيقة في فعالية التوجيه عبر مستويات الأداء المختلفة.
علاوة على ذلك، بينما تم تقييم التعليقات من منظور متمحور حول المتعلم، ركز التقييم بشكل أساسي على وجود مكونات التعليقات، متجاهلاً اعتبارات سياقية وأخلاقية مهمة مثل الوضوح، والملاءمة، ودقة المحتوى الذي تم إنشاؤه بواسطة النموذج. لمعالجة هذه القيود، يجب أن تستخدم الأبحاث المستقبلية مجموعات بيانات أكبر وأكثر تنوعًا لتحسين قوة وملاءمة النتائج. سيمكن ذلك من إجراء تحليلات أكثر تفصيلًا لفعالية التوجيه وسلوكيات النموذج، بالإضافة إلى تحسين التوجيهات لتعزيز جودة التعليقات. بالإضافة إلى ذلك، يُوصى بتبني أطر تقييم أوسع لجودة التعليقات لتشمل عوامل تتجاوز مجرد وجود المكونات.
DOI: https://doi.org/10.1016/j.compedu.2025.105511
Publication Date: 2025-11-26
Author(s): Eman AlGhamdi et al.
Primary Topic: Artificial Intelligence in Education
Overview
This study explores the effectiveness of large language models (LLMs), specifically GPT-4o, in providing personalized scoring and feedback for postgraduate open-ended assessments. It examines two prompting strategies: prompt composition (scoring and feedback together) and prompt decomposition (scoring followed by feedback), as well as the impact of task order on performance. The analysis revealed that prompt effectiveness varied across student performance levels, with Decomposition-Scoring-First prompts yielding slightly better results for high-performing submissions, while Composition-Scoring-First prompts were more effective for lower-performing ones.
In terms of feedback quality, GPT-4o-generated responses aligned more closely with learner-centered feedback principles compared to human educators. The order of tasks influenced the nature of the feedback; prompts that prioritized feedback fostered greater learner autonomy, while those that prioritized scoring reinforced the student-teacher connection. These findings underscore GPT-4o’s potential to enhance personalized education by providing tailored feedback and suggest design implications for adaptive assessment systems that align scoring and feedback with students’ proficiency and agency needs.
Introduction
The introduction of this research paper highlights the increasing demand for personalized learning in education, particularly in writing-intensive courses, which has intensified the need for timely, individualized assessments and feedback. Automated Essay Scoring (AES) systems have emerged as scalable solutions, demonstrating strong performance on established evaluation datasets. However, traditional machine learning and deep learning approaches have limitations, such as reliance on large annotated datasets and challenges in maintaining coherence in longer essays. Recent advancements in generative Large Language Models (LLMs), particularly prompt-based learning with models like GPT-4, present new opportunities for educators to implement AI tools without extensive technical expertise.
The study aims to explore how prompt-based LLMs can effectively handle both scoring and feedback generation for open-ended essay tasks in higher education, addressing the interrelated nature of these tasks as performed by human educators. The research questions focus on the impact of task composition (joint vs. separate prompts) and the order of tasks (scoring-first vs. feedback-first) on LLM performance. Utilizing a dataset of 214 postgraduate project proposals, the study evaluates the performance of GPT-4o in automated scoring and the quality of generated feedback, revealing insights into how prompt design influences both scoring accuracy and the generation of personalized, learner-centered feedback. The findings are expected to inform the development of adaptive, collaborative assessment systems that enhance the educational experience.
Methods
In this study, the authors investigated the impact of task quantity and presentation order on scoring accuracy and feedback quality by employing four distinct prompting configurations. These configurations included: (1) Composition-Scoring-First, where a holistic score (0-15) is requested before feedback; (2) Composition-Feedback-First, which generates feedback prior to scoring; (3) Decomposition-Scoring-First, where scoring and feedback are requested in two separate prompts, with scoring occurring first; and (4) Decomposition-Feedback-First, which provides feedback first, followed by a separate scoring prompt.
To ensure consistency in the outputs from GPT-4o, each prompt was executed five times per proposal, and results were averaged (mean ± SD). The parameters of GPT-4o were fixed (temperature = 0, top-p = 0.01) to minimize variability, and each proposal was processed through individual API calls to avoid context leakage. The details of the Composition-Scoring-First prompt are illustrated in Figure 2, with additional prompts available in Appendix A.
Results
In addressing Research Question 2 (RQ2), the study investigated the impact of task order and the number of tasks in a prompt on the quality of feedback generated by GPT-4o, utilizing the Learner-centered Feedback framework (Ryan et al., 2023) as a measurement standard. The findings revealed that GPT-4o produced agency-supportive elements, such as the Active Role and Strengthen Relationship components, more frequently than human-generated feedback. Specifically, prompts structured as Composition-Scoring-First and Decomposition-Scoring-First yielded the highest rates of the Strengthen Relationship component (66.4% and 66.8%, respectively), indicating that scoring-first prompts foster a more relational tone. Conversely, Feedback-First prompts were more effective in promoting learner autonomy, with the Active Role component appearing most often in Decomposition-Feedback-First (32.7%).
Despite the positive outcomes in agency-related components, other learner-centered feedback elements showed minimal variation across different prompts. All prompts consistently included Future Improvement suggestions and identification of Strengths and Weaknesses (100%), while the Performance Summary component was present in only 37%-39% of instances. Notably, GPT-4o outperformed human educators in this aspect, as the latter included it in only 1.4% of feedback. However, both GPT-4o and human feedback exhibited significant deficiencies in providing emotionally supportive feedback, with the Affirm and Encourage component nearly absent in model-generated responses (< 1%) and present in only 3.3% of human feedback. Additionally, the Learning Outcomes component was entirely missing from both sources, highlighting a critical area for improvement in delivering emotionally supportive and learning-aligned feedback.
Discussion
The discussion section of the research paper highlights the evolution of Automated Essay Scoring (AES) from traditional statistical methods to advanced machine learning techniques, particularly emphasizing the capabilities of transformer-based models like GPT-4. This model has demonstrated superior performance in automated grading, particularly when supplemented with scoring rubrics and examples, indicating its potential to enhance automated assessment systems. However, the current AES landscape is primarily focused on datasets that evaluate basic writing skills rather than the substantive quality of essays in higher education, which presents a significant gap in the literature.
Furthermore, the section underscores the importance of quality feedback in educational contexts, noting that effective feedback is more beneficial for student learning than mere scoring. While recent studies have shown that large language models (LLMs) like ChatGPT can generate detailed feedback, there remains a lack of depth in fostering student engagement and ownership of the learning process. The paper advocates for a learner-centered feedback framework that emphasizes student agency and active participation, suggesting that feedback should be conceptualized as a two-way interaction rather than a one-way evaluative commentary. The study aims to explore how prompt-based LLMs can be utilized to generate personalized, meaningful feedback for open-ended assessments, thereby addressing the identified gaps in current AES practices.
Limitations
This section discusses the limitations of the study and suggests avenues for future research. The primary limitation identified is the small dataset, which was derived from a single postgraduate-level course. This restricts the generalizability of the findings, as they may be influenced by the specific subject matter and academic context. Additionally, the binary classification of students into high and low performers, due to the limited sample size, constrained the analysis’s ability to detect nuanced variations in prompt effectiveness across different performance levels.
Furthermore, while the feedback was evaluated from a learner-centered perspective, the assessment focused primarily on the presence of feedback components, neglecting important contextual and ethical considerations such as clarity, relevance, and the accuracy of model-generated content. To address these limitations, future research should utilize larger and more diverse datasets to improve the robustness and applicability of the findings. This would enable more detailed analyses of prompt effectiveness and model behaviors, as well as the refinement of prompts to enhance the quality of feedback. Additionally, adopting broader evaluation frameworks for feedback quality is recommended to encompass factors beyond mere component presence.