DOI: https://doi.org/10.1038/s41598-026-48656-3
PMID: https://pubmed.ncbi.nlm.nih.gov/42000830
تاريخ النشر: 2026-04-18
المؤلف: Yago Sáez وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في التعليم
نظرة عامة
تقيّم هذه المقالة تجريبيًا ستة نماذج متقدمة من اللغة الكبيرة (LLMs) لتقييم واجبات الطلاب في دورة تحليل البيانات وتعلم الآلة على مستوى الجامعة. تقارن الدراسة دقة تقييم النماذج وجودة التغذية الراجعة مقابل المعلمين البشريين باستخدام مقاييس إحصائية ودلالية. تشير النتائج إلى أن DeepSeek-R1 يتماشى بشكل أقرب مع التقييمات البشرية في كل من التقييم والتغذية الراجعة، مما يبرز فعاليته كأداة تقييم مدعومة بالذكاء الاصطناعي.
بالإضافة إلى ذلك، تقدم البحث إطار عمل يمكن تكراره لتقييم نماذج اللغة الكبيرة بشكل منهجي في تقييم التعليم العالي. يشمل هذا الإطار اختيار النموذج، وتصميم المحفزات، ومقاييس التقييم، وتحليل التكاليف، مما يضمن قابليته للتكيف مع تطوير نماذج جديدة. تهدف المنهجية إلى تزويد المعلمين والباحثين بأداة قوية لتقييم التقييم المدعوم بالذكاء الاصطناعي، مؤكدة على إمكانية الذكاء الاصطناعي التوليدي لتعزيز عمليات التقييم التقليدية في التعليم العالي الفني.
مقدمة
ت outlines مقدمة هذه الورقة البحثية هدف توفير مرجع مفصل لأساتذة التعليم العالي لاختيار نماذج اللغة الكبيرة المناسبة (LLMs) لتعزيز التقييمات في تحليل البيانات وتعلم الآلة (ML). من خلال تحليل نماذج LLMs المختلفة، تهدف الدراسة إلى مقارنة مزاياها وقيودها وتحدياتها والقضايا المحتملة، مما يساعد المعلمين في اتخاذ قرارات مستنيرة بشأن عمليات التقييم الأكاديمي.
تم تحديد هيكل الورقة، حيث تستعرض القسم 2 الأعمال ذات الصلة حول التقييم المدعوم بالذكاء الاصطناعي وتحديد التحديات الحالية في هذا المجال. يقدم القسم 3 إطار التقييم المقترح، وسياق دراسة الحالة، والمنهجية المستخدمة. يعرض القسم 4 نتائج تطبيق الإطار على ستة نماذج LLMs، ويناقش النتائج فيما يتعلق بالأدبيات الموجودة، مع تسليط الضوء على القيود، والتفكير في الآثار التربوية والمؤسسية. تختتم الورقة في القسم 5، ملخصة النتائج وتقترح مجالات للبحث المستقبلي.
الطرق
يحدد قسم المنهجية الإطار الذي تم تطويره لتقييم نماذج اللغة الكبيرة (LLMs) في سياقات التعليم العالي، مع التركيز على قابليته للتكرار والنقل. يقدم دراسة حالة محددة توضح تطبيق هذا الإطار، بما في ذلك بيئة الدورة، وواجبات الطلاب، والنماذج المختارة للتقييم، وتصميم المحفزات المستخدمة في التقييم.
بالإضافة إلى ذلك، يتناول القسم إجراءات التقييم والمقاييس المستخدمة لمقارنة الدرجات والتغذية الراجعة التي تم إنشاؤها بواسطة الذكاء الاصطناعي مقابل تلك التي أنتجها المقيمون البشريون. تهدف هذه المقاربة الشاملة إلى توفير أساس قوي لفهم فعالية نماذج LLMs في التقييم التعليمي، مما يساهم في النقاش الأوسع حول دورها في البيئات الأكاديمية.
النتائج
يوفر قسم النتائج تحليلًا شاملاً لأداء نماذج اللغة الكبيرة المختارة (LLMs) من حيث دقة التقييم العددي، وجودة التغذية الراجعة، والتكلفة الحاسوبية. من بين النماذج التي تم تقييمها، يبرز DeepSeek-R1 لتوافقه مع التقييم اليدوي، حيث لم يظهر أي اختلافات ذات دلالة إحصائية (p > 0.01) مقارنة بالتقييمات البشرية عبر كلا الممارستين (P1 و P2). على وجه التحديد، حافظ DeepSeek-R1 على متوسط خطأ مطلق (MAE) قريب من 19 نقطة، متفوقًا على نماذج أخرى مثل GPT-4o وسلسلة LLaMa، التي كانت تميل إلى المبالغة في التقييم وأظهرت انحرافات أكبر في تقييماتها.
تم استخدام اختبارات إحصائية، بما في ذلك اختبارات t المزدوجة واختبارات رتبة ويلكوكسون، للتحقق من صحة هذه النتائج. أشارت النتائج إلى أن DeepSeek-R1 هو النموذج الوحيد الذي لم يظهر اختلافًا كبيرًا عن الدرجات اليدوية في كلا الممارستين، بينما أظهرت النماذج الأخرى، لا سيما في P1، اختلافات كبيرة. كما قام اختبار ويلكوكسون لرتبة الاختلاف بتحديد الاتفاق بين تقييم LLM والتقييم البشري، كاشفًا أن معظم النماذج، باستثناء DeepSeek-R1 وبعض إصدارات LLaMa، كانت لديها اختلافات كبيرة في درجاتها المتوسطة مقارنة بالمقيمين البشريين. بشكل عام، تؤكد التحليل على موثوقية DeepSeek-R1 في مهام التقييم، بينما تسلط الضوء على ميل النماذج الأخرى للمبالغة في تقدير الأداء.
النقاش
يسلط قسم النقاش في الورقة البحثية الضوء على التحديات والتقدم في مجال التقييم الآلي في التعليم، لا سيما في الدورات الكبيرة مثل تحليل البيانات وتعلم الآلة. يبرز الطبيعة المستهلكة للموارد لطرق التقييم التقليدية، التي غالبًا ما تكافح لتقديم تغذية راجعة فردية وفي الوقت المناسب مع ضمان العدالة. إن دمج التكنولوجيا، خاصة من خلال نماذج اللغة الكبيرة (LLMs)، يقدم حلاً واعدًا لتعزيز كفاءة التقييم والاتساق. لقد أظهرت أدوات التقييم المدعومة بالذكاء الاصطناعي إمكانيات في تقديم تقييمات غير متحيزة وتغذية راجعة بناءة، مما يخفف العبء عن المعلمين. ومع ذلك، تظل المخاوف بشأن التحيزات، وجودة التغذية الراجعة التي ينتجها الذكاء الاصطناعي، وضرورة الإشراف البشري قضايا حاسمة تحتاج إلى معالجة.
تستعرض الورقة أيضًا المشهد الحالي لتطبيقات الذكاء الاصطناعي في التعليم، مع التركيز على الدور المزدوج للذكاء الاصطناعي في تسهيل تجارب التعلم الشخصية وأتمتة التقييمات. بينما يمكن أن تولد الأدوات المدفوعة بالذكاء الاصطناعي تغذية راجعة منظمة وتحسن كفاءة التقييم، لا يزال يتم مناقشة القيمة التربوية لمثل هذه التغذية الراجعة. يقترح المؤلفون إطار عمل شامل لتقييم LLMs في التقييمات التعليمية، والذي يتضمن الأداء الفني، والأثر التربوي، والاعتبارات المؤسسية. يهدف هذا الإطار إلى ضمان أن أدوات الذكاء الاصطناعي لا تقدم تقييمات دقيقة فحسب، بل تتماشى أيضًا مع الأهداف التعليمية والمعايير الأخلاقية. تدعو نتائج الدراسة إلى نهج هجين يجمع بين أتمتة الذكاء الاصطناعي والخبرة البشرية لتعزيز عملية التقييم الشاملة في تعليم البرمجة.
DOI: https://doi.org/10.1038/s41598-026-48656-3
PMID: https://pubmed.ncbi.nlm.nih.gov/42000830
Publication Date: 2026-04-18
Author(s): Yago Sáez et al.
Primary Topic: Artificial Intelligence in Education
Overview
This article empirically evaluates six advanced large language models (LLMs) for grading student assignments in a university-level data analytics and machine learning course. The study compares the models’ grading accuracy and feedback quality against human instructors using statistical and semantic measures. Findings indicate that DeepSeek-R1 aligns most closely with human evaluations in both grading and feedback, highlighting its effectiveness as an AI-assisted grading tool.
Additionally, the research introduces a replicable framework for systematically benchmarking LLMs in higher education assessment. This framework encompasses model selection, prompt design, evaluation metrics, and cost analysis, ensuring its adaptability as new models are developed. The methodology aims to provide educators and researchers with a robust tool for evaluating AI-assisted grading, confirming the potential of generative AI to enhance traditional assessment processes in technical higher education.
Introduction
The introduction of this research paper outlines the objective of providing higher education professors with a detailed reference for selecting appropriate large language models (LLMs) to enhance assessments in data analytics and machine learning (ML). By analyzing various LLMs, the study aims to compare their advantages, limitations, challenges, and potential issues, thereby aiding educators in making informed decisions regarding academic evaluation processes.
The structure of the paper is delineated, with Section 2 reviewing related work on AI-assisted assessment and identifying current challenges in the field. Section 3 introduces the proposed evaluation framework, the context of the case study, and the methodology employed. Section 4 presents the results of applying the framework to six LLMs, discussing findings in relation to existing literature, highlighting limitations, and reflecting on pedagogical and institutional implications. The paper concludes in Section 5, summarizing the findings and suggesting avenues for future research.
Methods
The methodology section delineates the framework developed for assessing large language models (LLMs) within higher education contexts, emphasizing its replicability and transferability. It introduces a specific case study that illustrates the application of this framework, encompassing the course environment, student assignments, the models selected for evaluation, and the design of prompts used in the assessment.
Additionally, the section elaborates on the evaluation procedures and metrics employed to compare grades and feedback generated by AI against those produced by human assessors. This comprehensive approach aims to provide a robust basis for understanding the effectiveness of LLMs in educational assessment, thereby contributing to the broader discourse on their role in academic settings.
Results
The results section provides a comprehensive analysis of the performance of selected Large Language Models (LLMs) in terms of numerical grading accuracy, feedback quality, and computational cost. Among the evaluated models, DeepSeek-R1 stands out for its alignment with manual grading, exhibiting no statistically significant differences (p > 0.01) from human evaluations across both practices (P1 and P2). Specifically, DeepSeek-R1 maintained a Mean Absolute Error (MAE) close to 19 points, outperforming other models like GPT-4o and the LLaMa series, which tended to overgrade and showed larger deviations in their assessments.
Statistical tests, including paired t-tests and Wilcoxon signed-rank tests, were employed to validate these findings. The results indicated that only DeepSeek-R1 demonstrated no significant difference from manual grades in both practices, while other models, particularly in P1, exhibited significant discrepancies. The Wilcoxon Signed-Rank Test further quantified the agreement between LLM and human grading, revealing that most models, except DeepSeek-R1 and certain LLaMa versions, had significant differences in their median grades compared to human raters. Overall, the analysis underscores the reliability of DeepSeek-R1 in grading tasks, while highlighting the tendency of other models to overestimate performance.
Discussion
The discussion section of the research paper highlights the challenges and advancements in the realm of automated assessment in education, particularly in large courses such as data analytics and machine learning. It underscores the resource-intensive nature of traditional grading methods, which often struggle to provide timely, individualized feedback while ensuring fairness. The integration of technology, especially through Large Language Models (LLMs), presents a promising solution to enhance grading efficiency and consistency. AI-assisted grading tools have shown potential in delivering unbiased evaluations and constructive feedback, thereby alleviating the workload on educators. However, concerns regarding biases, the quality of AI-generated feedback, and the necessity for human oversight remain critical issues that need addressing.
The paper also reviews the current landscape of AI applications in education, emphasizing the dual role of AI in facilitating personalized learning experiences and automating assessments. While AI-driven tools can generate structured feedback and improve grading efficiency, the pedagogical value of such feedback is still debated. The authors propose a comprehensive framework for evaluating LLMs in educational assessments, which incorporates technical performance, pedagogical impact, and institutional considerations. This framework aims to ensure that AI tools not only provide accurate evaluations but also align with educational goals and ethical standards. The study’s findings advocate for a hybrid approach that combines AI automation with human expertise to enhance the overall assessment process in programming education.