DOI: https://doi.org/10.1103/physrevphyseducres.21.010126
تاريخ النشر: 2025-03-27
المؤلف: Zhongzhou Chen وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في التعليم
نظرة عامة
تستكشف هذه الدراسة تطبيق نماذج اللغة الكبيرة، وبالتحديد GPT-4o، لتقييم الدرجات الجزئية لردود الطلاب على مسائل الفيزياء التمهيدية. قدم الطلاب تفسيرات لفظية لمشكلة مفاهيمية ومشكلتين عدديتين، تم تقييمها باستخدام مقياس ثنائي عبر ثلاثة معايير. تشير النتائج إلى أن GPT-4o يمكن أن يحقق توافقًا في الدرجات بنسبة 70%-80% مع المقيمين البشريين، متجاوزًا الاتساق الذي يُلاحظ عادةً بين المقيمين البشريين. يُعزى هذا الدقة إلى استراتيجيتين رئيسيتين: تحسين لغة المقياس لمعالجة الأخطاء الأولية في التقييم وإجراء عدة جولات من التقييم لتحديد النتيجة الأكثر تكرارًا.
بالإضافة إلى ذلك، تقدم الدراسة مؤشر ثقة في التقييم يعتمد على انتروبيا شانون العادية، مما يسمح للمدرسين بتحديد حوالي 40% من الدرجات المحتملة غير الصحيحة من خلال مراجعة فقط 10-15% من الردود ذات القيم العالية من الانتروبيا. كما ينتج النموذج ملاحظات واضحة للطلاب، والتي تم تقييمها بشكل إيجابي من قبل المدرسين. التكلفة العامة لهذه العملية التقييمية ملحوظة، حيث تبلغ حوالي 5 دولارات لكل 100 رد من الطلاب، مما يشير إلى إمكانية كبيرة لأتمتة التقييم مع الحفاظ على إشراف بشري.
مقدمة
تناقش مقدمة ورقة البحث التقدمات الكبيرة في الذكاء الاصطناعي التوليدي (GenAI)، وبشكل خاص نماذج اللغة الكبيرة (LLMs) مثل GPT-4، وتطبيقاتها في التعليم، وبالتحديد في تقييم الإجابات القصيرة الآلي (ASAG) وتقييم الإجابات الطويلة الآلي (ALAG). تستفيد هذه التقنيات من قدرات معالجة اللغة الطبيعية لنماذج اللغة الكبيرة لتقييم ردود الطلاب بكفاءة في مواد STEM، مما يخفف العبء التقييمي عن المدرسين ويعزز بشكل محتمل الملاحظات المقدمة للطلاب. قبل عام 2023، استخدمت معظم الدراسات نماذج أصغر تتطلب تدريبًا محددًا للمجال؛ ومع ذلك، انتقلت الأبحاث الأخيرة نحو النماذج الأساسية مثل GPT-3.5 وGPT-4، التي تبسط عملية التقييم من خلال القضاء على الحاجة إلى التدريب المسبق.
تسلط هذه الفقرة الضوء أيضًا على دراسات مختلفة استكشفت قدرات التقييم لنماذج اللغة الأساسية عبر تخصصات STEM وأنواع الردود المختلفة. قامت هذه الدراسات بفحص استراتيجيات ونتائج تقييم مختلفة، باستخدام مطالبات قد تشمل إجابات مرجعية أو أمثلة. تشمل الأبحاث البارزة مقارنات لدقة تقييم نماذج اللغة الكبيرة مقابل المقيمين البشريين والتحقيقات في فعالية تقنيات المطالبة المختلفة. تمهد المقدمة الطريق للدراسة الحالية، التي تركز على استخدام نماذج اللغة الكبيرة لتقييم الردود النصية في السياقات التعليمية.
الطرق
في هذه الدراسة، تم تصميم ثلاث مشكلات لتقييم فهم الطلاب للمفاهيم الأساسية في الفيزياء: الحفاظ على الطاقة الميكانيكية والحفاظ على الزخم الخطي. كانت السؤال 1، وهو سؤال مفاهيمي، يركز على الحفاظ على الطاقة الميكانيكية، بينما تطلب السؤال 2 إدخالًا عدديًا يتعلق بنوعين من الطاقة الكامنة، تم تقديمهما في نسختين متطابقتين تقريبًا. تم وضع مقياس تقييم لكلا النسختين، مع التركيز على التطبيق الصحيح لصيغة الحفاظ على الطاقة الميكانيكية، بما في ذلك كل من مصطلحات الطاقة الكامنة الجاذبية والمرونة. تضمنت السؤال 3 إدخالًا عدديًا حول الحفاظ على الزخم الخطي أثناء تصادم ثنائي الأبعاد، مما تطلب تحليل المتجهات، مما أضاف تعقيدًا لم يكن موجودًا في الأسئلة السابقة.
تم إجراء هذه المشكلات في بيئة امتحان خاضعة للرقابة، حيث تم تضمين السؤال 1 في امتحان منتصف الفصل والأسئلة 2 و3 في امتحان نهائي، تم إجراؤهما من خلال نظام إدارة التعلم Canvas. لم يكن الطلاب على علم بمقياس التقييم قبل الامتحانات وكانوا مطالبين بتقديم تفسيرات مفصلة لعمليات حل المشكلات الخاصة بهم، بما في ذلك المبادئ الفيزيائية ذات الصلة، والتبريرات، وتعريفات المتغيرات. كانت هذه الطريقة المنظمة تهدف إلى تقييم ليس فقط صحة الإجابات ولكن أيضًا عمق الفهم الذي أظهره الطلاب في تفسيراتهم.
النتائج
يقدم قسم النتائج في الورقة تحليلًا شاملاً لأداء التقييم باستخدام المقيمين البشريين كخط أساس ومقارنته مع أداء نماذج اللغة الكبيرة (LLMs)، وبالتحديد GPT-3.5 وGPT-4o. تشير النتائج إلى أن مستوى الاتفاق بين المقيمين البشريين يختلف عبر الأسئلة، حيث أظهر السؤال 1 أعلى مستوى من الاتفاق والسؤال 3 أقل مستوى، مما يشير إلى أن تعقيد التقييم قد يتأثر بجودة ردود الطلاب أو وضوح عناصر المقياس. كشفت التحليلات أن تكلفة التقييم باستخدام نماذج اللغة الكبيرة تراوحت بين 0.2 دولار إلى 1.00 دولار، مع كون GPT-3.5 أسرع من GPT-4o.
فيما يتعلق بأداء نماذج اللغة الكبيرة، تفوقت نموذج GPT-4o باستمرار على GPT-3.5 عبر جميع المقاييس للأسئلة 1 و2، خاصة مع نمط المطالبة Detailed Compare، الذي أظهر أداءً مستقرًا عبر عدة جولات. أظهرت جولات الاتساق الذاتي أن نمط المطالبة Detailed Compare حقق مستوى من الاتفاق مع المقيمين البشريين قابلًا للمقارنة مع ذلك بين المقيمين البشريين أنفسهم. ومع ذلك، بالنسبة للسؤال 3، أظهر نمط المطالبة Simple COT تباينًا أكبر في نتائج التقييم، متجاوزًا أحيانًا مستوى الاتفاق البشري ولكنه أظهر أيضًا تقلبات. أدت إدخال تفسيرات معدلة للمقياس إلى تحسين كبير في أداء نماذج اللغة الكبيرة، مما قلل من التباينات مع المقيمين البشريين. بشكل عام، تقترح الدراسة أنه بينما يمكن لنماذج اللغة الكبيرة تحقيق مستويات عالية من دقة التقييم، فإن اختيار نمط المطالبة ووضوح المقياس هما عاملان حاسمان يؤثران على اتساق وجودة التقييم.
المناقشة
ت outlines قسم المناقشة في ورقة البحث استراتيجيات شائعة لتعزيز أداء نماذج اللغة الكبيرة (LLMs) في التقييم، مع التركيز بشكل خاص على قدرة GPT-4 على تحقيق دقة بمستوى بشري. تم تحديد ثلاث استراتيجيات رئيسية: المطالبة بسلسلة التفكير (COT)، التعلم القليل والعديم الأمثلة، والاتساق الذاتي. تتضمن المطالبة بسلسلة التفكير توجيه نموذج اللغة الكبيرة للتعبير عن خطوات التفكير قبل الوصول إلى إجابة نهائية، وقد أظهر ذلك تحسينًا في أداء مهام التفكير. يسمح التعلم القليل للنموذج بالتعلم من عدد محدود من الأمثلة، بينما يتطلب التعلم العديم الأمثلة من النموذج أداء المهام دون أمثلة مسبقة. يتضمن الاتساق الذاتي، أو التصويت الجماعي، تشغيل نفس مهمة التقييم عدة مرات واختيار النتيجة الأكثر شيوعًا لتقليل الأخطاء الناتجة عن عشوائية النموذج.
على الرغم من التقدم في استراتيجيات تقييم نماذج اللغة الكبيرة، تسلط الورقة الضوء على المجالات التي لم يتم استكشافها بشكل كافٍ، مثل تقييم تفكير الطلاب في المشكلات متعددة الخطوات وتحسين هندسة المطالبات. يقترح المؤلفون عدة أسئلة بحثية تهدف إلى التحقيق في إمكانية نماذج اللغة الكبيرة لتحقيق دقة تقييم بمستوى بشري، وتطوير مؤشر ثقة في التقييم، وتوليد ملاحظات ذات مغزى للطلاب. يتضمن تصميم الدراسة تقييم ردود الطلاب على مشكلات الفيزياء باستخدام كل من المقيمين البشريين ونماذج اللغة الكبيرة، مع التركيز على مقاييس تقييم ثنائية تؤكد على التفكير بدلاً من الطلاقة الحسابية. تهدف هذه الطريقة إلى تقديم فهم أكثر دقة لقدرات تقييم نماذج اللغة الكبيرة وتأسيس معايير للبحث المستقبلي في هذا المجال.
DOI: https://doi.org/10.1103/physrevphyseducres.21.010126
Publication Date: 2025-03-27
Author(s): Zhongzhou Chen et al.
Primary Topic: Artificial Intelligence in Education
Overview
This study investigates the application of large language models, specifically GPT-4o, for partial credit grading of student responses to introductory physics problems. Students provided verbal explanations for one conceptual and two numerical problems, which were evaluated using a binary rubric across three criteria. The findings indicate that GPT-4o can achieve a grading agreement of 70%-80% with human evaluators, surpassing the consistency typically observed between human graders. This accuracy is attributed to two key strategies: enhancing rubric language to address initial grading errors and conducting multiple grading iterations to determine the most frequent outcome.
Additionally, the study introduces a grading confidence index based on the Normalized Shannon Information Entropy, allowing instructors to identify approximately 40% of potentially incorrect grades by reviewing only 10-15% of responses with high entropy values. The model also generates clear feedback for students, which was positively rated by instructors. The overall cost-effectiveness of this grading process is notable, at approximately $5 per 100 student responses, suggesting significant potential for automating grading while maintaining human oversight.
Introduction
The introduction of the research paper discusses the significant advancements in Generative Artificial Intelligence (GenAI), particularly large language models (LLMs) like GPT-4, and their applications in education, specifically in Automated Short Answer Grading (ASAG) and Automated Long Answer Grading (ALAG). These technologies leverage the natural language processing capabilities of LLMs to efficiently grade student responses in STEM subjects, alleviating the grading burden on instructors and potentially enhancing the feedback provided to students. Prior to 2023, most studies utilized smaller models requiring domain-specific training; however, recent research has shifted towards foundational models such as GPT-3.5 and GPT-4, which simplify the grading process by eliminating the need for pre-training.
The section also highlights various studies that have explored the grading capabilities of foundational LLMs across different STEM disciplines and response types. These studies have examined different grading strategies and outcomes, utilizing prompts that may include reference answers or examples. Notable research includes comparisons of LLM grading accuracy against human raters and investigations into the effectiveness of various prompting techniques. The introduction sets the stage for the current study, which focuses on the use of LLMs for grading text-based responses in educational contexts.
Methods
In this study, three problems were designed to assess students’ understanding of key physics concepts: conservation of mechanical energy and conservation of linear momentum. Question 1, a conceptual question, focused on the conservation of mechanical energy, while Question 2 required numerical input related to two types of potential energy, presented in two nearly identical versions. A grading rubric was established for both versions, emphasizing the correct application of the conservation of mechanical energy formula, including both gravitational and elastic potential energy terms. Question 3 involved a numerical input on conservation of linear momentum during a two-dimensional collision, necessitating vector decomposition, which introduced a complexity not present in the previous questions.
The administration of these problems occurred in a controlled exam setting, with Question 1 included in a mid-term exam and Questions 2 and 3 in a final exam, both conducted through the Canvas learning management system. Students were unaware of the grading rubric prior to the exams and were required to provide detailed explanations of their problem-solving processes, including the relevant physics principles, justifications, and variable definitions. This structured approach aimed to evaluate not only the correctness of the answers but also the depth of understanding demonstrated by the students in their explanations.
Results
The results section of the paper presents a comprehensive analysis of grading performance using human graders as a baseline and comparing it with the performance of large language models (LLMs), specifically GPT-3.5 and GPT-4o. The findings indicate that the level of agreement between human graders varied across questions, with Question 1 showing the highest agreement and Question 3 the lowest, suggesting that grading complexity may be influenced by the quality of student responses or the clarity of rubric items. The analysis revealed that the cost of grading with LLMs ranged from $0.2 to $1.00, with GPT-3.5 being faster than GPT-4o.
In terms of LLM performance, the GPT-4o model consistently outperformed GPT-3.5 across all metrics for Questions 1 and 2, particularly with the Detailed Compare prompt style, which demonstrated stable performance across multiple runs. Self-consistency runs indicated that the Detailed Compare prompt achieved a level of agreement with human graders comparable to that between the human graders themselves. For Question 3, however, the Simple COT prompt exhibited greater variability in grading outcomes, occasionally surpassing human-level agreement but also showing fluctuations. The introduction of modified rubric explanations significantly improved LLM performance, reducing discrepancies with human graders. Overall, the study suggests that while LLMs can achieve high levels of grading accuracy, the choice of prompt style and rubric clarity are critical factors influencing grading consistency and quality.
Discussion
The discussion section of the research paper outlines common strategies to enhance the performance of large language models (LLMs) in grading, particularly focusing on GPT-4’s ability to achieve human-level accuracy. Three primary strategies are identified: Chain-of-Thought (COT) prompting, few-shot and zero-shot learning, and self-consistency. COT prompting involves instructing the LLM to articulate reasoning steps before arriving at a final answer, which has been shown to improve reasoning task performance. Few-shot learning allows the model to learn from a limited number of examples, while zero-shot learning requires the model to perform tasks without prior examples. Self-consistency, or ensemble-voting, entails running the same grading task multiple times and selecting the most common result to mitigate errors from the model’s inherent randomness.
Despite the advancements in LLM grading strategies, the paper highlights underexplored areas, such as the assessment of students’ reasoning in multi-step problems and the optimization of prompt engineering. The authors propose several research questions aimed at investigating the potential of LLMs to achieve human-level grading accuracy, develop a grading confidence index, and generate meaningful feedback for students. The study’s design involves grading student responses from physics problems using both human graders and LLMs, with a focus on binary grading rubrics that emphasize reasoning over calculation fluency. This approach aims to provide a more nuanced understanding of LLM grading capabilities and establish benchmarks for future research in this domain.