DOI: https://doi.org/10.1016/j.neunet.2026.109199
PMID: https://pubmed.ncbi.nlm.nih.gov/42248084
تاريخ النشر: 2026-05-30
المؤلف: Peichao Lai وآخرون
الموضوع الرئيسي: تكنولوجيا التعليم والتقييم
نظرة عامة
تقدم ورقة البحث SAS-Bench، وهو معيار جديد يهدف إلى تحسين تقييم الإجابات الذاتية (SAG) لمهام تقييم الإجابات القصيرة (SAS) باستخدام نماذج اللغة الكبيرة (LLMs). غالبًا ما تؤدي الطرق الحالية في SAG إلى درجات خشنة وتفتقر إلى الشفافية، مما يمكن أن يؤدي إلى تحيزات وعدم اتساق في التقييم. يعالج SAS-Bench هذه القضايا من خلال توفير إطار عمل منظم يتضمن تقييمات دقيقة، خطوة بخطوة، وفئات أخطاء موضحة من قبل خبراء، ومجموعة متنوعة من الأسئلة المستمدة من الامتحانات الفعلية. يتكون المعيار من 1,030 سؤالًا و4,109 ردود طلابية، جميعها موضحة من قبل خبراء في المجال، مما يسهل تقييمًا أكثر تفصيلًا لاستدلال النموذج وقابليته للتفسير.
تشير نتائج الدراسة إلى وجود اختلافات كبيرة في الأداء بين نماذج LLM المختلفة عند تطبيقها على مهام SAS، لا سيما في تقييم الأسئلة المتعلقة بالعلوم. يسمح إدخال مقاييس دقيقة بتقييم شامل لأداء النموذج، مع التركيز على كل من الاتساق العام والاتساق خطوة بخطوة، فضلاً عن توافق الأخطاء مع أسبابها. تؤكد النتائج على إمكانية SAS-Bench في المساهمة في تطوير أنظمة تقييم آلية أكثر قوة وإنصافًا وقابلية للتفسير، مما يعزز في النهاية القيمة التعليمية للتقييمات المعتمدة على LLM.
مقدمة
تناقش مقدمة ورقة البحث الدور الحاسم لتقييم الإجابات الذاتية (SAG) في السياقات التعليمية، مع التركيز بشكل خاص على نوعين رئيسيين: تقييم المقالات التلقائي (AES) للإجابات الطويلة وتقييم الإجابات القصيرة (SAS) للإجابات القصيرة. يتم عادةً التعامل مع SAS كمشكلة تقييم نقطة، حيث تتم مقارنة إجابات الطلاب بالإجابات المرجعية. كانت الطرق التقليدية تهدف بشكل أساسي إلى توليد درجة واحدة، وغالبًا ما تتجاهل التحليل التفصيلي. ومع ذلك، أدت التطورات في نماذج اللغة الكبيرة (LLMs) إلى إدخال نماذج جديدة للتقييم الذاتي بدون عينة، مما يسمح بتقييمات أكثر دقة عبر أبعاد متعددة. على الرغم من هذه التطورات، لا تزال التحديات الكبيرة قائمة، بما في ذلك التحيزات في تقييمات LLM مقارنةً بالمقيمين البشريين ونقص القابلية للتفسير في تفسيرات الدرجات.
تسلط الورقة الضوء على اثنين من القيود الرئيسية في أنظمة التقييم الحالية: غياب التقييم الدقيق وتقييم الشرح غير الكافي. تقيس المعايير الحالية بشكل أساسي توافق الدرجات العامة بين مخرجات النموذج والتقييمات البشرية، دون الأخذ في الاعتبار كيف تؤثر تنسيقات الردود أو العبارات المحددة على تحيزات الدرجات. هذا أمر بالغ الأهمية بشكل خاص للإجابات الطويلة في السياقات العلمية، حيث يكون التفكير الدقيق والمصطلحات أمرًا حيويًا. علاوة على ذلك، فإن عدم قدرة النماذج على تقديم تبريرات واضحة لدرجاتها يعقد التحقق اليدوي ويقوض التطبيق العملي لأنظمة التقييم المعتمدة على LLM في البيئات ذات المخاطر العالية. يجادل المؤلفون بضرورة وجود معيار مصمم خصيصًا لنماذج اللغة التوليدية لمعالجة هذه التحديات بشكل فعال.
النتائج
تقيم نتائج الدراسة اتساق نماذج التقييم باستخدام مقياس CCS (اتساق التقييم)، كاشفة عن وجود علاقة إيجابية بين درجات CCS وQWK (Kappa الموزون التربيعي) عبر نماذج ومواضيع وأنواع أسئلة مختلفة. من الجدير بالذكر أن النماذج الأكبر، مثل Deepseek-V3 وDeepseek-R1، تظهر أداءً متفوقًا في مقاييس CCS وQWK، على التوالي. ومع ذلك، فإن درجات CCS عمومًا أقل من درجات QWK، مما يشير إلى أن دمج الاتساق خطوة بخطوة يقدم تحديات إضافية. تُظهر التحليلات أن النماذج تؤدي بشكل أفضل في الأسئلة المتعلقة بالعلوم الإنسانية مقارنةً بالأسئلة المتعلقة بالعلوم، حيث تظهر النماذج الأكبر اختلافات كبيرة بين درجات CCS وQWK، لا سيما في الأسئلة القصيرة.
فيما يتعلق باتساق الأخطاء، يكشف مقياس ECS (درجة اتساق الخطأ) أن Deepseek-R1 تحقق أعلى متوسط درجة ECS، مع تحسن الأداء مع زيادة حجم النموذج. ومع ذلك، لا تزال التحديات قائمة بالنسبة لنماذج LLM (نماذج اللغة الكبيرة) في الحفاظ على الاتساق بدون عينة لاستدلال أسباب الأخطاء، خاصة في مهام ملء الفجوات باللغة الإنجليزية حيث تعقد الدلالات النادرة التفسيرات الدقيقة. تشير النتائج إلى أن النماذج الأكبر تتفوق في مهام العلوم الإنسانية، بينما تكافح النماذج الأصغر المعتمدة على الاستدلال بسبب الفهم الدلالي المحدود. بشكل عام، تؤكد الدراسة على فائدة مقاييس CCS وECS في تقديم رؤى دقيقة حول أداء النموذج، لا سيما في تعزيز قدرات التفكير خطوة بخطوة للتطبيقات في العالم الحقيقي.
المناقشة
في هذا القسم، يقدم المؤلفون SAS-Bench، وهو معيار جديد مصمم خصيصًا لمهام تقييم الإجابات القصيرة (SAS)، باستخدام أسئلة حقيقية من امتحان القبول الوطني في الصين (Gaokao). تتكون مجموعة البيانات من 1,030 سؤالًا و4,109 ردود طلابية، جميعها موضحة بدقة من قبل خبراء في الموضوع مع درجات خطوة بخطوة وأسباب أخطاء مفصلة. يسمح هذا النهج المنظم بتقييم شامل لأداء النموذج، لا سيما من حيث اتساق التقييم وتحديد أسباب الأخطاء. يبرز تصميم المعيار أهمية التقييم الدقيق، مع دمج أنواع مختلفة من الأسئلة وتصنيف محدد مسبقًا لأسباب الأخطاء لتعزيز قابلية تفسير النموذج.
أجرى المؤلفون تجارب واسعة على ستة عشر نموذجًا شائع الاستخدام من نماذج اللغة الكبيرة (LLMs) لتقييم قدراتها في مهام SAS. تشير النتائج إلى أنه بينما تكافح LLMs مع التقييم خطوة بخطوة واستدلال أسباب الأخطاء، فإن توفير عروض توضيحية قليلة الخطوات وإرشادات التقييم يحسن بشكل كبير من أداء النموذج. تؤكد النتائج على ضرورة وجود معايير تقييم واضحة وأطر تقييم منظمة لتعزيز قابلية تفسير وموثوقية LLMs في التقييمات التعليمية. بشكل عام، يمثل SAS-Bench تقدمًا كبيرًا في مجال التقييم الآلي، حيث يقدم أداة قوية لتقييم عمليات استدلال LLM وقرارات التقييم.
القيود
في قسم “القيود”، يعترف المؤلفون بأن بناء SAS-bench، الذي يهدف إلى تقييم ردود الطلاب، يتعطل بسبب الاعتماد على نماذج اللغة الكبيرة (LLMs) لمحاكاة هذه الردود. تؤدي هذه الطريقة إلى اختلافات توزيعية عند مقارنتها بالردود البشرية الفعلية، وهو قيد كبير في الدراسة. علاوة على ذلك، يشير المؤلفون إلى صعوبة الحصول على نطاق متوازن من الدرجات عبر مواضيع مختلفة في السيناريوهات الواقعية، مما يعقد عملية التقييم.
الهدف الرئيسي من SAS-bench هو تحليل الفروق بين التقييمات التي أجرتها LLMs وتلك التي أجراها المقيمون البشر بطريقة دقيقة. لتعزيز قوة نتائجهم، يؤكد المؤلفون على ضرورة إنشاء مجموعة بيانات متنوعة من الردود وإشراك مقيمين محترفين للحصول على توضيحات شاملة. كما يشيرون إلى خطط لإصدار نظام التوضيح الخاص بهم في المستقبل، مما سيسمح للباحثين الآخرين بالمساهمة في هذا العمل وتوسيعه.
DOI: https://doi.org/10.1016/j.neunet.2026.109199
PMID: https://pubmed.ncbi.nlm.nih.gov/42248084
Publication Date: 2026-05-30
Author(s): Peichao Lai et al.
Primary Topic: Educational Technology and Assessment
Overview
The research paper presents SAS-Bench, a novel benchmark aimed at enhancing Subjective Answer Grading (SAG) for Short Answer Scoring (SAS) tasks using large language models (LLMs). Current methods in SAG often yield coarse scores and lack transparency, which can lead to biases and inconsistencies in evaluation. SAS-Bench addresses these issues by providing a structured framework that includes fine-grained, step-wise scoring, expert-annotated error categories, and a diverse array of questions derived from actual exams. The benchmark comprises 1,030 questions and 4,109 student responses, all annotated by domain experts, facilitating a more detailed assessment of model reasoning and explainability.
The study’s findings indicate significant performance discrepancies among various LLMs when applied to SAS tasks, particularly in scoring science-related questions. The introduction of fine-grained metrics allows for a comprehensive evaluation of model performance, focusing on both overall and step-wise scoring consistency, as well as the alignment of errors with their causes. The results underscore the potential of SAS-Bench to contribute to the development of more robust, fair, and interpretable automated assessment systems, ultimately enhancing the educational value of LLM-based evaluations.
Introduction
The introduction of the research paper discusses the critical role of Subjective Answer Grading (SAG) in educational contexts, particularly focusing on two main types: Automatic Essay Scoring (AES) for long-form responses and Short Answer Scoring (SAS) for short-form responses. SAS is typically approached as a pointwise evaluation problem, where student answers are compared to reference answers. Traditional methods have primarily aimed at generating a single score, often neglecting detailed analysis. However, advancements in large language models (LLMs) have introduced new paradigms for zero-shot subjective scoring, allowing for more nuanced assessments across multiple dimensions. Despite these advancements, significant challenges persist, including biases in LLM evaluations compared to human assessors and a lack of interpretability in scoring explanations.
The paper highlights two main limitations of current evaluation systems: the absence of fine-grained evaluation and inadequate explainability assessment. Existing benchmarks primarily measure the alignment of overall scores between model outputs and human evaluations, failing to account for how response formats or specific phrases influence scoring biases. This is particularly crucial for long-form responses in scientific contexts, where precise reasoning and terminology are vital. Furthermore, the inability of models to provide clear justifications for their scores complicates manual verification and undermines the practical application of LLM-based evaluation systems in high-stakes environments. The authors argue for the necessity of a benchmark tailored for generative language models to address these challenges effectively.
Results
The results of the study evaluate the consistency of scoring models using the CCS (Consistency of Scoring) metric, revealing a positive correlation between CCS and QWK (Quadratic Weighted Kappa) scores across various models, subjects, and question types. Notably, larger models, such as Deepseek-V3 and Deepseek-R1, demonstrate superior performance in CCS and QWK metrics, respectively. However, CCS scores are generally lower than QWK scores, indicating that the incorporation of step-wise consistency presents additional challenges. The analysis shows that models perform better on humanities-related questions compared to science-related ones, with larger models exhibiting significant discrepancies between CCS and QWK scores, particularly in short-answer questions.
In terms of error consistency, the ECS (Error Consistency Score) metric reveals that Deepseek-R1 achieves the highest average ECS score, with performance improving alongside model size. However, challenges remain for LLMs (Large Language Models) in maintaining zero-shot consistency for error cause inference, especially in English gap-filling tasks where sparse semantics complicate accurate explanations. The findings indicate that larger models excel in humanities tasks, while smaller reasoning-based models struggle due to limited semantic understanding. Overall, the study underscores the utility of CCS and ECS metrics in providing nuanced insights into model performance, particularly in enhancing step-by-step reasoning capabilities for real-world applications.
Discussion
In this section, the authors introduce SAS-Bench, a novel benchmark specifically designed for short-answer scoring (SAS) tasks, utilizing authentic questions from China’s National College Entrance Examination (Gaokao). The dataset comprises 1,030 questions and 4,109 student responses, all meticulously annotated by subject-matter experts with step-wise scores and detailed error causes. This structured approach allows for a comprehensive evaluation of model performance, particularly in terms of scoring consistency and error cause identification. The benchmark’s design emphasizes the importance of fine-grained assessment, incorporating various question types and a predefined taxonomy of error causes to enhance model explainability.
The authors conducted extensive experiments on sixteen widely used large language models (LLMs) to evaluate their capabilities in SAS tasks. Results indicate that while LLMs struggle with step-wise scoring and error cause inference, the provision of few-shot demonstrations and scoring guidelines significantly improves model performance. The findings underscore the necessity of clear scoring criteria and structured evaluation frameworks to enhance the interpretability and reliability of LLMs in educational assessments. Overall, SAS-Bench represents a significant advancement in the automated scoring landscape, offering a robust tool for evaluating LLMs’ reasoning processes and scoring decisions.
Limitations
In the “Limitations” section, the authors acknowledge that the construction of the SAS-bench, which aims to evaluate student responses, is hindered by the reliance on large language models (LLMs) for simulating these responses. This approach results in distributional discrepancies when compared to actual human responses, which is a significant limitation of the study. Furthermore, the authors note the difficulty of obtaining a balanced range of scores across different subjects in real-world scenarios, which complicates the benchmarking process.
The primary objective of the SAS-bench is to analyze the differences between evaluations made by LLMs and those made by human assessors in a fine-grained manner. To enhance the robustness of their findings, the authors stress the necessity of generating a diverse dataset of responses and involving professional evaluators for comprehensive annotations. They also indicate plans to release their annotation system in the future, which will allow other researchers to contribute to and expand upon this work.