DOI: https://doi.org/10.58304/ijts.2560213
تاريخ النشر: 2026-03-20
المؤلف: Austin Pack
الموضوع الرئيسي: المنهجيات النفسية والاختبار
نظرة عامة
تستكشف هذه الدراسة جدوى استخدام GPT-4 لتقييم المقالات بشكل آلي (AES) من خلال تحليل نموذج راش متعدد الجوانب. وقد شملت تقييم أربعين مقالة من طلاب اللغة الإنجليزية لأغراض أكاديمية، تم تقييمها بواسطة كل من GPT-4 وأربعة معلمين مدربين. تشير النتائج إلى أن GPT-4 يتجنب عمومًا التقييمات المتطرفة، مما يظهر ميلًا مركزيًا معتدلًا مع الحفاظ على مستوى عالٍ من اتساق التقييم. تعزز هذه الأبحاث الفهم لقدرات وقيود أدوات الذكاء الاصطناعي التوليدي في تقييم المقالات، مما يوفر رؤى قيمة حول تطبيقها في السياقات التعليمية.
تؤكد الخاتمة على الحاجة إلى البحث المستمر في تنفيذ الذكاء الاصطناعي التوليدي في مراكز اللغة وبرامج EAP، لا سيما فيما يتعلق باستخدام المعايير الداخلية. وتبرز أهمية إعادة تقييم سلوك التقييم وصلاحية النماذج الأحدث، مثل GPT-5، عند إصدارها، نظرًا لإمكاناتها في تحسين مهارات التفكير. بالإضافة إلى ذلك، تقترح الدراسة أن تحسين النماذج الحالية وتجربة التغييرات في التحفيز والمعايير يمكن أن يعزز أدائها في مهام تقييم اللغة. بشكل عام، بينما لا تزال تقنيات الذكاء الاصطناعي التوليدي الحالية تتطور، فإنها تظهر وعدًا كبيرًا في تعزيز تقييم المقالات الآلي وتعليم اللغة.
مقدمة
تسلط مقدمة ورقة البحث الضوء على الدور الحاسم للكتابة في التعليم العالي، مشددة على أهميتها في إتقان اللغة، والتفكير النقدي، وإتقان المحتوى (Behizadeh & Engelhard, 2011). بينما ظهر تقييم المقالات الآلي (AES) كحل للطبيعة المرهقة لتقييم كتابات الطلاب، تواجه أنظمة AES التقليدية قيودًا، مثل نقص الشفافية في خوارزميات التقييم وقيود التكيف مع موضوعات الكتابة المتنوعة (Dikli & Bleyle, 2014; Ramesh & Sanampudi, 2021). تقدم التطورات الأخيرة في الذكاء الاصطناعي التوليدي (GenAI)، وخاصة النماذج اللغوية الكبيرة (LLMs) مثل GPT-4 من OpenAI، مسارًا محتملاً لمعالجة هذه التحديات من خلال تقديم قدرات تقييم أكثر مرونة ووعيًا بالسياق.
تهدف الدراسة إلى التحقيق في جدوى استخدام أدوات GenAI، وتحديدًا GPT-4، كمقيمين في تقييمات اللغة الإنجليزية لأغراض أكاديمية (EAP). تسعى لتحديد ما إذا كان بإمكان GPT-4 تطبيق المعايير الداخلية بشكل موثوق ومتسق لتقييم المقالات، وبالتالي مواءمة أدائه مع أداء المقيمين البشريين (Dai et al., 2023; Ding & Zou, 2024). تؤكد الأبحاث على ضرورة ضمان أن تظل الدرجات التي ينتجها الذكاء الاصطناعي صالحة وموثوقة، لا سيما في ضوء المخاوف بشأن التحيزات المحتملة وعدم التوافق مع المعايير التقييمية البشرية (Pack & Maloney, 2024). في النهاية، تتناول الدراسة فجوة كبيرة في الأدبيات المتعلقة بدمج GenAI في التقييم التعليمي، بهدف المساهمة في فهم تداعياته على ممارسات تقييم الكتابة.
النتائج
في قسم النتائج، يقدم المؤلفون تحليلًا لتكرار حدوث المستويات المصنفة حسب المعايير لكل مقيم، كما هو موضح في الجدول 1. يوفر هذا الجدول نظرة شاملة حول كيفية تقييم مقيمين مختلفين للموضوعات وفقًا لفئات المعايير المحددة، مما يسمح بفهم أوضح لتوزيع التقييمات عبر مستويات مختلفة. تشير النتائج إلى وجود تباين في التقييمات بين المقيمين، مما قد يشير إلى تفسيرات أو تطبيقات مختلفة لمعايير التقييم.
المناقشة
تسلط المناقشة حول استخدام الذكاء الاصطناعي التوليدي (GenAI) في تقييم المقالات الآلي (AES) الضوء على كل من مزاياه المحتملة والتحديات الكامنة فيه. تظهر النماذج اللغوية الكبيرة (LLMs) مثل GPT-3.5 وGPT-4 وعدًا في تقييم ميزات الكتابة عالية المستوى نظرًا لتدريبها الواسع على نصوص متنوعة، مما يمكنها من تقييم جوانب مثل هيكل الخطاب والفروق الأسلوبية التي قد تتجاهلها أنظمة AES التقليدية. تشير الدراسات الأولية إلى أن LLMs يمكن أن تتماشى بشكل معقول مع التقييم البشري، مما يقترح فائدتها كمقيمين مشاركين في السياقات التعليمية. ومع ذلك، تثير الطبيعة غير الحتمية لهذه النماذج مخاوف بشأن الاتساق، كما يتضح من النتائج التي تظهر تباينًا في الدرجات عند إعادة تقييم نفس المقالات. بالإضافة إلى ذلك، تعقد طبيعة “الصندوق الأسود” لـ LLMs قابلية تفسير قرارات تقييمها، مما يجعل من الصعب تحديد التحيزات المحتملة أو ضمان العدالة في التقييمات.
تؤكد الورقة على الحاجة إلى تقييم تجريبي صارم لتحديد ما إذا كانت فوائد التقييم القائم على LLM يمكن تحقيقها دون المساس بالصلاحية. بينما تتفوق أنظمة AES المعتمدة في تقييم الميزات الكتابية الموضوعية، فإنها غالبًا ما تواجه صعوبة في العناصر الأكثر ذاتية مثل إكمال المهام والتماسك. يمكن أن يخفف دمج LLMs بعض الأعباء عن المعلمين من خلال أتمتة تقييم الجوانب الأساسية، مما يسمح لهم بالتركيز على قضايا الكتابة الأكثر دقة. ومع ذلك، تؤكد النتائج المختلطة من الدراسات الأخيرة على ضرورة إجراء تحليل أعمق لأنماط تقييم LLM، لا سيما من خلال منهجيات متقدمة مثل نموذج راش متعدد الجوانب (MFRM). يمكن أن يوفر هذا النهج رؤى حول الاتجاهات الفريدة لكل من المقيمين البشريين والذكاء الاصطناعي، مما يساهم في فهم أكثر دقة لمدى موثوقية وصلاحية GenAI في سياقات AES.
القيود
تسلط فقرة القيود الضوء على عدة تهديدات لصلاحية نتائج الدراسة الاستكشافية. أولاً، قد تؤدي الطبيعة العشوائية للنماذج اللغوية الكبيرة (LLMs) إلى تباين في التقييم عند تقييم المقالات عدة مرات. استخدمت الدراسة تقنية المرور الواحد، والتي، على الرغم من أنها تعكس سلوك المقيمين البشريين، قد لا تعكس بدقة سلوك LLM. يجب أن تتضمن التحقيقات المستقبلية نسخًا متعددة (5 إلى 10) لكل مقالة لتعزيز الموثوقية.
ثانيًا، تأثر نموذج GPT المخصص المستخدم في هذه الدراسة بمعيار التقييم، ونص القراءة، والمقالات النموذجية، والتي، على الرغم من أنها تعزز الصلاحية الظاهرة، فإنها تخاطر بإحداث ميل مركزي. قد يؤدي ذلك إلى جعل LLM يكرر أنماط الأمثلة بدلاً من إظهار تمييز مستقل في التقييم. يجب أن تنفذ الدراسات المستقبلية نهج الإزالة لتقييم تأثير المدخلات السياقية المتغيرة بشكل منهجي. بالإضافة إلى ذلك، قد يكون إعادة ضبط المعيار لتحسين عملية نموذج راش متعدد الجوانب (MFRM) قد ساهم في تأثيرات الميل المركزي، مما يستدعي تفسيرًا حذرًا للنتائج. أخيرًا، يحد عينة الدراسة، التي تتكون فقط من طلاب بمستوى B1 من جامعة واحدة، من إمكانية تعميم النتائج.
DOI: https://doi.org/10.58304/ijts.2560213
Publication Date: 2026-03-20
Author(s): Austin Pack
Primary Topic: Psychometric Methodologies and Testing
Overview
This study investigates the viability of employing GPT-4 for automated essay scoring (AES) through a Many-Facet Rasch Model analysis. It involved the evaluation of forty essays from English for Academic Purposes students, rated by both GPT-4 and four trained educators. The results indicate that GPT-4 generally avoids extreme scoring, demonstrating a moderate central tendency while maintaining a high level of scoring consistency. This research enhances the understanding of the capabilities and limitations of Generative AI tools in essay assessment, providing valuable insights into their application in educational contexts.
The conclusion emphasizes the need for ongoing research into the implementation of Generative AI in language centers and EAP programs, particularly concerning the use of in-house rubrics. It highlights the importance of reassessing the rating behavior and validity of newer models, such as GPT-5, as they are released, given their potential for improved reasoning skills. Additionally, the study suggests that fine-tuning existing models and experimenting with variations in prompting and parameters could enhance their performance in language assessment tasks. Overall, while current Generative AI technologies are still developing, they show significant promise for advancing automated essay scoring and language education.
Introduction
The introduction of the research paper highlights the critical role of writing in higher education, emphasizing its importance for language proficiency, critical thinking, and content mastery (Behizadeh & Engelhard, 2011). While automated essay scoring (AES) has emerged as a solution to the labor-intensive nature of evaluating student writing, traditional AES systems face limitations, such as a lack of transparency in scoring algorithms and restricted adaptability to diverse writing prompts (Dikli & Bleyle, 2014; Ramesh & Sanampudi, 2021). Recent advancements in generative artificial intelligence (GenAI), particularly large language models (LLMs) like OpenAI’s GPT-4, present a potential pathway to address these challenges by offering more flexible and context-aware scoring capabilities.
The study aims to investigate the feasibility of employing GenAI tools, specifically GPT-4, as raters in English for Academic Purposes (EAP) assessments. It seeks to determine whether GPT-4 can reliably and consistently apply in-house rubrics to score essays, thus aligning its performance with that of human raters (Dai et al., 2023; Ding & Zou, 2024). The research underscores the necessity of ensuring that AI-generated scores maintain validity and reliability, particularly in light of concerns regarding potential biases and misalignments with human evaluative standards (Pack & Maloney, 2024). Ultimately, the study addresses a significant gap in the literature regarding the integration of GenAI in educational assessment, aiming to contribute to the understanding of its implications for writing evaluation practices.
Results
In the Results section, the authors present an analysis of the frequency of level occurrences categorized by rubric for each rater, as detailed in Table 1. This table provides a comprehensive overview of how different raters assessed the subjects according to the established rubric categories, allowing for a clearer understanding of the distribution of ratings across various levels. The findings suggest variability in ratings among raters, which may indicate differing interpretations or applications of the rubric criteria.
Discussion
The discussion on the use of Generative AI (GenAI) in automated essay scoring (AES) highlights both its potential advantages and inherent challenges. Large language models (LLMs) like GPT-3.5 and GPT-4 show promise in evaluating higher-level writing features due to their extensive training on diverse text, enabling them to assess aspects such as discourse structure and stylistic nuance that traditional AES systems may overlook. Early studies indicate that LLMs can align reasonably well with human scoring, suggesting their utility as co-raters in educational contexts. However, the non-deterministic nature of these models raises concerns about consistency, as evidenced by findings that show variability in scores when the same essays are re-evaluated. Additionally, the “black box” nature of LLMs complicates the interpretability of their scoring decisions, making it difficult to identify potential biases or ensure fairness in assessments.
The paper emphasizes the need for rigorous empirical evaluation to determine whether the benefits of LLM-based scoring can be realized without compromising validity. While established AES systems excel at assessing objective writing features, they often struggle with more subjective elements like task completion and cohesion. The integration of LLMs could alleviate some of the burdens on educators by automating the grading of fundamental aspects, thereby allowing them to focus on more nuanced writing issues. However, the mixed results from recent studies underscore the necessity for a deeper analysis of LLM scoring patterns, particularly through advanced methodologies like Many-Facet Rasch Modeling (MFRM). This approach can provide insights into the unique tendencies of both AI and human raters, ultimately contributing to a more nuanced understanding of the reliability and validity of GenAI in AES contexts.
Limitations
The section on limitations highlights several threats to the validity of the exploratory study’s findings. Firstly, the stochastic nature of large language models (LLMs) may lead to variability in scoring when essays are evaluated multiple times. The study employed a single pass technique, which, while reflective of human raters, may not accurately capture LLM behavior. Future investigations should incorporate multiple replicates (5 to 10) per essay to enhance reliability.
Secondly, the custom GPT model utilized in this research was influenced by the scoring rubric, reading passage, and example essays, which, although enhancing face validity, risks inducing central tendency. This could lead the LLM to replicate exemplar patterns rather than demonstrate independent scoring discrimination. Future studies should implement an ablation approach to systematically assess the impact of varying contextual inputs. Additionally, the rescaling of the rubric to improve the practicality of the Many-Facet Rasch Model (MFRM) may have contributed to central tendency effects, warranting cautious interpretation of the results. Lastly, the study’s sample, consisting solely of B1-level students from a single university, limits the generalizability of the findings.