DOI: https://doi.org/10.21449/ijate.1701871
تاريخ النشر: 2026-01-02
المؤلف: Rabia Damla Karaçeper وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في التعليم
نظرة عامة
تبحث هذه الدراسة المختلطة في فعالية ChatGPT-4o كأداة تقييم آلية لإنتاج الكتابة للمتعلمين في اللغة الإنجليزية كلغة أجنبية (EFL)، مع التركيز بشكل خاص على موثوقيتها ودقتها في التقييم. تم تقييم 240 مقالًا جدليًا في البداية من قبل 13 مقيمًا بشريًا في أزواج، تم اختيار 28 مقالًا نموذجيًا منها. تم تقييم 212 مقالًا المتبقية فقط بواسطة ChatGPT-4o. تم تقييم موثوقية المقيمين باستخدام إحصائية كابا الموزونة التربيعية، مما كشف أن ChatGPT-4o أظهر توافقًا عادلاً فقط مع المقيمين البشريين، مما أدى إلى درجات أقل بكثير وغير متسقة.
لفهم التباينات في التقييم بشكل أفضل، تم إجراء مقابلات مع خمسة مقيمين بشريين ذوي خبرة، وتم تحليل رؤاهم بشكل موضوعي. من بين الاختلافات الرئيسية التي تم تحديدها كانت القضايا المتعلقة بالالتزام بالمعايير، والتحيز في التقييم، والحساسية للتفاصيل الدقيقة في الكتابة. بينما يقدم ChatGPT-4o مزايا مثل تقليل الجهد اليدوي، وسرعة الردود، والوصول إلى مجموعة بيانات لغوية أوسع، تؤكد الدراسة على ضرورة الإشراف البشري والخبرة التربوية لتحسين عملية التقييم ومعالجة قيود التقييمات المدفوعة بالذكاء الاصطناعي.
مقدمة
تناقش مقدمة ورقة البحث تطور وأهمية أنظمة تقييم الكتابة الآلية (AWE) في تعليم اللغة وتقييمها، مع تسليط الضوء بشكل خاص على دورها في كل من تقييم المقالات الآلي (AES) وتصنيف المقالات الآلي (AEG). هذه الأنظمة، التي تطورت منذ الستينيات، تستخدم مزيجًا من التقنيات الإحصائية والاستراتيجيات اللغوية لتقديم ملاحظات ودرجات قابلة للمقارنة مع تلك التي يقدمها المقيمون البشريون. تشمل التقدمات الملحوظة مشروع تقييم المقالات (PEG) والتحليل الدلالي الكامن (LSA)، مما يعزز فهم الهياكل الدلالية في الكتابة. تشير الورقة إلى نتائج مختلطة بشأن فعالية أنظمة AWE، حيث تشير بعض الدراسات إلى قدرتها على تحسين كفاءة الكتابة بينما تؤكد دراسات أخرى على تفضيل الملاحظات البشرية.
تتناول المقدمة أيضًا التقدمات الأخيرة في الذكاء الاصطناعي (AI) والتعلم العميق، وخاصة ظهور نماذج مثل ChatGPT، التي أظهرت وعدًا في تقييم الكتابة. بينما يمكن لـ ChatGPT توليد ملاحظات موسعة وإظهار درجة من الموثوقية في التقييم، فإنه يواجه أيضًا انتقادات بسبب التصحيح المفرط وإنتاج ملاحظات عامة. تحدد الورقة فجوة في البحث بشأن التقييم المنهجي لأداء ChatGPT في السياقات التعليمية المحلية، وخاصة في تركيا. تهدف الدراسة إلى التحقيق في التوافق بين المقيمين البشريين وChatGPT-4 في تقييم كفاءة كتابة طلاب اللغة الإنجليزية كلغة أجنبية (EFL)، مع التركيز على نقاط القوة والضعف في ChatGPT كأداة تقييم.
النتائج
يقدم قسم النتائج تحليلًا مقارنًا للتقييم بين المقيمين البشريين وChatGPT-4o، مع تسليط الضوء على الفروق الكبيرة في الدرجات المتوسطة والتباين. منح المقيمون البشريون درجات متوسطة أعلى عبر الفئات الكلية، الشكل، والأسلوب (على سبيل المثال، الدرجات الكلية: المقيمون البشريون $M = 14.53$، $SD = 3.29$ مقابل ChatGPT-4o $M = 10.32$، $SD = 2.98$). كما اختلفت درجات الوضع، حيث كان المقيمون البشريون غالبًا ما يمنحون درجات 15 للإجمالي، بينما كانت درجة الوضع لـ ChatGPT-4o هي 10. تم انتهاك فرضية الطبيعية لدرجات الأسلوب، على الرغم من أن الدرجات الكلية والشكل التزمت بنطاقات مقبولة.
كانت الفجوات بين طريقتي التقييم ملحوظة، حيث سجل ChatGPT-4o 138 مقالًا بأقل من 3 نقاط مقارنة بالمقيمين البشريين، مما يمثل 65.1% من الإجمالي. أشارت مقاييس التوافق إلى توافق شبه كامل بين المقيمين البشريين (QWK = .913) ولكن فقط توافق عادل بين المقيمين البشريين وChatGPT-4o (QWK = .221). أظهر مكون الشكل اتجاهات مشابهة، بينما أظهر مكون الأسلوب توافقًا طفيفًا فقط (QWK = .048)، مما يشير إلى أن تقييم ChatGPT-4o يتماشى بشكل سيء مع التقييمات البشرية في هذا المجال. بشكل عام، تؤكد النتائج على قيود ChatGPT-4o في تكرار التقييم البشري، خاصة في تقييم الأسلوب، بينما تكشف أيضًا عن نقاط قوة المقيمين البشريين في تقديم درجات أكثر تنوعًا وأعلى.
المناقشة
استخدمت الدراسة تصميم بحث مختلط تفسيري متسلسل لتقييم التوافق بين المقيمين البشريين وChatGPT-4o في تقييم مقالات الطلاب الجدلية. تضمنت المرحلة الكمية تحليل 240 مقالًا باستخدام مقاييس إحصائية متنوعة، بما في ذلك نسبة التوافق وكابا الموزونة التربيعية (QWK)، لتقييم موثوقية المقيمين. تضمنت المرحلة النوعية مقابلات شبه منظمة مع خمسة مقيمين بشريين للحصول على رؤى حول تجاربهم وانطباعاتهم عن قدرات تقييم ChatGPT-4o. قدم الجمع بين البيانات الكمية والنوعية مثلثًا منهجيًا، مما يعزز مصداقية النتائج.
أشارت النتائج إلى مستوى توافق منخفض بين ChatGPT-4o والمقيمين البشريين، مع QWK قدره 0.221، مما يشير إلى تباينات كبيرة في التقييم. منح ChatGPT-4o درجات أقل 65% من الوقت، ويرجع ذلك أساسًا إلى التزامه الصارم بمعايير التقييم وعدم قدرته على تفسير التفاصيل السياقية. من ناحية أخرى، أظهر المقيمون البشريون مرونة وحساسية للإبداع والجهد، مما أدى غالبًا إلى درجات أعلى. سلطت الدراسة الضوء على نقاط قوة ChatGPT-4o في السرعة والاتساق ولكن أيضًا على قيوده في تقديم ملاحظات دقيقة والحفاظ على الموثوقية عبر محاولات تقييم متعددة. بشكل عام، بينما يمكن أن يكون ChatGPT-4o أداة تقييم، فإن قيوده الحالية تتطلب إشرافًا بشريًا لضمان تقييمات دقيقة وذات صلة بالسياق.
القيود
تسلط قيود الدراسة حول ChatGPT كأداة تقييم للمقالات الجدلية الضوء على عدة عوامل قد تؤثر على قابلية تعميم النتائج. أولاً، تقتصر الدراسة على المقالات المكتوبة باللغة الإنجليزية من قبل طلاب بمستوى B1، مما يحد من قابليتها للتطبيق عبر أنواع الكتابة المختلفة ومستويات الكفاءة. بينما يسمح هذا التركيز بإجراء مقارنات محكومة، قد لا يلتقط الطيف الكامل لممارسات تقييم الكتابة. ثانيًا، تدرس الدراسة بشكل أساسي التباينات في التقييم دون استكشاف شامل لجودة الملاحظات المقدمة من ChatGPT، حيث كانت المقابلات التي أجريت محدودة في نطاقها.
علاوة على ذلك، تنشأ قيود كبيرة من غياب التقييم المتأخر من نفس المقيمين البشريين، مما كان يمكن أن يوفر رؤى حول التحيزات المحتملة مثل المحاباة أو التعرف على الجهد. يترك نقص التحليل التفصيلي بشأن الفجوات الواسعة في الدرجات خلال عملية المقابلة أسئلة غير مجابة حول مبررات سلوكيات التقييم لكل من المقيمين البشريين وأداة الذكاء الاصطناعي. وبالتالي، تشير هذه القيود إلى أنه بينما تقدم الدراسة رؤى قيمة، يجب توخي الحذر في تعميم النتائج خارج السياق المحدد الذي تم فحصه.
DOI: https://doi.org/10.21449/ijate.1701871
Publication Date: 2026-01-02
Author(s): Rabia Damla Karaçeper et al.
Primary Topic: Artificial Intelligence in Education
Overview
This mixed-method study investigates the effectiveness of ChatGPT-4o as an automated scoring tool for English as a Foreign Language (EFL) learners’ written output, specifically focusing on its reliability and accuracy in scoring. A total of 240 argumentative essays were initially scored by 13 human raters in pairs, from which 28 model essays were selected. The remaining 212 essays were scored solely by ChatGPT-4o. The inter-rater reliability was assessed using the Quadratic Weighted Kappa statistic, revealing that ChatGPT-4o exhibited only fair agreement with human raters, yielding significantly lower and inconsistent scores.
To further understand the discrepancies in scoring, five experienced human raters were interviewed, and their insights were thematically analyzed. Key differences identified included issues related to rubric adherence, scoring bias, and sensitivity to nuances in writing. While ChatGPT-4o offers advantages such as reduced manual effort, faster feedback, and access to a broader linguistic dataset, the study emphasizes the necessity of human oversight and pedagogical expertise to enhance the scoring process and address the limitations of AI-driven assessments.
Introduction
The introduction of the research paper discusses the evolution and significance of Automated Writing Evaluation (AWE) systems in language instruction and assessment, particularly highlighting their role in both Automated Essay Scoring (AES) and Automated Essay Grading (AEG). These systems, which have developed since the 1960s, utilize a blend of statistical techniques and linguistic strategies to provide feedback and scores comparable to those of human raters. Notable advancements include Project Essay Grade (PEG) and Latent Semantic Analysis (LSA), which enhance the understanding of semantic structures in writing. The paper notes mixed findings regarding the effectiveness of AWE systems, with some studies indicating their potential to improve writing proficiency while others emphasize the preference for human feedback.
The introduction also addresses the recent advancements in artificial intelligence (AI) and deep learning, particularly the emergence of models like ChatGPT, which have shown promise in writing assessment. While ChatGPT can generate extensive feedback and demonstrate a degree of reliability in scoring, it also faces criticism for over-correcting and producing generic feedback. The paper identifies a gap in research regarding the systematic evaluation of ChatGPT’s performance in localized educational contexts, specifically within Turkey. The study aims to investigate the alignment between human raters and ChatGPT-4 in assessing English as a Foreign Language (EFL) students’ writing proficiency, focusing on the strengths and weaknesses of ChatGPT as a scoring tool.
Results
The results section presents a comparative analysis of scoring between human raters and ChatGPT-4o, highlighting significant differences in mean scores and variability. Human raters assigned higher mean scores across total, format, and style categories (e.g., total scores: Human raters $M = 14.53$, $SD = 3.29$ vs. ChatGPT-4o $M = 10.32$, $SD = 2.98$). The mode scores also differed, with human raters frequently assigning scores of 15 for total, while ChatGPT-4o’s mode was 10. The normality assumption was violated for style scores, although total and format scores adhered to acceptable ranges.
Discrepancies between the two scoring methods were notable, with ChatGPT-4o scoring 138 essays more than 3 points lower than human raters, representing 65.1% of the total. The agreement metrics indicated almost perfect agreement between human raters (QWK = .913) but only fair agreement between human raters and ChatGPT-4o (QWK = .221). The format component showed similar trends, while the style component exhibited only slight agreement (QWK = .048), suggesting that ChatGPT-4o’s scoring aligns poorly with human evaluations in this area. Overall, the findings underscore the limitations of ChatGPT-4o in replicating human scoring, particularly in style evaluation, while also revealing the strengths of human raters in providing more varied and higher scores.
Discussion
The study employed a sequential explanatory mixed-method research design to evaluate the agreement between human raters and ChatGPT-4o in assessing students’ argumentative essays. The quantitative phase involved analyzing 240 essays using various statistical measures, including percent agreement and Quadratic Weighted Kappa (QWK), to assess inter-rater reliability. The qualitative phase included semi-structured interviews with five human raters to gain insights into their experiences and perceptions of ChatGPT-4o’s scoring capabilities. The combination of quantitative and qualitative data provided methodological triangulation, enhancing the credibility of the findings.
Results indicated a low agreement level between ChatGPT-4o and human raters, with a QWK of 0.221, suggesting significant discrepancies in scoring. ChatGPT-4o assigned lower scores 65% of the time, primarily due to its rigid adherence to rubric criteria and inability to interpret contextual nuances. Human raters, conversely, demonstrated flexibility and sensitivity to creativity and effort, which often led to higher scores. The study highlighted ChatGPT-4o’s strengths in speed and consistency but also its limitations in providing nuanced feedback and maintaining reliability across multiple scoring attempts. Overall, while ChatGPT-4o can serve as a scoring tool, its current limitations necessitate human oversight to ensure accurate and contextually relevant assessments.
Limitations
The limitations of the study on ChatGPT as a scoring tool for argumentative essays highlight several factors that may affect the generalizability of the findings. Firstly, the research is confined to essays written in English by B1 level students, which restricts its applicability across different writing genres and proficiency levels. While this focus allows for controlled comparisons, it may not capture the full spectrum of writing evaluation practices. Secondly, the study primarily examines scoring discrepancies without a thorough exploration of the quality of feedback provided by ChatGPT, as the interviews conducted were limited in scope.
Moreover, a significant limitation arises from the absence of delayed scoring by the same human raters, which could have provided insights into potential biases such as favoritism or recognition of effort. The lack of detailed analysis regarding the wide disparities in scores during the interview process leaves unanswered questions about the justifiability of the scoring behaviors of both human raters and the AI tool. Consequently, these limitations suggest that while the study offers valuable insights, caution should be exercised in generalizing the results beyond the specific context examined.