DOI: https://doi.org/10.30831/akukeg.1718511
تاريخ النشر: 2025-10-28
المؤلف: Hüseyin Ataseven وآخرون
الموضوع الرئيسي: تعليم وتعلم اللغة الإنجليزية كلغة أجنبية/ثانوية
نظرة عامة
تقيّم هذه الدراسة موثوقية وتناسق نظام تقييم مخصص يعتمد على GPT مقابل المقيمين البشريين المدربين، مع تحليل خاص لفقرات الرأي بمستوى B1 التي أنتجها طلاب التحضير للغة الإنجليزية. تتناول الدراسة ندرة الأدلة المتعلقة بتوافق أنظمة تقييم الذكاء الاصطناعي مع التقييمات البشرية في سياقات اللغات الأجنبية، كاشفة عن نقاط القوة والقيود في تقييم الكتابة الآلي.
شملت التحليلات 175 كتابة من الطلاب، تم تقييمها مرتين من قبل المقيمين البشريين ومرتين من قبل نظام الذكاء الاصطناعي باستخدام مقياس تحليلي. تُظهر النتائج توافقًا ممتازًا بين المقيمين البشريين وتناسقًا عاليًا في الدرجات التي تولدها الذكاء الاصطناعي؛ ومع ذلك، كان هناك توافق معتدل فقط بين التقييمات البشرية وتقييمات الذكاء الاصطناعي. من الجدير بالذكر أن نظام الذكاء الاصطناعي كان يميل إلى منح درجات أعلى وغالبًا ما كان يتجاهل المحتوى غير المتعلق بالموضوع. تشير هذه النتائج إلى أنه بينما يمكن أن تعزز أنظمة تقييم الذكاء الاصطناعي الكفاءة والتناسق، فإنها تفتقر إلى العمق التفسيري الذي يتميز به الحكم البشري. تؤكد الدراسة على إمكانيات الذكاء الاصطناعي كأداة مكملة في تقييم الكتابة، مع آثار على سياسة اختبار اللغة وطرق التدريس في الفصول الدراسية.
النتائج
تُفصّل قسم النتائج الاكتشافات الناتجة عن التحليلات التي أُجريت للإجابة على أسئلة البحث المطروحة في المقدمة. تم تحليل البيانات المجمعة بشكل منهجي، مما كشف عن أنماط وارتباطات هامة تساهم في فهم الظواهر المدروسة. تشمل النتائج الرئيسية [أدخل النتائج المحددة أو النتائج الإحصائية هنا، إذا كانت متاحة]، والتي تؤكد على آثار البحث وتوفر أساسًا لمزيد من التحقيق. بشكل عام، تؤكد النتائج الفرضيات وتبرز أهمية الدراسة ضمن الخطاب الأكاديمي الأوسع.
المناقشة
يقيم قسم المناقشة في هذه الورقة البحثية موثوقية وصلاحية نظام تقييم مخصص يعتمد على GPT لتقييم فقرات الرأي بمستوى B1 مقارنة بالمقيمين البشريين. باستخدام تصميم وصفي-تحليلي، استخدمت الدراسة إحصاءات وصفية واستنتاجية، وتحديدًا معاملات الارتباط داخل الفئة (ICC)، لتحليل تناسق الدرجات. كشفت النتائج عن موثوقية ممتازة بين المقيمين البشريين (ICC = 0.94) وتناسق داخلي عالي لنظام الذكاء الاصطناعي (ICC = 0.90). ومع ذلك، لوحظ توافق معتدل بين درجات البشر ودرجات الذكاء الاصطناعي (ICC = 0.725)، مما يشير إلى أنه بينما أظهر نظام الذكاء الاصطناعي استقرارًا، كان يميل إلى أن يكون أكثر تساهلاً، خاصة مع الكتابات ذات الجودة المنخفضة.
سلطت الدراسة الضوء على تحديات الذكاء الاصطناعي في اكتشاف المحتوى غير المتعلق بالموضوع، مع معدل تصنيف خاطئ كبير (60%) مقارنة بدقة المقيمين البشريين الكاملة. يشير هذا التساهل وعدم القدرة على تقييم جوانب جودة الكتابة الأعمق، مثل التماسك والحجة، إلى أن خوارزميات الذكاء الاصطناعي ليست متطورة بما يكفي لتكرار عمق التقييم البشري بالكامل. وبالتالي، يجادل المؤلفون بأن الذكاء الاصطناعي يجب ألا يُستخدم كأداة تقييم مستقلة، بل كموارد تكميلية للتغذية الراجعة التكوينية، مما يسمح للمعلمين بالتركيز على مهارات الكتابة العليا. تختتم الدراسة بالقول إنه بينما يمكن أن يوفر النظام المخصص القائم على GPT تقييمًا متسقًا، فإنه لا يمكن أن يحل محل الحكم الدقيق للمقيمين البشريين ذوي الخبرة، مما يبرز أهمية الحفاظ على إشراف بشري في تقييمات الكتابة.
القيود
تسلط القيود في هذه الدراسة حول نظام تقييم مخصص يعتمد على GPT الضوء على عدة مجالات حاسمة للبحث المستقبلي. أولاً، يقتصر التركيز على مستوى كفاءة واحد (B1) ضمن سياق مؤسسي محدد في تركيا على تعميم النتائج على مستويات كفاءة أخرى، أو أنواع الكتابة، أو البيئات التعليمية. يجب أن تهدف الدراسات المستقبلية إلى تضمين مجموعة متنوعة من المشاركين عبر مؤسسات ومستويات كفاءة مختلفة لتقييم موثوقية وتوافق نظام التقييم في سياقات أوسع.
ثانيًا، يشير تطوير نموذج GPT من خلال تكوين قائم على المطالبات، بدلاً من تحسينه باستخدام بيانات موسعة مشروحة، إلى أن سلوك التقييم الخاص به قد لا يلتقط الميزات اللغوية الدقيقة بالكامل. يمكن أن تستفيد الأبحاث المستقبلية من استكشاف نماذج تم تدريبها على مجموعات كتابة أكبر ومتوافقة مع المعايير. بالإضافة إلى ذلك، بينما قدم استخدام معامل الارتباط داخل الفئة (ICC) مقياسًا لموثوقية تقييمات المقيمين، فإنه يعكس بشكل أساسي الاتفاق العددي ويتجاهل الجوانب النوعية للتقييم. قد يؤدي دمج تحليل مستوى الخطاب وطرق الذكاء الاصطناعي القابلة للتفسير إلى تعزيز فهم الأسباب وراء الدرجات التي يولدها الذكاء الاصطناعي. قد يؤدي توسيع مجموعة البيانات لتشمل أنواع كتابة متنوعة واستخدام أساليب مختلطة تجمع بين التحليلات الكمية والنوعية إلى تحسين تقييم أنظمة تقييم الذكاء الاصطناعي، مما يؤدي في النهاية إلى تكامل أكثر فعالية بين الذكاء الاصطناعي والخبرة البشرية في تقييم الكتابة.
DOI: https://doi.org/10.30831/akukeg.1718511
Publication Date: 2025-10-28
Author(s): Hüseyin Ataseven et al.
Primary Topic: EFL/ESL Teaching and Learning
Overview
This study evaluates the reliability and consistency of a custom GPT-based scoring system against trained human raters, specifically analyzing B1-level opinion paragraphs produced by English preparatory students. It addresses the scarcity of evidence regarding the alignment of AI scoring systems with human evaluations in foreign language contexts, revealing both the strengths and limitations of automated writing assessment.
The analysis involved 175 student writings, which were assessed twice by human raters and twice by the AI system using an analytic rubric. The findings demonstrate excellent agreement among human raters and high consistency in AI-generated scores; however, there was only moderate alignment between human and AI evaluations. Notably, the AI system tended to assign higher scores and often overlooked off-topic content. These results indicate that while AI scoring systems can enhance efficiency and consistency, they lack the interpretive depth characteristic of human judgment. The study underscores the potential of AI as a complementary tool in writing assessment, with implications for language testing policy and classroom pedagogy.
Results
The results section details the findings from the analyses performed to answer the research questions posed in the introduction. The data collected were systematically analyzed, revealing significant patterns and correlations that contribute to the understanding of the studied phenomena. Key outcomes include [insert specific findings or statistical results here, if available], which underscore the implications of the research and provide a foundation for further investigation. Overall, the results affirm the hypotheses and highlight the relevance of the study within the broader academic discourse.
Discussion
The discussion section of this research paper evaluates the reliability and validity of a custom GPT-based scoring system for assessing B1-level opinion paragraphs in comparison to human raters. Utilizing a descriptive-analytical design, the study employed descriptive and inferential statistics, specifically Intraclass Correlation Coefficients (ICC), to analyze the consistency of scores. The findings revealed excellent inter-rater reliability among human raters (ICC = 0.94) and high internal consistency for the AI system (ICC = 0.90). However, a moderate alignment between human and AI scores (ICC = 0.725) was noted, indicating that while the AI system demonstrated stability, it tended to be more lenient, particularly with lower-quality writing.
The study highlighted the AI’s challenges in detecting off-topic content, with a significant misclassification rate (60%) compared to human raters’ perfect accuracy. This leniency and inability to assess deeper writing quality aspects, such as coherence and argumentation, suggest that the AI’s algorithms are not yet sophisticated enough to fully replicate human evaluative depth. Consequently, the authors argue that AI should not be used as a standalone assessment tool but rather as a supplementary resource for formative feedback, allowing educators to focus on higher-order writing skills. The study concludes that while the custom GPT-based system can provide consistent scoring, it cannot replace the nuanced judgment of experienced human raters, emphasizing the importance of maintaining human oversight in writing assessments.
Limitations
The limitations of this study on a custom GPT-based scoring system highlight several critical areas for future research. Firstly, the focus on a single proficiency level (B1) within a specific institutional context in Türkiye restricts the generalizability of the findings to other proficiency levels, writing genres, or educational settings. Future studies should aim to include a diverse range of participants across various institutions and proficiency levels to assess the reliability and alignment of the scoring system in broader contexts.
Secondly, the GPT model’s development through prompt-based configuration, rather than fine-tuning with extensive annotated data, suggests that its scoring behavior may not fully capture nuanced linguistic features. Future research could benefit from exploring models trained on larger, rubric-aligned writing corpora. Additionally, while the use of the Intraclass Correlation Coefficient (ICC) provided a measure of interrater reliability, it primarily reflects numerical agreement and overlooks qualitative aspects of scoring. Incorporating discourse-level analysis and explainable AI methods could enhance understanding of the reasoning behind AI-generated scores. Expanding the dataset to include various writing genres and employing mixed-method approaches that combine quantitative and qualitative analyses may further refine the assessment of AI scoring systems, ultimately leading to more effective integration of AI and human expertise in writing evaluation.