DOI: https://doi.org/10.21449/ijate.1678002
تاريخ النشر: 2026-01-02
المؤلف: Bahadır GÜLDEN وآخرون
الموضوع الرئيسي: تقييم الطلاب والتغذية الراجعة
نظرة عامة
تستكشف هذه الدراسة فعالية ChatGPT في تقديم التقييمات والتعليقات على النصوص المكتوبة مقارنةً بالتقييمات من الخبراء. قام ثلاثة خبراء وChatGPT بتقييم مهام 14 طالبًا جامعيًا تركيًا باستخدام مقياس شمل المحتوى، واستخدام اللغة، والمفردات، والتنظيم، والميكانيكا. استخدمت البحث تصميمًا نوعيًا، بما في ذلك مراجعة الوثائق والتثليث، واستفادت من معامل الارتباط داخل الفصول لتقييم اتساق الدرجات بين ChatGPT والخبراء.
كشفت النتائج عن اتساق معتدل إلى ضعيف في مقاييس الكتابة الفرعية بين الخبراء وChatGPT، على الرغم من ملاحظة موثوقية جيدة في الدرجات الإجمالية. أظهر الخبراء نقاط قوة في تقديم تعليقات تفسيرية، وتفسير، واستغلال خبراتهم، بينما تفوق ChatGPT في الأتمتة، والاستمرارية، وقدرات معالجة البيانات. ومع ذلك، واجه الخبراء تحديات مثل الوقت المحدود والانحياز في المقارنة، بينما عانى ChatGPT من التعبيرات الغامضة والتكرار. ومن الجدير بالذكر أن كلا من الخبراء وChatGPT فضلا تقديم تعليقات بناءة وداعمة، مما يبرز التزامهم بتحسين مهارات الكتابة لدى الطلاب.
مقدمة
تسلط المقدمة الضوء على الدور الحاسم للتقييم في تعليم اللغة، مع التأكيد على أهميته في تتبع تقدم المتعلمين وإبلاغ استراتيجيات التدريس. يجب أن تكون التقييمات الفعالة قابلة للتطبيق وموثوقة، حيث تعتبر الأسئلة المفتوحة مفيدة بشكل خاص لتعزيز التفكير من المستوى الأعلى وإنتاج اللغة. ومع ذلك، تشكل هذه الأسئلة 24% فقط من مجموعات الأسئلة المستخدمة من قبل معلمي اللغة، ويرجع ذلك أساسًا إلى الطبيعة المستهلكة للوقت في إعداد وتقييم مثل هذه التقييمات. يمكن أن تستغرق مهام الكتابة المفتوحة 15-20 دقيقة لكل طالب، مما يتطلب غالبًا عملاً إضافيًا خارج ساعات المدرسة العادية.
تناقش هذه الفقرة أيضًا دمج التكنولوجيا في التعليم، وخاصة استخدام أدوات الذكاء الاصطناعي مثل ChatGPT، التي اكتسبت شهرة خلال الجائحة. بينما يقدم ChatGPT قدرات متقدمة ويمكن أن يدعم مهام تعليمية متنوعة، فإنه يقدم أيضًا قيودًا كبيرة، مثل جودة الاستجابة غير المتسقة ونقص السيطرة على مخرجاته. تهدف الدراسة إلى استكشاف موثوقية التعليقات المقدمة من ChatGPT مقارنةً بالمقيمين البشريين وتقييم المزايا والعيوب لكلتا الطريقتين في سياق تقييم النصوص المكتوبة.
النتائج
تكشف نتائج الدراسة عن علاقة دقيقة بين تقييمات الخبراء وتلك التي تم إنشاؤها بواسطة ChatGPT عبر أبعاد تقييم الكتابة المختلفة. تشير معاملات الارتباط داخل الفصول إلى موثوقية معتدلة بين الخبراء في المحتوى والتنظيم والمفردات (r = .665، .665، و .649، على التوالي)، ولكن ارتباطات أضعف في استخدام اللغة (r = .214) والميكانيكا (r = .389). بالمقارنة، يظهر ChatGPT توافقًا معتدلاً مع الخبراء في المحتوى (r = .578) والمفردات (r = .568)، بينما يظهر ارتباطات أضعف في التنظيم (r = .248)، واستخدام اللغة (r = .271)، والميكانيكا (r = .346). بشكل عام، تعكس الدرجات الإجمالية موثوقية جيدة بين ChatGPT وتقييمات الخبراء (r = .773)، مع فرق متوسط ملحوظ في الدرجات يبلغ 2.5 نقطة عبر النصوص التي تم تقييمها.
تسلط النتائج النوعية الضوء على نقاط القوة والضعف المميزة لتعليقات الخبراء مقابل تلك الخاصة بـ ChatGPT. قدم الخبراء تعليقات أكثر تحديدًا وتفصيلًا، بما في ذلك رؤى ميتا معرفية، بينما كانت تعليقات ChatGPT غالبًا عامة وأقل قابلية للتنفيذ، مما قد يحد من فعاليتها للطلاب ذوي الأداء المنخفض. على الرغم من هذه القيود، أظهر ChatGPT القدرة على معالجة أبعاد الكتابة الفرعية المختلفة بشكل منهجي، مقدمًا حجمًا أكبر من التعليقات مقارنةً بالمقيمين البشريين. تختتم الدراسة بالقول إنه بينما يمكن أن تعزز أدوات الذكاء الاصطناعي مثل ChatGPT عملية تقييم الكتابة، يجب أن تكمل هذه الأدوات بدلاً من استبدال المقيمين البشريين، خاصة في السياقات التي تتطلب فهمًا دقيقًا وتفكيرًا نقديًا. تشمل التوصيات للبحوث المستقبلية استكشاف اتساق الدرجات عبر أنظمة الذكاء الاصطناعي المختلفة وتطوير نماذج تعليقات هجينة تدمج كفاءة الذكاء الاصطناعي مع عمق التفسير البشري.
المناقشة
تسلط فقرة المناقشة في ورقة البحث الضوء على الطبيعة المزدوجة للذكاء الاصطناعي (AI) في التعليم، وخاصة إمكانيته في تحويل التعليم والتعلم بينما يثير أيضًا مخاوف بشأن الموثوقية والدقة. تظهر ردود فعل مختلطة من المجتمع التعليمي تجاه الذكاء الاصطناعي، مع توقعات لدمجه في تخطيط الدروس والتقييم. من الجدير بالذكر أن أدوات الذكاء الاصطناعي مثل ChatGPT يمكن أن تسهل طرق تقييم مبتكرة، مثل تقييم الاستجابات التي تم إنشاؤها بواسطة الذكاء الاصطناعي، ولكن يُنصح بالحذر بسبب حالات المعلومات المضللة. على سبيل المثال، تم الإبلاغ عن أن ChatGPT ينتج نسبة كبيرة من المعلومات غير الدقيقة، مما يبرز الحاجة إلى مراقبة دقيقة لدور الذكاء الاصطناعي في السياقات التعليمية.
فيما يتعلق بمهارات الكتابة، تناقش الورقة الفعالية النسبية لـ ChatGPT في إنتاج نصوص تشبه النصوص البشرية وتأثيرها على تقييم كتابة الطلاب. بينما يمكن لـ ChatGPT إنتاج محتوى مكتوب عالي الجودة، فإنه يواجه صعوبة مع اللغة المجازية وصعوبة النصوص الدقيقة. تؤكد الدراسة على أهمية التعليقات في تطوير مهارات الكتابة، مشيرة إلى أن طرق التقييم التقليدية يمكن أن تكون مستهلكة للوقت بالنسبة للمعلمين. يتم الاعتراف بإمكانية الذكاء الاصطناعي في تبسيط عمليات التعليق، ومع ذلك تبقى المخاوف بشأن موثوقية تقييمات الذكاء الاصطناعي مقارنةً بالمقيمين البشريين. تشير النتائج إلى أنه بينما يمكن أن يعزز الذكاء الاصطناعي الكفاءة في التقييم التعليمي، يجب أن يكمل ذلك بدلاً من استبدال الخبرة البشرية، خاصة في تقديم تعليقات مفصلة وحساسة للسياق.
القيود
تسلط قيود هذه الدراسة الضوء على كل من نقاط ضعف المقيمين الخبراء وأداة الذكاء الاصطناعي، ChatGPT. أظهر الخبراء تعبًا وتشتيتًا مع تقدم التقييم، مما أدى إلى تراجع في عمق وشمولية تعليقاتهم. في البداية، تم تقديم تعليقات مفصلة، ولكن مع استمرار العملية، أصبحت التعليقات أقصر وأقل شمولية، غالبًا ما تتناول ثلاثة أو أربعة فقط من الفئات الفرعية الخمس المخصصة للتقييم. بالإضافة إلى ذلك، أظهر الخبراء انحيازًا في المقارنة، مستخدمين نصوصًا سابقة كمعايير بدلاً من تقييم كل نص بشكل مستقل وفقًا للمعايير المحددة.
من ناحية أخرى، كانت تقييمات ChatGPT تتسم بلغة غامضة وتكرار في الصياغة. بينما عبر الخبراء البشريون عن أحكام واضحة بشأن الأخطاء، غالبًا ما كانت ChatGPT تتردد في تقييماتها، مشيرة إلى مشكلات محتملة دون استنتاجات حاسمة. علاوة على ذلك، كررت أداة الذكاء الاصطناعي كثيرًا بعض الهياكل الجملية عبر التقييمات، مما يدل على نقص في التنوع في تعليقاتها. تشمل قيود الدراسة أيضًا تركيزها على عينة كتابة واحدة من 14 طالبًا، مما يحد من تعميم النتائج. كانت ملاحظة انخفاض طول التعليقات من الخبراء تستند إلى تحليل نوعي بدلاً من مقاييس كمية، مما يتطلب تفسيرًا حذرًا لهذه الاتجاه. بشكل عام، تؤكد هذه القيود على الحاجة إلى مزيد من البحث للتحقق من النتائج وتعزيز عمليات التقييم المستخدمة.
DOI: https://doi.org/10.21449/ijate.1678002
Publication Date: 2026-01-02
Author(s): Bahadır GÜLDEN et al.
Primary Topic: Student Assessment and Feedback
Overview
This study investigates the effectiveness of ChatGPT in providing assessments and feedback on written texts compared to expert evaluations. Three experts and ChatGPT assessed the assignments of 14 Turkish undergraduate students using a rubric that encompassed content, language use, vocabulary, organization, and mechanics. The research employed a qualitative design, including document review and triangulation, and utilized the intraclass correlation coefficient to evaluate the consistency of scores between ChatGPT and the experts.
The findings revealed moderate to weak consistency in the writing subscales between the experts and ChatGPT, although a good reliability was noted in the overall scores. Experts demonstrated strengths in providing explanatory feedback, interpretation, and leveraging their experience, while ChatGPT excelled in automation, continuity, and data processing capabilities. However, experts faced challenges such as limited time and comparison bias, whereas ChatGPT struggled with ambiguous expressions and repetition. Notably, both experts and ChatGPT favored delivering constructive and supportive feedback, highlighting their commitment to enhancing student writing skills.
Introduction
The introduction highlights the critical role of assessment in language teaching, emphasizing its importance in tracking learner progress and informing instructional strategies. Effective assessments should be both feasible and reliable, with open-ended questions being particularly beneficial for fostering higher-order thinking and language production. However, these questions constitute only 24% of the question sets used by language teachers, primarily due to the time-intensive nature of preparing and evaluating such assessments. Open-ended writing tasks can take 15-20 minutes per student, often necessitating additional work outside of regular school hours.
The section also discusses the integration of technology in education, particularly the use of AI tools like ChatGPT, which has gained prominence during the pandemic. While ChatGPT offers advanced capabilities and can support various teaching-related tasks, it also presents significant limitations, such as inconsistent response quality and a lack of control over its outputs. The research aims to explore the reliability of feedback provided by ChatGPT compared to human evaluators and to assess the advantages and disadvantages of both methods in the context of written text evaluations.
Results
The results of the study reveal a nuanced relationship between expert evaluations and those generated by ChatGPT across various writing assessment dimensions. The intraclass correlation coefficients indicate moderate reliability among experts in content, organization, and vocabulary (r = .665, .665, and .649, respectively), but weaker correlations in language use (r = .214) and mechanics (r = .389). Comparatively, ChatGPT shows moderate agreement with experts in content (r = .578) and vocabulary (r = .568), while exhibiting weaker correlations in organization (r = .248), language use (r = .271), and mechanics (r = .346). Overall, the total scores reflect a good reliability between ChatGPT and expert ratings (r = .773), with a notable average score difference of 2.5 points across evaluated texts.
Qualitative findings highlight the distinct strengths and weaknesses of expert feedback versus that of ChatGPT. Experts provided more specific and detailed feedback, including metacognitive insights, while ChatGPT’s feedback was often general and less actionable, potentially limiting its effectiveness for lower-achieving students. Despite these limitations, ChatGPT demonstrated the ability to address various writing sub-dimensions systematically, offering a higher volume of feedback compared to human raters. The study concludes that while AI tools like ChatGPT can enhance the writing assessment process, they should complement rather than replace human evaluators, particularly in contexts requiring nuanced understanding and critical reasoning. Recommendations for future research include exploring grading consistency across different AI systems and developing hybrid feedback models that integrate AI efficiency with human interpretative depth.
Discussion
The discussion section of the research paper highlights the dual nature of artificial intelligence (AI) in education, particularly its potential to transform teaching and learning while also raising concerns about reliability and accuracy. The educational community exhibits mixed reactions to AI, with expectations for its integration in lesson planning and assessment. Notably, AI tools like ChatGPT can facilitate innovative assessment methods, such as evaluating AI-generated responses, but caution is advised due to instances of misinformation. For example, ChatGPT has been reported to produce a significant percentage of inaccurate information, underscoring the need for careful monitoring of AI’s role in educational contexts.
In terms of writing skills, the paper discusses the comparative effectiveness of ChatGPT in generating human-like text and its implications for assessing student writing. While ChatGPT can produce high-quality written content, it struggles with figurative language and nuanced text difficulty. The study emphasizes the importance of feedback in developing writing skills, noting that traditional assessment methods can be time-consuming for educators. AI’s potential to streamline feedback processes is acknowledged, yet concerns remain regarding the reliability of AI assessments compared to human evaluators. The findings suggest that while AI can enhance efficiency in educational evaluation, it should complement rather than replace human expertise, particularly in providing detailed, context-sensitive feedback.
Limitations
The limitations of this research highlight both the weaknesses of expert evaluators and the artificial intelligence tool, ChatGPT. Experts exhibited fatigue and distraction as the evaluation progressed, leading to a decline in the depth and breadth of their feedback. Initially, detailed comments were provided, but as the process continued, feedback became shorter and less comprehensive, often addressing only three or four of the five subcategories intended for evaluation. Additionally, experts displayed a comparison bias, using previous texts as benchmarks rather than assessing each text independently according to established criteria.
Conversely, ChatGPT’s evaluations were marked by ambiguous language and repetitive phrasing. While human experts articulated clear judgments regarding errors, ChatGPT often hedged its assessments, stating potential issues without definitive conclusions. Furthermore, the AI tool frequently repeated certain sentence structures across evaluations, indicating a lack of variability in its feedback. The study’s limitations also include its focus on a single writing sample from 14 students, which restricts the generalizability of the findings. The observation of decreasing feedback length from experts was based on qualitative analysis rather than quantitative metrics, necessitating cautious interpretation of this trend. Overall, these limitations underscore the need for further research to validate the findings and enhance the evaluation processes employed.