DOI: https://doi.org/10.1186/s41239-024-00455-4
تاريخ النشر: 2024-04-11
المؤلف: Seyyed Kazem Banihashem وآخرون
الموضوع الرئيسي: تقييم الطلاب والتغذية الراجعة
نظرة عامة
تبحث ورقة البحث في فعالية التغذية الراجعة من الأقران مقابل التغذية الراجعة التي ينتجها الذكاء الاصطناعي، تحديدًا من ChatGPT، في سياق كتابة المقالات الجدلية بين طلاب الدراسات العليا. مع إدراك التحديات المتعلقة بتقديم تغذية راجعة عالية الجودة في الفصول الكبيرة، تستكشف الدراسة ما إذا كان بإمكان الذكاء الاصطناعي أن يكون بديلاً قابلاً للتطبيق. شارك في الدراسة 74 طالبًا من طلاب الدراسات العليا، حيث تم هيكلة الدراسة في مرحلتين: كتابة المقال وجمع التغذية الراجعة من الأقران وChatGPT. تم تقييم جودة المقالات والتغذية الراجعة باستخدام مخططات ترميزية، تلتها تحليل MANOVA لتحديد الفروق في جودة التغذية الراجعة.
تكشف النتائج عن تمييز كبير بين التغذية الراجعة المقدمة من ChatGPT والأقران. كانت تغذية ChatGPT الراجعة توصف بأنها أكثر وصفًا، تركز على عملية الكتابة، بينما كانت تغذية الأقران الراجعة أكثر توجيهًا نحو تحديد المشكلات داخل المقالات. من الجدير بالذكر أن الدراسة لم تجد أي ارتباط كبير بين جودة المقالات والتغذية الراجعة المستلمة من أي من المصدرين، مما يشير إلى أن جودة المقالات لا تؤثر على جودة التغذية الراجعة. تسهم هذه البحث في الأدبيات الناشئة حول الذكاء الاصطناعي في التعليم من خلال تسليط الضوء على الأدوار التكميلية المحتملة لـ ChatGPT وتغذية الأقران الراجعة في تعزيز عملية التغذية الراجعة للمهام الكتابية المعقدة، بينما تحدد أيضًا مجالات للبحث المستقبلي والتطبيقات العملية في البيئات التعليمية.
مقدمة
تؤكد مقدمة هذه الورقة البحثية على الدور الحاسم للتغذية الراجعة في تعزيز تعلم الطلاب، كما تدعمه دراسات متنوعة تسلط الضوء على آثارها الإيجابية على الدافعية، والانخراط، والتنظيم الذاتي، ونتائج التعلم. تقليديًا، كان المعلمون هم المزودون الرئيسيون للتغذية الراجعة؛ ومع ذلك، فإن زيادة حجم الفصول والتقدم التكنولوجي قد تحدى قدرتهم على تقديم تغذية راجعة شخصية بشكل فعال. استجابةً لذلك، ظهرت تغذية الأقران الراجعة كبديل قابل للتطبيق، مما يسمح للطلاب بالمشاركة في عملية التغذية الراجعة، مما يمكن أن يعمق تعلمهم ويخفف من أعباء المعلمين.
على الرغم من الفوائد المحتملة لتغذية الأقران الراجعة، لا تزال هناك تحديات في ضمان جودتها، حيث قد يفتقر الطلاب إلى الفهم والخبرة اللازمة لتقديم تغذية راجعة فعالة. تقدم الورقة مفهوم التغذية الراجعة التي ينتجها الذكاء الاصطناعي، وخاصة من خلال استخدام ChatGPT، الذي أثار اهتمامًا بإمكاناته في تعزيز ممارسات التغذية الراجعة. ومع ذلك، فإن الأدبيات الحالية حول هذا الموضوع محدودة وغالبًا غير تجريبية. تهدف هذه الدراسة إلى التحقيق في جودة التغذية الراجعة التي ينتجها ChatGPT مقارنة بتغذية الأقران الراجعة في سياق كتابة المقالات، وهي مهمة معقدة حيث يكافح الطلاب غالبًا. من خلال معالجة أسئلة البحث المتعلقة بالفروق في جودة التغذية الراجعة وعلاقتها بأداء المقال، تسعى الدراسة إلى تقديم رؤى قيمة حول فعالية أدوات الذكاء الاصطناعي في عمليات التغذية الراجعة التعليمية وتأثيراتها على تقليل عبء العمل للمعلمين مع تحسين جودة كتابة الطلاب.
النتائج
تتناول نتائج الدراسة سؤالين بحثيين يتعلقان بجودة التغذية الراجعة التي ينتجها الأقران مقابل ChatGPT. بالنسبة للسؤال البحثي الأول (RQ1)، تشير النتائج إلى أن التغذية الراجعة التي ينتجها الأقران ذات جودة أعلى من تلك التي ينتجها ChatGPT. يُعزى هذا الاختلاف بشكل أساسي إلى قدرة الأقران المتفوقة على تحديد المشكلات المحددة ومجالات التحسين، مستفيدين من مهاراتهم المعرفية وفهمهم السياقي. بينما يتفوق ChatGPT في تقديم تغذية راجعة شاملة ووصفية، والتي يمكن أن تساعد في تلخيص الحجج المعقدة، فإنه يفتقر إلى قدرات تحديد المشكلات الدقيقة التي يمتلكها الأقران البشر. ومع ذلك، تشمل تغذية ChatGPT الراجعة أبعادًا أساسية من التغذية الراجعة عالية الجودة، مما يشير إلى أنه يمكن أن يكون مصدرًا تكميلًا قيمًا في عملية التغذية الراجعة، مما قد يخلق علاقة تآزرية عند دمجه مع تغذية الأقران الراجعة.
في معالجة السؤال البحثي الثاني (RQ2)، تكشف الدراسة عن عدم وجود ارتباط كبير بين جودة المقالات وجودة التغذية الراجعة من الأقران أو ChatGPT. تتحدى هذه النتيجة التوقعات التقليدية بأن المقالات ذات الجودة الأعلى تنتج تغذية راجعة أفضل، مما يشير إلى تفاعل معقد بين كفاءة الكتابة وفعالية التغذية الراجعة. تشير النتائج إلى أن القدرة على إنتاج مقال مُركب جيدًا لا تتوافق بالضرورة مع القدرة على تقديم تغذية راجعة ثاقبة. من المثير للاهتمام، بينما تظهر تغذية ChatGPT الراجعة ارتباطًا إيجابيًا مع جودة المقال من حيث الميزات العاطفية، تظهر تغذية الأقران الراجعة علاقة سلبية، مما يعني أنه مع اعتراف الأقران بالتحسينات في الكتابة، قد تتحول تغذيتهم الراجعة من الدعم العاطفي إلى النقد البناء. بشكل عام، تسلط هذه النتائج الضوء على الطبيعة متعددة الأبعاد لعمليات التغذية الراجعة والتعقيدات المعرفية المعنية في كل من تقييم المقالات وتقديم التغذية الراجعة.
المناقشة
تحققت الدراسة من فعالية ChatGPT كمصدر للتغذية الراجعة في كتابة المقالات، مقارنةً بجودتها مع التغذية الراجعة التي ينتجها الأقران بين 74 طالبًا من طلاب الدراسات العليا في علوم الغذاء في جامعة هولندية. باستخدام وحدة عبر الإنترنت، “كتابة المقال الجدلي”، شارك الطلاب في عملية تغذية راجعة من الأقران بعد كتابة مقالات حول مواضيع مثيرة للجدل ذات صلة بمجالهم. تم تقييم جودة كل من المقالات والتغذية الراجعة باستخدام مخططات ترميزية معتمدة، وتم تأكيد موثوقية المقيمين بنسبة 75%.
كشفت النتائج أن تغذية الأقران الراجعة كانت ذات جودة أعلى بكثير من تلك التي ينتجها ChatGPT، خاصة في مجالات تحديد المشكلات والدقة. بينما لم يتم العثور على ارتباط كبير بين جودة المقال والتغذية الراجعة المستلمة، ظهرت علاقة إيجابية بين جودة المقال والمكون العاطفي لتغذية ChatGPT الراجعة، في حين كانت العلاقة سلبية لتغذية الأقران الراجعة. تسد هذه الدراسة فجوة في الأدبيات المتعلقة بالتغذية الراجعة التي ينتجها الذكاء الاصطناعي في التعليم العالي، مما يوفر أساسًا للبحث المستقبلي حول دور الذكاء الاصطناعي في تعزيز نتائج التعلم.
القيود
تستند قيود هذه الدراسة بشكل أساسي إلى نطاقها الضيق، حيث تم جمع البيانات من مؤسسة واحدة ودورة واحدة مع مجموعة محدودة من المشاركين. قد تحدد هذه الخصوصية من إمكانية تعميم النتائج على سياقات تعليمية أوسع، حيث يمكن أن تؤدي البيئات الأكاديمية المتنوعة والخصائص السكانية للطلاب إلى نتائج مختلفة. يجب أن تهدف الأبحاث المستقبلية إلى عينات أكبر وأكثر تنوعًا لتعزيز فهم ديناميات التغذية الراجعة في البيئات التعليمية. بالإضافة إلى ذلك، لم تحقق الدراسة في كيفية استخدام الطلاب للتغذية الراجعة من الأقران وChatGPT خلال عملية المراجعة، مما يقدم عدم اليقين بشأن فعالية حلقة التغذية الراجعة. يجب أن تستكشف الدراسات المستقبلية أنماط استيعاب التغذية الراجعة لفهم تأثيرها على تحسين المقالات بشكل أفضل.
علاوة على ذلك، استخدمت الدراسة مطالبات متطابقة لكل من تغذية الأقران وChatGPT، على الرغم من وجود أدلة تشير إلى أن التباينات في تقديم المطالبات يمكن أن تؤثر على استجابات ChatGPT. يثير هذا مخاوف بشأن قابلية مقارنة المخرجات ويبرز الحاجة إلى التحكم الدقيق في العوامل المتعلقة بالمطالبات في الأبحاث المستقبلية. بينما كانت موثوقية المقيمين في تحليلات الترميز ذات دلالة إحصائية بنسبة 75%، إلا أنها لم تحقق الدقة المطلوبة، مما يشير إلى الحاجة إلى مزيد من تدريب المقيمين. كما تسلط النتائج الضوء على إمكانيات الذكاء الاصطناعي التوليدي مثل ChatGPT في تحويل آليات التغذية الراجعة التعليمية، داعيةً إلى دمجه جنبًا إلى جنب مع تغذية الأقران الراجعة في التعليم العالي لتخفيف عبء العمل على المعلمين. يُوصى بإجراء دراسات تحقق مستقبلية وتحليلات مقارنة مع نماذج ذكاء اصطناعي مختلفة لضمان موثوقية وفعالية التغذية الراجعة التي ينتجها الذكاء الاصطناعي في تعزيز نتائج تعلم الطلاب.
DOI: https://doi.org/10.1186/s41239-024-00455-4
Publication Date: 2024-04-11
Author(s): Seyyed Kazem Banihashem et al.
Primary Topic: Student Assessment and Feedback
Overview
The research paper investigates the effectiveness of peer feedback versus AI-generated feedback, specifically from ChatGPT, in the context of writing argumentative essays among graduate students. Recognizing the challenges of providing high-quality feedback in large classes, the study explores whether AI can serve as a viable alternative. A total of 74 graduate students participated, with the study structured in two phases: essay composition and subsequent feedback collection from both peers and ChatGPT. The quality of the essays and feedback was assessed using two coding schemes, followed by a MANOVA analysis to identify differences in feedback quality.
The findings reveal a significant distinction between the feedback provided by ChatGPT and peers. ChatGPT’s feedback was characterized as more descriptive, focusing on the writing process, while peer feedback was more oriented towards identifying issues within the essays. Notably, the study found no significant correlation between the quality of the essays and the feedback received from either source, suggesting that the quality of the essays does not influence feedback quality. This research contributes to the emerging literature on AI in education by highlighting the potential complementary roles of ChatGPT and peer feedback in enhancing the feedback process for complex writing tasks, while also identifying areas for future research and practical applications in educational settings.
Introduction
The introduction of this research paper emphasizes the critical role of feedback in enhancing student learning, as supported by various studies highlighting its positive effects on motivation, engagement, self-regulation, and learning outcomes. Traditionally, teachers have been the primary providers of feedback; however, increasing class sizes and technological advancements have challenged their ability to deliver personalized feedback effectively. As a response, peer feedback has emerged as a viable alternative, allowing students to engage in the feedback process, which can deepen their learning and alleviate teachers’ workloads.
Despite the potential benefits of peer feedback, challenges remain in ensuring its quality, as students may lack the necessary understanding and expertise to provide effective feedback. The paper introduces the concept of AI-generated feedback, particularly through the use of ChatGPT, which has sparked interest in its potential to enhance feedback practices. However, existing literature on this topic is limited and largely non-empirical. This study aims to investigate the quality of feedback generated by ChatGPT in comparison to peer-generated feedback within the context of essay writing, a complex task where students often struggle. By addressing the research questions regarding the differences in feedback quality and its relationship with essay performance, the study seeks to contribute valuable insights into the effectiveness of AI tools in educational feedback processes and their implications for reducing teacher workload while improving student writing quality.
Results
The results of the study address two research questions regarding the quality of feedback generated by peers versus ChatGPT. For the first research question (RQ1), findings indicate that peer-generated feedback is of higher quality than that produced by ChatGPT. This difference is primarily attributed to peers’ superior ability to identify specific issues and areas for improvement, leveraging their cognitive skills and contextual understanding. While ChatGPT excels in providing comprehensive and descriptive feedback, which can aid in summarizing complex arguments, it lacks the nuanced problem-identification capabilities that human peers possess. Nonetheless, ChatGPT’s feedback encompasses essential dimensions of high-quality feedback, suggesting it could serve as a valuable supplementary source in the feedback process, potentially creating a synergistic relationship when combined with peer feedback.
In addressing the second research question (RQ2), the study reveals no significant correlation between the quality of essays and the quality of feedback from either peers or ChatGPT. This finding challenges conventional expectations that higher-quality essays yield better feedback, indicating a complex interplay between writing proficiency and feedback efficacy. The results suggest that the ability to produce a well-constructed essay does not necessarily correlate with the ability to provide insightful feedback. Interestingly, while ChatGPT’s feedback displays a positive correlation with essay quality in terms of affective features, peer feedback shows a negative relationship, implying that as peers recognize improvements in writing, their feedback may shift from emotional support to more constructive criticism. Overall, these findings highlight the multifaceted nature of feedback processes and the cognitive complexities involved in both essay evaluation and feedback provision.
Discussion
The study investigated the effectiveness of ChatGPT as a feedback source in essay writing, comparing its quality to that of peer-generated feedback among 74 graduate students in food sciences at a Dutch university. Utilizing an online module, “Argumentative Essay Writing,” students engaged in a peer feedback process after writing essays on controversial topics relevant to their field. The quality of both essays and feedback was assessed using established coding schemes, with inter-rater reliability confirmed at 75%.
Findings revealed that peer feedback was of significantly higher quality than that generated by ChatGPT, particularly in the areas of problem identification and specificity. While no significant correlation was found between essay quality and the feedback received, a positive relationship emerged between essay quality and the affective component of ChatGPT’s feedback, contrasting with a negative relationship for peer feedback. This study fills a gap in the literature regarding AI-generated feedback in higher education, providing a foundation for future research on the role of AI in enhancing learning outcomes.
Limitations
The limitations of this study are primarily rooted in its narrow scope, as data was collected from a single institution and course with a limited participant pool. This specificity may restrict the generalizability of the findings to broader educational contexts, as diverse academic environments and student demographics could yield different results. Future research should aim for larger, more varied samples to enhance the understanding of feedback dynamics in educational settings. Additionally, the study did not investigate how students utilize feedback from peers and ChatGPT during the revision process, which introduces uncertainty regarding the feedback loop’s effectiveness. Future studies should explore feedback assimilation patterns to better understand their impact on essay improvement.
Moreover, the study employed identical prompts for both peer and ChatGPT feedback, despite evidence suggesting that variations in prompt presentation can affect ChatGPT’s responses. This raises concerns about the comparability of outputs and highlights the need for careful control of prompt-related factors in future research. While the interrater reliability of coder analyses was statistically significant at 75%, it did not meet the desired precision, indicating a need for further coder training. The findings also underscore the potential of Generative AI like ChatGPT to transform educational feedback mechanisms, advocating for its integration alongside peer feedback in higher education to alleviate teacher workload. Future validation studies and comparative analyses with different AI models are recommended to ensure the reliability and effectiveness of AI-generated feedback in enhancing student learning outcomes.