DOI: https://doi.org/10.1057/s41599-024-03522-3
تاريخ النشر: 2024-08-07
المؤلف: Chian-Wen Kao وآخرون
الموضوع الرئيسي: تعليم وتعلم اللغة الإنجليزية كلغة أجنبية/ثانوية
نظرة عامة
تبحث ورقة البحث في تأثير برنامج تقييم الكتابة الآلي (AWE) على نتائج الكتابة في اللغة الثانية (L2)، مع التركيز بشكل خاص على العلاقة بين ثقة الطلاب في مصادر التعليقات وأدائهم في الكتابة. باستخدام تصميم شبه تجريبي، شملت الدراسة مجموعتين من كتّاب L2 ذوي المستوى المتوسط العالي (n = 61 لتغذية راجعة من المعلم المدرك وn = 60 لتغذية راجعة من AWE المدرك) على مدى 18 أسبوعًا من الدورة الأكاديمية في شمال تايوان. أشارت النتائج إلى أن المجموعة التي تدرك تغذية راجعة من AWE تفوقت بشكل كبير على مجموعة تغذية راجعة من المعلم، خاصة في المجالات المتعلقة بالقواعد والمفردات، مما يشير إلى أن الطلاب قد يضعون ثقة أكبر في AWE لأنواع معينة من التعليقات.
تساهم النتائج في فهم كيفية تأثير مصادر التغذية الراجعة المدركة على تحسين الكتابة، مع معالجة الفجوات في الأبحاث السابقة بشأن قابلية نقل تأثيرات تغذية AWE الراجعة إلى الكفاءة في الكتابة المحددة زمنياً. تدعم الدراسة الفكرة القائلة بأن الطلاب بشكل عام يثقون في تغذية AWE الراجعة لتعزيز دقة اللغة، مما يتماشى مع الدراسات السابقة. كما تؤكد على الحاجة إلى مزيد من البحث لاستكشاف دور مشاركة المتعلم في فعالية تغذية AWE الراجعة وتبرز أهمية مراعاة إدراك مصدر التغذية الراجعة في الممارسات التعليمية.
مقدمة
تسلط مقدمة ورقة البحث الضوء على النقاشات المستمرة بشأن فعالية تغذية المعلم الراجعة في الكتابة باللغة الثانية (L2)، مع التأكيد على ضرورتها المدركة بين معلمي اللغة الإنجليزية في الجامعات على الرغم من الآراء المختلطة حول فعاليتها. بينما تعتبر تغذية راجعة تصحيحية مكتوبة (WCF) من المعلمين شائعة، تشير الدراسات إلى أنها لا تعزز أداء الكتابة لدى الطلاب بشكل متسق، مما يدفع بعض الباحثين إلى التساؤل عن موثوقيتها واقتراح أن الطلاب قد يسيئون تفسير أو يقللون من قيمة هذه التغذية الراجعة. تناقش الورقة أيضًا ظهور أنظمة تقييم الكتابة الآلي (AWE) كبدائل محتملة لطرق التغذية الراجعة التقليدية، مع الإشارة إلى التحديات المرتبطة بـ AWE، مثل الجودة غير المتسقة وعدم قدرتها على تحديد الأخطاء اللغوية المحددة بشكل فعال.
علاوة على ذلك، تؤكد المقدمة على أهمية إدراك الطلاب وثقتهم في مصادر التغذية الراجعة، والتي تؤثر بشكل كبير على مشاركتهم ونتائج كتابتهم. على الرغم من الأدبيات الموجودة حول تغذية المعلم الراجعة، هناك فجوة ملحوظة في البحث بشأن ثقة الطلاب في تغذية AWE الراجعة. تهدف الدراسة إلى معالجة هذه الفجوة من خلال التحقيق في العلاقة بين الثقة في مصادر التغذية الراجعة وأداء الكتابة لدى الطلاب، مقترحة سؤالين بحثيين يركزان على تأثير إدراك مصدر التغذية الراجعة على الأداء الكتابي المحدد زمنياً وتفاوت مستويات الثقة بين تغذية AWE وتغذية المعلم الراجعة. تسعى هذه الأبحاث إلى المساهمة في فهم أعمق لكيفية تأثير ديناميات التغذية الراجعة على تحسين الكتابة في L2.
طرق البحث
تمت الموافقة على منهجية البحث لهذه الدراسة من قبل لجنة مراجعة الأخلاقيات بجامعة ماكاو (رقم المرجع: SSHRE20-APP042-FED). استخدمت الدراسة تصميمًا شبه تجريبي، حيث تم تجنيد أربع فصول متكاملة من طلاب الطب (n = 121) في شمال تايوان، الذين كانوا مسجلين في دورات القراءة والكتابة باللغة الإنجليزية الأكاديمية. تم تعيين المشاركين عشوائيًا إما إلى مجموعة تغذية راجعة من المعلم المدرك (n = 61) أو مجموعة تقييم الكتابة الآلي (AWE) (n = 60). كان جميع المشاركين يمتلكون مستوى كفاءة في الكتابة باللغة الإنجليزية لا يقل عن مستوى CEFR B2+. أظهرت تقييمات الدورة أن الطلاب قيموا كل من الدورة وجودة التعليم أعلى من المتوسط الجامعي، مما يشير إلى إدراك إيجابي بشكل عام للتجربة التعليمية.
تم توليد تغذية AWE الراجعة باستخدام PaperRater، الذي يوفر تحليلًا شاملاً لمختلف جوانب الكتابة، بما في ذلك القواعد والمفردات وبنية الجملة وقابلية القراءة. يقدم الأداة تغذية راجعة فورية ودرجات بناءً على معايير متعددة، بما في ذلك الأصالة واستخدام المفردات الأكاديمية. تم تجنيد معلم لغة إنجليزية في الكلية، ذو خبرة واسعة وغير مشارك في الدراسة، لتقييم المقالات (n = 484) باستخدام نفس المعايير مثل PaperRater. كانت موثوقية التقييم بين درجات المعلم ودرجات PaperRater عالية، مع معاملات ارتباط داخل الفئة (ICCs) تتراوح من 0.811 إلى 0.839 عبر مقالات مختلفة، مما يشير إلى توافق قوي بين التقييمات الآلية والبشرية.
النتائج
تحققت نتائج الدراسة من تأثير إدراك مصادر التغذية الراجعة على أداء الكتابة المحدد زمنياً للطلاب. أظهرت اختبارات الطبيعية أن كل من مجموعتي تغذية المعلم المدرك وتغذية AWE المدرك أظهرت قيم انحراف وكورتوز مقبولة، مما يؤكد التوزيع الطبيعي لدرجات الكتابة. وُجد فرق كبير بين درجات الاختبار القبلي للمجموعتين (t = -21.907، p < 0.05)، مما أدى إلى استخدام درجات الاختبار القبلي كمتغير مصاحب في تحليل ANCOVA أحادي الاتجاه. كشفت التحليلات أنه بعد التحكم في درجات الاختبار القبلي، تفوقت مجموعة تغذية AWE المدركة بشكل كبير على مجموعة تغذية المعلم المدركة في درجات الاختبار البعدي (المتوسطات المعدلة: 77.935 مقابل 71.835، F = 21.417، p < 0.05)، مع حجم تأثير متوسط (η² = 0.145). بالإضافة إلى ذلك، تم تقييم ثقة الطلاب في التغذية الراجعة، مما كشف أن مجموعة تغذية AWE المدركة كانت لديها وجهة نظر أكثر إيجابية بشأن التغذية الراجعة مقارنة بمجموعة تغذية المعلم المدركة (t = -2.239، p < 0.05). أشار تحليل ANOVA ثنائي الاتجاه إلى تأثير تفاعل كبير بين مصدر التغذية الراجعة وجوانب الكتابة (F = 2.917، p < 0.05)، مما يشير إلى مستويات متفاوتة من الثقة في التغذية الراجعة عبر مكونات الكتابة المختلفة. أظهر تحليل إضافي أن مجموعة تغذية AWE المدركة كانت لديها ثقة أعلى بشكل كبير في التغذية الراجعة بشأن قواعد اللغة (t = -2.551، p < 0.0125) والاختيارات المعجمية (t = -2.701، p < 0.0125)، بينما لم تُلاحظ اختلافات كبيرة في طول الجمل/الانتقالات والانتحال/الأخطاء الإملائية. أشارت تحليلات ANOVA أحادية الاتجاه المتكررة إلى عدم وجود اختلافات كبيرة في الثقة عبر الجوانب الأربعة للكتابة داخل أي من المجموعتين.
المناقشة
تسلط قسم المناقشة في ورقة البحث الضوء على الدور المتطور لأدوات تقييم الكتابة الآلي (AWE) في دعم الكتابة باللغة الثانية (L2)، خاصة في السياقات التعليمية. توفر أنظمة AWE، التي تستفيد من معالجة اللغة الطبيعية وتعلم الآلة، تغذية راجعة مفصلة تتجاوز فحوصات القواعد والإملاء التقليدية، مما يجعلها تزداد شعبية بين كتّاب L2. تشير الدراسات إلى أن AWE يمكن أن تعزز بشكل كبير الدقة اللغوية للكتابة في L2، على الرغم من أن إدراك فعاليتها يختلف بين الطلاب. بينما يعبر بعض الطلاب عن تشكك بشأن قدرة AWE على تعزيز التماسك وتطوير الأفكار مقارنة بتغذية المعلم الراجعة، يعترف آخرون بقيمتها، خاصة عند دمجها مع مدخلات المعلم.
تبحث الدراسة أيضًا في كيفية تأثير إدراك الطلاب لمصادر التغذية الراجعة – على وجه التحديد، ما إذا كانوا يرون التغذية الراجعة ك coming from a teacher أو نظام آلي – على أدائهم في الكتابة. تشير النتائج إلى أن الطلاب الذين اعتقدوا أنهم تلقوا تغذية راجعة من AWE (PaperRater) تفوقوا على أولئك الذين اعتقدوا أنها من معلم، مما يدل على أن الثقة في مصدر التغذية الراجعة تلعب دورًا حاسمًا في تحسين الكتابة. تتأثر هذه الثقة بفهم الطلاب لكيفية عمل AWE وهدفها، مما يتماشى مع نظرية الثقة بين البشر والآلات. تؤكد النتائج على أهمية دمج AWE في تعليم الكتابة باللغة الثانية بشكل فعال، حيث يميل الطلاب ذوو مستويات الكفاءة الأعلى إلى التفاعل بشكل إيجابي أكثر مع تغذية AWE الراجعة، خاصة فيما يتعلق بالقواعد والاختيارات المعجمية. بشكل عام، تؤكد الدراسة على الحاجة إلى مزيد من الاستكشاف حول كيفية تأثير إدراك التغذية الراجعة على نتائج الكتابة في L2، خاصة في سياقات الكتابة المحددة زمنياً.
DOI: https://doi.org/10.1057/s41599-024-03522-3
Publication Date: 2024-08-07
Author(s): Chian-Wen Kao et al.
Primary Topic: EFL/ESL Teaching and Learning
Overview
The research paper investigates the impact of Automated Writing Evaluation (AWE) software on second language (L2) writing outcomes, particularly focusing on the relationship between students’ trust in feedback sources and their writing performance. Utilizing a quasi-experimental design, the study involved two groups of high-intermediate L2 writers (n = 61 for perceived teacher feedback and n = 60 for perceived AWE feedback) over an 18-week academic course in Northern Taiwan. Results indicated that the group perceiving AWE feedback significantly outperformed the teacher feedback group, particularly in areas related to grammar and vocabulary, suggesting that students may place greater trust in AWE for specific types of feedback.
The findings contribute to the understanding of how perceived feedback sources influence writing improvement, addressing gaps in previous research regarding the transferability of AWE feedback effects to timed writing proficiency. The study supports the notion that students generally trust AWE feedback for enhancing language accuracy, aligning with earlier studies. It emphasizes the need for future research to explore the role of learner engagement in the effectiveness of AWE feedback and highlights the importance of considering feedback source perception in educational practices.
Introduction
The introduction of the research paper highlights the ongoing debates regarding the efficacy of teacher feedback in second language (L2) writing, emphasizing its perceived necessity among university English instructors despite mixed opinions on its effectiveness. While written corrective feedback (WCF) from teachers is prevalent, studies indicate that it does not consistently enhance students’ writing performance, leading some researchers to question its reliability and suggest that students may misinterpret or undervalue such feedback. The paper also discusses the emergence of automated writing evaluation (AWE) systems as potential alternatives to traditional feedback methods, noting the challenges associated with AWE, such as inconsistent quality and its inability to identify specific language errors effectively.
Furthermore, the introduction underscores the importance of students’ perceptions and trust in feedback sources, which significantly influence their engagement and writing outcomes. Despite existing literature on teacher feedback, there is a notable gap in research concerning students’ trust in AWE feedback. The study aims to address this gap by investigating the relationship between trust in feedback sources and students’ writing performance, proposing two research questions focused on the impact of feedback source perception on timed writing performance and the variation in trust levels between AWE and teacher feedback. This research seeks to contribute to a deeper understanding of how feedback dynamics affect L2 writing improvement.
Methods
The research methodology for this study was approved by the University of Macau ethics review board (reference no. SSHRE20-APP042-FED). The study employed a quasiexperimental design, recruiting four intact classes of medical students (n = 121) in northern Taiwan, who were enrolled in academic English reading and writing courses. Participants were randomly assigned to either a perceived teacher feedback group (n = 61) or an automated writing evaluation (AWE) group (n = 60). All participants had English writing proficiency at least at the CEFR B2+ level. Course evaluations indicated that students rated both the course and teaching quality above the university average, suggesting a generally positive perception of the instructional experience.
The AWE feedback was generated using PaperRater, which provides comprehensive analysis on various aspects of writing, including grammar, vocabulary, sentence structure, and readability. The tool offers immediate feedback and scores based on multiple criteria, including originality and academic vocabulary usage. A college English teacher, with extensive experience and not involved in the study, was recruited to grade the essays (n = 484) using the same criteria as PaperRater. Inter-rater reliability between the teacher’s scores and PaperRater’s scores was high, with intra-class correlation coefficients (ICCs) ranging from 0.811 to 0.839 across different essays, indicating a strong agreement between the automated and human evaluations.
Results
The results of the study investigated the impact of feedback source perceptions on students’ timed writing performance. Normality tests indicated that both perceived teacher feedback and perceived automated feedback groups exhibited acceptable skewness and kurtosis values, confirming normal distribution of writing scores. A significant difference was found between the pretest scores of the two groups (t = -21.907, p < 0.05), leading to the use of pretest scores as a covariate in a one-way ANCOVA. The analysis revealed that after controlling for pretest scores, the perceived automated feedback group significantly outperformed the perceived teacher feedback group in posttest scores (adjusted means: 77.935 vs. 71.835, F = 21.417, p < 0.05), with a medium effect size (η² = 0.145). Additionally, students' trust in feedback was assessed, revealing that the perceived automated feedback group had a more favorable view of feedback compared to the perceived teacher feedback group (t = -2.239, p < 0.05). A two-way ANOVA indicated a significant interaction effect between feedback source and writing aspects (F = 2.917, p < 0.05), suggesting differing levels of trust in feedback across various writing components. Further analysis showed that the perceived automated feedback group had significantly higher trust in feedback regarding grammar rules (t = -2.551, p < 0.0125) and lexical choices (t = -2.701, p < 0.0125), while no significant differences were observed for transition/sentence length and plagiarism/misspelling. Repeated-measure one-way ANOVAs indicated no significant differences in trust across the four writing aspects within either group.
Discussion
The discussion section of the research paper highlights the evolving role of Automated Writing Evaluation (AWE) tools in supporting second language (L2) writing, particularly in educational contexts. AWE systems, which leverage natural language processing and machine learning, provide detailed feedback that extends beyond traditional grammar and spelling checks, making them increasingly popular among L2 writers. Studies indicate that AWE can significantly enhance the linguistic accuracy of L2 writing, although perceptions of its effectiveness vary among students. While some students express skepticism about AWE’s ability to foster coherence and idea development compared to teacher feedback, others recognize its value, especially when combined with instructor input.
The study further investigates how students’ perceptions of feedback sources—specifically, whether they view feedback as coming from a teacher or an automated system—affect their writing performance. Findings suggest that students who believed they received feedback from AWE (PaperRater) outperformed those who thought it was from a teacher, indicating that trust in the feedback source plays a crucial role in writing improvement. This trust is influenced by students’ understanding of how AWE operates and its purpose, aligning with the human-automation trust theory. The results underscore the importance of integrating AWE into L2 writing instruction effectively, as students with higher proficiency levels tend to engage more positively with AWE feedback, particularly regarding grammar and lexical choices. Overall, the study emphasizes the need for further exploration of how feedback perceptions impact L2 writing outcomes, especially in timed writing contexts.