DOI: https://doi.org/10.3389/fpsyg.2024.1514545
PMID: https://pubmed.ncbi.nlm.nih.gov/39902118
تاريخ النشر: 2025-01-20
المؤلف: Qingran Wang
الموضوع الرئيسي: اعتماد التكنولوجيا وسلوك المستخدم
نظرة عامة
تستكشف هذه الورقة البحثية العوامل التي تؤثر على اعتماد متعلمي اللغة الإنجليزية كلغة أجنبية (EFL) لنماذج اللغة الكبيرة (LLMs) في الكتابة الأكاديمية المتعلقة بالأعمال. باستخدام إطار نظرية القبول واستخدام التكنولوجيا الموحدة (UTAUT)، شملت الدراسة 238 مشاركًا خضعوا لتدريب على LLMs. كانت المتغيرات الرئيسية التي تم فحصها تشمل توقع الأداء، توقع الجهد، التأثير الاجتماعي، الدافع، الخلفية الإقليمية، وتجارب التعلم السابقة. كشفت النتائج أن توقع الأداء والتأثير الاجتماعي توقعا بشكل كبير نوايا المتعلمين السلوكية لاستخدام LLMs، بينما ظهر الدافع كعامل حاسم يؤثر على كل من النية والاستخدام الفعلي. ومن المثير للاهتمام أن توقع الجهد لم يؤثر بشكل كبير على النية السلوكية، مما يشير إلى أن المتعلمين يفضلون الفوائد المدركة على سهولة الاستخدام. علاوة على ذلك، وجدت الدراسة أن الدور الوسيط للدافع لم يكن مدعومًا، وأن الاختلافات في الخلفية الإقليمية وتجارب التعلم السابقة لم تؤثر بشكل كبير على النية السلوكية أو الاستخدام.
تساهم الدراسة في الأدبيات من خلال توفير إطار نظري لفهم قبول التكنولوجيا في دورات الكتابة باللغة الإنجليزية كلغة أجنبية، خاصة في سياق التعليم العالي الصيني. وتؤكد على أهمية تعزيز توقع الأداء والتأثير الاجتماعي لتحسين قبول المتعلمين لـ LLMs. تشمل الآثار العملية تعزيز الدافع الداخلي من خلال تحديد الأهداف، والتغذية الراجعة الفورية، والتعاون بين الأقران، والتلعيب، بالإضافة إلى التأكيد على الصلة الواقعية لـ LLMs في تعزيز مهارات الكتابة التجارية. على الرغم من مساهماتها، تعترف الدراسة بالقيود، خاصة تركيزها على متعلمي EFL في الكتابة الأكاديمية، مما يشير إلى الحاجة لمزيد من البحث في سياقات أوسع.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على التأثير التحويلي للتقنيات المتقدمة، وخاصة نماذج اللغة الكبيرة (LLMs)، على التعليم، وخاصة في مجال الكتابة الأكاديمية باللغة الإنجليزية المتعلقة بالأعمال. تؤكد على إمكانيات LLMs، مثل سلسلة GPT من OpenAI، لتعزيز التعلم من خلال توليد نصوص متماسكة وتوفير تغذية راجعة في الوقت الفعلي. ومع ذلك، تشير الورقة أيضًا إلى الفجوات التعليمية التي تفاقمت بسبب التحضر السريع في الصين، مما يؤثر بشكل خاص على متعلمي اللغة الإنجليزية كلغة أجنبية (EFL) في البيئات الريفية مقابل الحضرية. لمعالجة هذه الفجوات، تهدف الدراسة إلى استكشاف العوامل التي تؤثر على قبول واعتماد LLMs بين متعلمي EFL الصينيين، باستخدام نموذج نظرية القبول واستخدام التكنولوجيا الموحدة (UTAUT) كإطار نظري.
تستكشف الأبحاث مجموعة متنوعة من المتنبئين بقبول التكنولوجيا، بما في ذلك الدافع، الخلفية الإقليمية، تجارب التعلم السابقة، توقع الأداء، توقع الجهد، التأثير الاجتماعي، وظروف التيسير. تم إجراء الدراسة مع 238 طالبًا جامعيًا مسجلين في دورة كتابة اللغة الإنجليزية للأعمال في جامعة مرموقة في بكين، باستخدام LLMs لمهام الكتابة الأكاديمية المختلفة. تم إجراء استبيان لتقييم تصورات المتعلمين بشأن اعتماد LLM، وتم تحليل البيانات باستخدام نمذجة المعادلات الهيكلية باستخدام المربعات الصغرى الجزئية (PLS-SEM). تهدف النتائج إلى تقديم رؤى تجريبية حول قبول LLMs في سياقات EFL المتنوعة، مما يساهم في فهم أفضل لكيفية تعزيز التقنيات الجديدة لتعلم اللغة في الفصول الدراسية الكبيرة التي تتميز بتنوع الخلفيات بشكل كبير.
طرق البحث
في هذه الدراسة، شارك 238 طالبًا في السنة الأولى من كلية الأعمال في بكين في استبيان لتقييم دوافعهم وقبولهم لنماذج اللغة الكبيرة (LLMs) في دورة كتابة اللغة الإنجليزية للأعمال. كانت الدورة تهدف إلى تعزيز مهارات الكتابة الأكاديمية باللغة الإنجليزية من خلال تسعة أبعاد تقييم تم تحديدها بواسطة وانغ وفان (2020). تم تقديم LLMs المختلفة للمشاركين وتشجيعهم على تطبيقها في ممارسات الكتابة الخاصة بهم. تم إجراء استبيان عبر SurveyMonkey لجمع البيانات حول دوافع الطلاب، وقبولهم لـ LLMs، وخلفياتهم الإقليمية، وتجاربهم التعليمية السابقة. ضمنت الدراسة السرية والمشاركة الطوعية، مما أسفر عن 238 استجابة صالحة بعد أن اختار أربعة طلاب الانسحاب.
استخدمت الأبحاث عوامل الدافع الرئيسية التي حددها تاجوتشي وآخرون (2009) لتقييم دافع متعلمي EFL تجاه LLMs، بما في ذلك التكامل، والأداة، والمواقف، واثنين من مقاييس المعايير: تفضيل اختيار اللغة والجهد التعليمي المقصود. تم اقتراح نموذج نظري بناءً على إطار UTAUT، مما يشير إلى أن النية السلوكية تتوسط العلاقة بين الدافع، توقع الأداء، توقع الجهد، التأثير الاجتماعي، وسلوك الاستخدام. بالإضافة إلى ذلك، وُجد أن عوامل مثل الدافع، وظروف التيسير، والخلفية الإقليمية، وتجربة التعلم على الكمبيوتر، وتوجه المدرسة الثانوية تؤثر مباشرة على سلوك الاستخدام، مما يبرز أهمية كل من العوامل النفسية والخارجية في اعتماد التكنولوجيا. استخدمت الدراسة نمذجة المعادلات الهيكلية باستخدام المربعات الصغرى الجزئية (PLS-SEM) لتحليل العلاقات الهيكلية بين هذه المتغيرات، مع عمل الدافع كمتغير وسطي في العديد من العلاقات الرئيسية.
النتائج
تؤكد نتائج الدراسة موثوقية وصلاحية نموذج UTAUT المقترح في التنبؤ بنوايا متعلمي اللغة الإنجليزية كلغة أجنبية (EFL) لاستخدام نماذج اللغة الكبيرة (LLMs) في الكتابة الأكاديمية. أظهر النموذج قوة تنبؤية قوية، مع قيم R² تبلغ 0.55 لكل من النية السلوكية وسلوك الاستخدام، مما يشير إلى تفسير كبير للتباين في هذه البنى. تدعم قيمة الجذر المتوسط المعياري المتبقي (SRMR) البالغة 0.07 ملاءمة النموذج للبيانات الملاحظة. أظهرت تقييمات الموثوقية أن جميع البنى تلبي العتبات المقبولة لكرونباخ α، والموثوقية المركبة (CR)، ومتوسط التباين المستخرج (AVE)، مما يؤكد على التناسق الداخلي الجيد.
كشفت نمذجة المعادلات الهيكلية أن توقع الأداء ($\beta = 0.29$، $p = 0.002$) والتأثير الاجتماعي ($\beta = 0.22$، $p = 0.003$) يؤثران بشكل كبير على نوايا متعلمي EFL لاستخدام LLMs، بينما لم يظهر توقع الجهد ($\beta = 0.03$، $p = 0.588$) دلالة إحصائية. بالإضافة إلى ذلك، كانت النية السلوكية ($\beta = 0.48$، $p = 0.000$) متنبئًا قويًا بسلوك الاستخدام الفعلي. ومع ذلك، لم تت correlate عوامل مثل ظروف التيسير والخلفية الإقليمية بشكل كبير مع سلوك الاستخدام. تبرز الدراسة الحاجة إلى مزيد من البحث لاستكشاف تأثير الدافع والمتغيرات الوسيطة الأخرى عبر سياقات أكاديمية مختلفة، فضلاً عن دمج مقاييس موضوعية لفهم أكثر شمولاً لاعتماد LLMs في البيئات التعليمية.
المناقشة
تؤكد قسم المناقشة في الورقة البحثية على تطبيق نموذج UTAUT في دورات الكتابة المعززة بالتكنولوجيا، مع التركيز بشكل خاص على قبول أدوات الكتابة الرقمية بين الطلاب. يدمج نموذج UTAUT مجموعة من الأطر النظرية للتنبؤ بقبول التكنولوجيا من خلال أربعة متغيرات أساسية: توقع الأداء، توقع الجهد، التأثير الاجتماعي، وظروف التيسير. تشير النتائج إلى أن توقع الأداء يؤثر بشكل كبير على نوايا الطلاب لاستخدام برامج الكتابة، حيث إن الطلاب الذين يرون أن التكنولوجيا مفيدة لتحسين مهارات الكتابة لديهم هم أكثر احتمالًا للتفاعل معها. بالإضافة إلى ذلك، يلعب توقع الجهد دورًا حاسمًا؛ عندما تُعتبر الأدوات الرقمية سهلة الاستخدام، يظهر الطلاب استعدادًا متزايدًا لاستخدامها. كما يؤثر التأثير الاجتماعي من الأقران والمدرسين على اعتماد التكنولوجيا، مما يبرز أهمية مواقف المعلمين تجاه التكنولوجيا في تعزيز بيئة تعليمية داعمة.
علاوة على ذلك، يتم التأكيد على دور الدافع كمتنبئ ووسيط ضمن إطار UTAUT. تشير الأبحاث إلى أن المتعلمين المتحمسين هم أكثر احتمالًا لاعتماد التقنيات التعليمية، حيث يعزز الدافع الداخلي من تصورات الفائدة وسهولة الاستخدام. تستكشف الدراسة أيضًا الإمكانات التحويلية لنماذج اللغة الكبيرة (LLMs) في الكتابة الأكاديمية، مشيرة إلى قدرتها على توفير تغذية راجعة فورية ومساعدة شخصية، مما يمكن أن يحسن بشكل كبير مهارات الكتابة لدى الطلاب. ومع ذلك، يتم الاعتراف بالتحديات مثل الغش الأكاديمي والحاجة إلى الانخراط النقدي مع المحتوى الذي تم إنشاؤه بواسطة الذكاء الاصطناعي. تختتم الورقة بالدعوة لمزيد من الاستكشاف لنموذج UTAUT في سياق LLMs، خاصة فيما يتعلق بقبول متعلمي EFL لهذه التقنيات في الكتابة الأكاديمية المتعلقة بالأعمال.
DOI: https://doi.org/10.3389/fpsyg.2024.1514545
PMID: https://pubmed.ncbi.nlm.nih.gov/39902118
Publication Date: 2025-01-20
Author(s): Qingran Wang
Primary Topic: Technology Adoption and User Behaviour
Overview
This research paper investigates the factors influencing English as a Foreign Language (EFL) learners’ adoption of large language models (LLMs) for business-related academic writing. Utilizing the Unified Theory of Acceptance and Use of Technology (UTAUT) framework, the study involved 238 participants who had undergone training in LLMs. Key variables examined included performance expectancy, effort expectancy, social influence, motivation, regional background, and previous learning experiences. The findings revealed that performance expectancy and social influence significantly predicted learners’ behavioral intentions to use LLMs, while motivation emerged as a crucial factor influencing both intention and actual usage. Interestingly, effort expectancy did not significantly impact behavioral intention, suggesting that learners prioritize perceived benefits over ease of use. Furthermore, the study found that the moderating role of motivation was not supported, and differences in regional background and prior learning experiences did not significantly affect behavioral intention or usage.
The study contributes to the literature by providing a theoretical framework for understanding the acceptance of technology in EFL writing courses, particularly within the context of Chinese higher education. It emphasizes the importance of enhancing performance expectancy and social influence to improve learners’ acceptance of LLMs. Practical implications include fostering intrinsic motivation through goal-setting, immediate feedback, peer collaboration, and gamification, as well as emphasizing the real-world relevance of LLMs in enhancing business writing skills. Despite its contributions, the study acknowledges limitations, particularly its focus on EFL learners in academic writing, suggesting a need for further research in broader contexts.
Introduction
The introduction of this research paper highlights the transformative impact of advanced technologies, particularly large language models (LLMs), on education, specifically in the realm of business-related English academic writing. It emphasizes the potential of LLMs, such as OpenAI’s GPT series, to enhance learning by generating coherent text and providing real-time feedback. However, the paper also notes the educational disparities exacerbated by rapid urbanization in China, particularly affecting English as a Foreign Language (EFL) learners in rural versus urban settings. To address these disparities, the study aims to explore the factors influencing the acceptance and adoption of LLMs among Chinese EFL learners, using the Unified Theory of Acceptance and Use of Technology (UTAUT) model as a theoretical framework.
The research investigates various predictors of technology acceptance, including motivation, regional background, previous learning experiences, performance expectancy, effort expectancy, social influence, and facilitating conditions. The study was conducted with 238 undergraduate students enrolled in a Business English Writing course at a prestigious university in Beijing, utilizing LLMs for various academic writing tasks. A survey was administered to assess learners’ perceptions regarding LLM adoption, and data were analyzed using Partial Least Squares Structural Equation Modeling (PLS-SEM). The findings aim to provide empirical insights into the acceptance of LLMs in diverse EFL contexts, contributing to a better understanding of how new technologies can enhance language learning in large classroom settings characterized by significant background diversity.
Methods
In this study, 238 first-year undergraduate students from a Business School in Beijing participated in a survey to assess their motivation and acceptance of Large Language Models (LLMs) in a Business English Writing course. The course aimed to enhance English academic writing skills through nine assessment dimensions outlined by Wang and Fan (2020). Participants were introduced to various LLMs and encouraged to apply them in their writing practices. A questionnaire was administered via SurveyMonkey to gather data on students’ motivations, acceptance of LLMs, regional backgrounds, and prior learning experiences. The study ensured confidentiality and voluntary participation, resulting in 238 valid responses after four students opted out.
The research utilized key motivational factors identified by Taguchi et al. (2009) to evaluate EFL learners’ motivation towards LLMs, including integrativeness, instrumentality, attitudes, and two criterion measures: language choice preference and intended learning effort. A theoretical model based on the UTAUT framework was proposed, suggesting that behavioral intention mediates the relationship between motivation, performance expectancy, effort expectancy, social influence, and use behavior. Additionally, factors such as motivation, facilitating conditions, regional background, computer learning experience, and high school stream were found to directly influence use behavior, highlighting the importance of both psychological and external factors in technology adoption. The study employed Partial Least Squares Structural Equation Modeling (PLS-SEM) to analyze the structural relationships among these variables, with motivation serving as a moderating variable in several key relationships.
Results
The results of the study confirm the reliability and validity of the proposed UTAUT model in predicting English as a Foreign Language (EFL) learners’ intentions to use Large Language Models (LLMs) for academic writing. The model demonstrated strong predictive power, with R² values of 0.55 for both behavioral intention and use behavior, indicating a substantial explanation of variance in these constructs. The Standardized Root Mean Residual (SRMR) value of 0.07 further supports the model’s fit to the observed data. Reliability assessments showed that all constructs met the acceptable thresholds for Cronbach’s α, Composite Reliability (CR), and Average Variance Extracted (AVE), confirming good internal consistency.
Structural equation modeling revealed that performance expectancy ($\beta = 0.29$, $p = 0.002$) and social influence ($\beta = 0.22$, $p = 0.003$) significantly affect EFL learners’ behavioral intentions to use LLMs, while effort expectancy ($\beta = 0.03$, $p = 0.588$) did not show statistical significance. Additionally, behavioral intention ($\beta = 0.48$, $p = 0.000$) was a strong predictor of actual use behavior. However, factors such as facilitating conditions and regional background did not significantly correlate with use behavior. The study highlights the need for further research to explore the impact of motivation and other moderating variables across different academic contexts, as well as to incorporate objective measures for a more comprehensive understanding of LLM adoption in educational settings.
Discussion
The discussion section of the research paper emphasizes the application of the UTAUT model in technology-enhanced writing courses, particularly focusing on the acceptance of digital writing tools among students. The UTAUT model integrates various theoretical frameworks to predict technology acceptance through four core variables: performance expectancy, effort expectancy, social influence, and facilitating conditions. Findings indicate that performance expectancy significantly influences students’ intentions to use writing software, as students who perceive technology as beneficial for enhancing their writing skills are more likely to engage with it. Additionally, effort expectancy plays a crucial role; when digital tools are perceived as user-friendly, students show increased willingness to utilize them. Social influence from peers and instructors also affects technology adoption, highlighting the importance of educators’ attitudes towards technology in fostering a supportive learning environment.
Furthermore, the role of motivation is underscored as both a predictor and moderator within the UTAUT framework. Research suggests that motivated learners are more likely to adopt educational technologies, as intrinsic motivation enhances perceptions of usefulness and ease of use. The study also explores the transformative potential of large language models (LLMs) in academic writing, noting their ability to provide immediate feedback and personalized assistance, which can significantly improve students’ writing skills. However, challenges such as academic dishonesty and the need for critical engagement with AI-generated content are acknowledged. The paper concludes by advocating for further exploration of the UTAUT model in the context of LLMs, particularly regarding EFL learners’ acceptance of these technologies in business-related English academic writing.