DOI: https://doi.org/10.1111/ijal.70115
تاريخ النشر: 2026-01-21
المؤلف: Kelly Kendro وآخرون
الموضوع الرئيسي: تقنيات معالجة اللغة الطبيعية
نظرة عامة
تستكشف هذه الدراسة تنوع المفردات في النصوص التي تم إنشاؤها بواسطة نماذج ChatGPT المختلفة (ChatGPT-3.5، ChatGPT-4، ChatGPT-o4 mini، وChatGPT-4.5) مقارنة بالنصوص التي كتبها كتّاب بشريين (مشاركون من اللغة الأولى والثانية، عددهم = 240) عبر مستويات تعليمية مختلفة. تم تحليل ستة أبعاد من تنوع المفردات: الحجم، الوفرة، التنوع-التكرار، التوازن، التباين، والتشتت. أظهرت النتائج اختلافات كبيرة في تنوع المفردات بين النصوص التي تم إنشاؤها بواسطة LLM والنصوص المكتوبة بشريًا، حيث أظهرت ChatGPT-o4 mini وChatGPT-4.5 أكبر الاختلافات. من الجدير بالذكر أن ChatGPT-4.5 أظهرت تنوعًا لغويًا أعلى من النماذج الأقدم، على الرغم من إنتاجها لعدد أقل من الرموز. ظل تنوع المفردات لدى الكتّاب البشر ثابتًا عبر المجموعات الفرعية.
تشير النتائج إلى أن النصوص التي تم إنشاؤها بواسطة ChatGPT لا تحاكي أنماط الكتابة البشرية من حيث تنوع المفردات، مما يثير تساؤلات حول ملاءمتها كنماذج لتعليم الكتابة باللغة الثانية. بينما أظهرت الأبحاث السابقة أن الحكام البشر غالبًا ما يواجهون صعوبة في التمييز بين نصوص GenAI والنصوص البشرية، كشفت تحليلات هذه الدراسة عن تمييز واضح. تمتد الآثار إلى بيداغوجيا اللغة، حيث إن الاعتماد على النصوص التي تم إنشاؤها بواسطة الذكاء الاصطناعي قد يعرض الطلاب لأنماط لغوية غير بشرية، مما قد يؤثر على تطور اللغة ومعايير الكتابة الأكاديمية. يجب أن تستكشف الأبحاث المستقبلية آثار الكتابة المدعومة بواسطة GenAI على كل من الكتّاب من اللغة الأولى والثانية، مع الأخذ في الاعتبار تأثير أنواع المهام وإمكانية هذه الأدوات لتعزيز تنوع المفردات في الكتابة.
مقدمة
لقد أحدث إدخال أدوات الذكاء الاصطناعي التوليدي العامة (GenAI) ثورة في معالجة النصوص وإنتاجها، مما أثار تساؤلات حاسمة حول قدراتها وقيودها، خاصة فيما يتعلق بالكتابة الشبيهة بالبشر. ظهرت مخاوف بشأن قضايا مثل الانتحال الذي يسهلّه GenAI وموثوقية المواد التي تم إنشاؤها لأغراض تعليمية. وقد ركزت مجموعة متزايدة من الأبحاث على التمييز بين النصوص البشرية والنصوص التي تم إنشاؤها بواسطة GenAI، مستخدمةً كل من التقييمات الذاتية والتحليلات اللغوية المنهجية لتحديد الاختلافات القابلة للقياس في استخدام اللغة.
على الرغم من النتائج التي تشير إلى أن البشر غالبًا ما يواجهون صعوبة في التمييز بين الكتابة البشرية وGenAI، فإن التباين المتأصل في أنماط الكتابة البشرية يعقد تقييم ما إذا كانت مخرجات GenAI تختلف بشكل كبير عبر مستويات تعليمية مختلفة وكفاءة اللغة الإنجليزية. تهدف هذه الدراسة إلى استكشاف تنوع المفردات في النصوص التي أنتجها GenAI والكتّاب البشر استجابةً لمطلب مقال جدلي، ساعيةً لتحديد ما إذا كانت اللغة التي تم إنشاؤها بواسطة GenAI تتماشى بشكل أقرب مع مجموعات معينة من الكتّاب البشر.
الطرق
في هذه الدراسة، سعى الباحثون إلى التحقيق في استجابات كل من المشاركين البشر وإصدارات مختلفة من ChatGPT لمطلب امتحان TOEFL بشأن قيمة المعرفة الواسعة مقابل التخصص. تطلب المطلب من المشاركين كتابة مقال لا يقل عن 250 كلمة، مدعومًا بأسباب وأمثلة محددة. تم تكليف أربعة إصدارات من ChatGPT (ChatGPT-3.5، ChatGPT-4.0، ChatGPT-o4 mini، وChatGPT-4.5) بتوليد استجابات المقال باستخدام التحفيز بدون أمثلة سابقة أو تعديلات على معلمات إبداع النماذج.
شارك ما مجموعه 240 مشاركًا بشريًا في المطلب، وأكملوا استبيانًا ديموغرافيًا وقاموا بتقييم ذاتي لقدراتهم في الكتابة باللغة الإنجليزية، بما في ذلك جوانب مثل التعقيد، والطلاقة، والتحديات التي واجهوها في الكتابة. بالنسبة لأولئك المشاركين الذين كانت لغتهم السائدة ليست الإنجليزية، تم إجراء اختبار C لتقييم كفاءتهم في اللغة الإنجليزية، جنبًا إلى جنب مع تقييمات ذاتية لمهارات الكتابة في لغتهم الأولى (L1). جمعت الدراسة 120 استجابة من نماذج ChatGPT، حيث تم تحفيز كل نموذج ثلاثين مرة، مما سمح بإجراء تحليل مقارن للمقالات البشرية والمولدة بواسطة الذكاء الاصطناعي.
النتائج
تناولت نتائج الدراسة أربعة أسئلة بحثية (RQs) تتعلق بتنوع المفردات في النصوص التي تم إنشاؤها بواسطة ChatGPT مقارنة بالنصوص المكتوبة بشريًا. بالنسبة للسؤال البحثي الأول (RQ1)، أشار تحليل MANOVA أحادي الاتجاه إلى وجود اختلافات كبيرة في مقاييس تنوع المفردات (الحجم، الوفرة، MATTR، التوازن، التباين، والتشتت) بين نصوص ChatGPT والنصوص التي تم إنشاؤها بشريًا، مع حجم تأثير كبير (Wilks’ Λ = .181، F(6، 353) = 267.06، p < .001). أكدت التحليلات اللاحقة، بما في ذلك MANOVA المعتمدة على التباديل وANOVAs بعد الاختبار، أن نصوص ChatGPT أظهرت تنوعًا لغويًا أعلى بشكل ملحوظ عبر معظم المقاييس، باستثناء التشتت، حيث أظهرت قيم ChatGPT المنخفضة تنوعًا أعلى. بالنسبة للسؤال البحثي الثاني (RQ2)، كشف تحليل MANOVA أحادي الاتجاه عن اختلافات كبيرة بين أربعة نماذج من ChatGPT، حيث أنتج ChatGPT-4.0 أطول النصوص وChatGPT-4.5 الأقصر. أظهر التحليل أن أحدث النماذج (ChatGPT-o4 mini وChatGPT-4.5) كانت لديها أعلى مستويات من تنوع المفردات لمقياس MATTR، والتوازن، والتشتت. لم يجد السؤال البحثي الثالث (RQ3) أي اختلافات كبيرة في تنوع المفردات بين الكتّاب البشر المصنفين حسب مستوى التعليم وحالة L1/L2. أخيرًا، قيم السؤال البحثي الرابع (RQ4) ما إذا كان أي نموذج من ChatGPT أنتج قيم تنوع مفردات مشابهة للكتّاب البشر، كاشفًا أنه بينما أظهرت مقاييس التباين بعض التداخل، ميزت مقاييس أخرى باستمرار بين النصوص البشرية ونصوص ChatGPT. حقق تحليل آلة الدعم الناقل (SVM) دقة عالية بلغت 95.8% في تصنيف النصوص كإنسان أو ChatGPT، مع كون التشتت هو المتنبئ الأكثر تأثيرًا. ومع ذلك، واجه تحليل SVM الثاني صعوبة في تمييز النصوص بناءً على خلفية الكاتب أو إصدار ChatGPT، محققًا دقة تنبؤ إجمالية بلغت 16.7% فقط.
المناقشة
تستكشف الدراسة الحالية تنوع المفردات في المقالات الجدلية التي تم إنشاؤها بواسطة نماذج ChatGPT المختلفة مقارنة بالنصوص المكتوبة من قبل مشاركين بشريين ذوي خلفيات تعليمية وكفاءات لغوية مختلفة. باستخدام ستة أبعاد من تنوع المفردات، كشفت التحليلات عن اختلافات كبيرة بين النصوص البشرية والنصوص التي تم إنشاؤها بواسطة ChatGPT، حيث أظهر ChatGPT مستويات أعلى من تنوع المفردات عبر جميع الأبعاد. تتناقض هذه النتيجة مع بعض الأبحاث السابقة التي أشارت إلى تنوع لغوي أقل أو أكثر تباينًا في النصوص التي تم إنشاؤها بواسطة LLM. من الجدير بالذكر أنه بينما أظهرت نماذج ChatGPT بعض التباين في ملفاتها الشخصية لتنوع المفردات، فإنها عمومًا أنتجت أنماطًا مميزة عن الكتابة البشرية، خاصة من حيث التشتت والتنوع-التكرار.
علاوة على ذلك، استكشفت الدراسة ما إذا كان تنوع المفردات لدى الكتّاب البشر يختلف بناءً على وضعهم اللغوي (L1 مقابل L2) ومستوى التعليم. من المدهش أنه لم يتم العثور على اختلافات كبيرة بين المجموعات الثمانية من المشاركين البشر، مما يشير إلى أن مطلب المهمة قد لا يكون قد أثار التباين المتوقع في تنوع المفردات. يتماشى هذا مع بعض الأدبيات بينما يتعارض مع أخرى تبرز الاختلافات بين الكتّاب من اللغة الأولى والثانية. في النهاية، تشير النتائج إلى أنه بينما تظهر النصوص التي تم إنشاؤها بواسطة ChatGPT تنوعًا لغويًا أعلى، إلا أنها لا تعيد إنتاج الأنماط الدقيقة للكتابة البشرية، مما يثير اعتبارات مهمة لاستخدام النصوص التي تم إنشاؤها بواسطة الذكاء الاصطناعي في السياقات التعليمية. يجب أن تستكشف الأبحاث المستقبلية آثار هذه الاختلافات وإمكانية أدوات GenAI للمساعدة في الكتابة، خاصة في بيئات تعلم اللغة الثانية.
DOI: https://doi.org/10.1111/ijal.70115
Publication Date: 2026-01-21
Author(s): Kelly Kendro et al.
Primary Topic: Natural Language Processing Techniques
Overview
This study investigates the lexical diversity of texts generated by various ChatGPT models (ChatGPT-3.5, ChatGPT-4, ChatGPT-o4 mini, and ChatGPT-4.5) compared to texts produced by human writers (L1 and L2 English participants, n = 240) across different educational levels. Six dimensions of lexical diversity were analyzed: volume, abundance, variety-repetition, evenness, disparity, and dispersion. The results indicated significant differences in lexical diversity between LLM-generated and human-written texts, with ChatGPT-o4 mini and ChatGPT-4.5 exhibiting the most pronounced differences. Notably, ChatGPT-4.5 demonstrated higher lexical diversity than older models, despite generating fewer tokens. Human writers’ lexical diversity remained consistent across subgroups.
The findings suggest that ChatGPT-generated texts do not emulate human writing patterns in terms of lexical diversity, raising questions about their appropriateness as models for L2 writing instruction. While prior research indicated that human judges often struggle to distinguish between GenAI and human texts, this study’s analysis revealed clear distinctions. The implications extend to language pedagogy, as reliance on AI-generated texts could expose students to non-human-like language patterns, potentially impacting language evolution and academic writing standards. Future research should explore the effects of GenAI-assisted writing on both L1 and L2 writers, considering the influence of task types and the potential for these tools to enhance lexical diversity in writing.
Introduction
The introduction of public generative AI (GenAI) tools has revolutionized text processing and production, raising critical questions about their capabilities and limitations, particularly in relation to human-like writing. Concerns have emerged regarding issues such as GenAI-facilitated plagiarism and the authenticity of materials generated for educational purposes. A growing body of research has focused on the distinctions between human and GenAI-generated texts, employing both subjective evaluations and systematic linguistic analyses to identify quantifiable differences in language use.
Despite findings indicating that humans often struggle to differentiate between GenAI and human writing, the variability inherent in human writing styles complicates the assessment of whether GenAI outputs significantly differ across various educational levels and English proficiency. This study aims to explore the lexical diversity in texts produced by GenAI and human writers in response to an argumentative essay prompt, seeking to ascertain whether GenAI-generated language aligns more closely with specific groups of human writers.
Methods
In this study, the researchers aimed to investigate the responses of both human participants and various versions of ChatGPT to a TOEFL examination prompt regarding the value of broad knowledge versus specialization. The prompt required participants to write an essay of at least 250 words, supported by specific reasons and examples. Four versions of ChatGPT (ChatGPT-3.5, ChatGPT-4.0, ChatGPT-o4 mini, and ChatGPT-4.5) were tasked with generating essay responses using zero-shot prompting, without any prior examples or adjustments to the models’ creativity parameters.
A total of 240 human participants engaged with the prompt, completing a demographic survey and self-assessing their English writing abilities, including aspects such as complexity, fluency, and the challenges they faced in writing. For those participants whose dominant language was not English, a C-test was administered to evaluate their English proficiency, alongside self-ratings of their first language (L1) writing skills. The study collected 120 responses from the ChatGPT models, with each model prompted thirty times, allowing for a comparative analysis of human and AI-generated essays.
Results
The results of the study addressed four research questions (RQs) concerning lexical diversity in texts generated by ChatGPT compared to human-written texts. For RQ1, a one-way MANOVA indicated significant differences in lexical diversity measures (volume, abundance, MATTR, evenness, disparity, and dispersion) between ChatGPT and human-generated texts, with a large effect size (Wilks’ Λ = .181, F(6, 353) = 267.06, p < .001). Subsequent analyses, including a permutations-based MANOVA and post-hoc ANOVAs, confirmed that ChatGPT texts exhibited significantly higher lexical diversity across most measures, except for dispersion, where ChatGPT's lower values indicated higher diversity. For RQ2, a one-way MANOVA revealed significant differences among four ChatGPT models, with ChatGPT-4.0 producing the longest texts and ChatGPT-4.5 the shortest. The analysis showed that the latest models (ChatGPT-o4 mini and ChatGPT-4.5) had the highest levels of lexical diversity for MATTR, evenness, and dispersion. RQ3 found no significant differences in lexical diversity among human writers grouped by education level and L1/L2 status. Finally, RQ4 assessed whether any ChatGPT model produced lexical diversity values similar to human writers, revealing that while disparity measures showed some overlap, other measures consistently distinguished human from ChatGPT texts. A Support Vector Machine (SVM) analysis achieved a high accuracy of 95.8% in classifying texts as human or ChatGPT, with dispersion being the most influential predictor. However, a second SVM analysis struggled to differentiate texts based on writer background or ChatGPT version, achieving an overall prediction accuracy of only 16.7%.
Discussion
The current study investigates the lexical diversity of argumentative essays generated by various ChatGPT models compared to texts written by human participants with differing educational backgrounds and language proficiencies. Utilizing six dimensions of lexical diversity, the analysis revealed significant differences between human and ChatGPT-generated texts, with ChatGPT consistently exhibiting higher levels of lexical diversity across all dimensions. This finding contrasts with some previous research that indicated lower or more variable lexical diversity in LLM-generated texts. Notably, while the ChatGPT models displayed some variation in their lexical diversity profiles, they generally produced patterns distinct from human writing, particularly in terms of dispersion and variety-repetition.
Furthermore, the study explored whether human writers’ lexical diversity varied based on their language status (L1 vs. L2) and educational level. Surprisingly, no significant differences were found among the eight human participant groups, suggesting that the task prompt may not have elicited the expected variability in lexical diversity. This aligns with some literature while contradicting others that highlight differences between L1 and L2 writers. Ultimately, the findings indicate that while ChatGPT-generated texts exhibit higher lexical diversity, they do not replicate the nuanced patterns of human writing, raising important considerations for the use of AI-generated texts in educational contexts. Future research should explore the implications of these differences and the potential for GenAI tools to assist in writing, particularly in L2 learning environments.