DOI: https://doi.org/10.1371/journal.pone.0343164
PMID: https://pubmed.ncbi.nlm.nih.gov/41811800
تاريخ النشر: 2026-03-11
المؤلف: Nikoleta Pantelidou وآخرون
الموضوع الرئيسي: علم الأعصاب للغة ثنائية اللغة
نظرة عامة
تستكشف هذه الدراسة القدرات اللغوية لنماذج اللغة الكبيرة (LLMs) من خلال مهمة تعميم مورفولوجي تتضمن كلمات جديدة، باستخدام تعديل متعدد اللغات لاختبار ووج عبر أربع لغات: الكاتالونية، الإنجليزية، اليونانية، والإسبانية. تهدف البحث إلى تقييم ما إذا كانت أداء النموذج يتماشى مع الكفاءة اللغوية البشرية ولتمييز تأثير التعقيد اللغوي مقابل حجم المجتمع على الدقة. تشير النتائج إلى أنه بينما يمكن لنماذج اللغة الكبيرة تعميم القواعد المورفولوجية على الكلمات غير المعروفة بدقة تشبه البشر، فإن أدائها مرتبط بشكل أكبر بحجم المجتمع اللغوي وتوافر بيانات التدريب أكثر من تعقيد الهياكل اللغوية.
على وجه التحديد، أظهرت اللغات ذات عدد المتحدثين الأكبر وتمثيل رقمي أفضل، مثل الإسبانية والإنجليزية، دقة أعلى مقارنة باللغات الأقل موارد مثل الكاتالونية واليونانية. كما تشير الدراسة إلى أن انتظام نظام المورفولوجيا في لغة ما يمكن أن يعزز أداء النموذج، مما يسمح حتى للغات ذات التمثيل المحدود بتحقيق نتائج أفضل عندما تكون أنماطها الهيكلية واضحة. بشكل عام، تشير النتائج إلى أن نماذج اللغة الكبيرة تظهر فهماً توزيعياً للغة، محققة مخرجات تشبه superficially أداء البشر ولكنها لا تعكس بالضرورة الآليات النحوية الأساسية.
مقدمة
تناقش مقدمة هذه الورقة البحثية قدرات وحدود نماذج اللغة الكبيرة (LLMs) في معالجة اللغة البشرية. بينما تظهر نماذج اللغة الكبيرة أداءً عاليًا في مجالات مختلفة مثل التعليم والترجمة، فإن قدراتها اللغوية محل نقاش، خاصة فيما يتعلق بفهمها للمعاني والمورفولوجيا. يُلاحظ أن نماذج اللغة الكبيرة غالبًا ما تفتقر إلى المعنى المفهومي المرتبط بالإدراك البشري وتكافح مع أحكام القواعد مقارنة بالبشر. تسلط الورقة الضوء على أهمية جودة واختيار بيانات التدريب، حيث يمكن أن تؤدي التحيزات في هذه المجموعات إلى مخرجات إشكالية.
يشير المؤلفون إلى دراسات سابقة استكشفت القدرات المورفولوجية لنماذج اللغة الكبيرة باستخدام تعديلات لاختبار ووج، الذي يقيم تطبيق القواعد النحوية على الكلمات الجديدة. تشير النتائج إلى أنه بينما تظهر نماذج مثل ChatGPT-3.5 بعض القدرة على تعميم القواعد المورفولوجية، فإن أدائها لا يتطابق مع أداء المعلقين البشر، ومن المثير للاهتمام أنها تؤدي بشكل أفضل في اللغات ذات الأنظمة المورفولوجية الأكثر تعقيدًا، مثل الألمانية، مقارنةً بالإنجليزية. يثير هذا تساؤلات حول تأثير التعقيد المورفولوجي وحجم المجتمع اللغوي على أداء نماذج اللغة الكبيرة. تهدف الدراسة الحالية إلى سد الفجوة في الأدبيات الموجودة من خلال اختبار منهجي لستة نماذج مختلفة عبر أربع لغات (الكاتالونية، الإنجليزية، اليونانية، والإسبانية) باستخدام تعديل متعدد اللغات لاختبار ووج، مما يوفر فهماً أكثر شمولاً لقدرات تعميم المورفولوجيا لنماذج اللغة الكبيرة.
الطرق
المنهجية المستخدمة في هذه الدراسة هي نسخة معدلة من اختبار ووج، الذي يقيم تطبيق القواعد النحوية المتعلقة بالمورفولوجيا التصريفية على الكلمات غير المألوفة. تتضمن هذه التعديلات 30 عنصر اختبار، تتكون من 15 كلمة غير مألوفة ذات مقطعين و15 كلمة غير مألوفة ذات ثلاثة مقاطع، مصممة لاستنباط الشكل الجمع من المشاركين. تم إجراء المهمة على منصة PCIbex Farm، حيث كتب المشاركون ردودهم على المحفزات المقدمة في هيكل موحد، مما يضمن أن الخصائص الدلالية والإشارات السياقية لم تؤثر على إجاباتهم. يسمح هذا التصميم بمقارنة مباشرة للإجابات بين المشاركين البشر ونماذج اللغة تحت ظروف لغوية محكومة.
تم إجراء الدراسة بأربع لغات—الكاتالونية، الإنجليزية، اليونانية، والإسبانية—كل منها مختارة لتنوع تعقيدها وحجمها. تم توليد الكلمات غير المألوفة بشكل منهجي عن طريق تغيير الحرف الساكن الأول للعناصر المعجمية الموجودة، مع الالتزام بالقيود المورفوفونولوجية لكل لغة. تم إبلاغ هذا النهج من خلال الأبحاث السابقة التي تشير إلى أهمية الحروف الساكنة في التعرف المعجمي. بالإضافة إلى ذلك، تم موازنة الكلمات غير المألوفة من حيث عدد المقاطع والجنس النحوي لتقليل التحيزات وضمان قابلية المقارنة عبر اللغات. تم تقديم عناصر نموذجية توضح توزيع الكلمات وعلامات الجنس في الجدول 3.
النتائج
تشير نتائج الدراسة إلى وجود تباين كبير عبر اللغات في تعميم المورفولوجيا بين المشاركين البشر، حيث أظهر المتحدثون باللغة الإنجليزية أدنى دقة (84.8%) مقارنةً بالكاتالونية (90.9%)، اليونانية (94.8%)، والإسبانية (95.7%). أكدت تحليل الانحدار اللوجستي ذو التأثيرات المختلطة أن اللغة أثرت بشكل كبير على الدقة (χ² = 24.792، p < 0.001)، حيث كشفت الاختبارات اللاحقة أن الإنجليزية كانت مختلفة بشكل كبير عن اللغات الأخرى، بينما لم يتم العثور على اختلافات كبيرة بين الكاتالونية واليونانية والإسبانية. بالإضافة إلى ذلك، بينما تطابقت نماذج اللغة الكبيرة (LLMs) بشكل عام مع أداء البشر، فقد تفوقت على البشر في الإنجليزية والإسبانية، حيث حققت نماذج مثل ChatGPT-4 دقة 100% في الإسبانية. كشفت التحليلات الإضافية أن نماذج اللغة الكبيرة أدت بشكل أسوأ في الكاتالونية مقارنةً باللغات الأخرى، مما يشير إلى أن حجم المجتمع وتعقيد اللغة هما عاملان حاسمان يؤثران على دقة النموذج. أظهر الانحدار اللوجستي ذو التأثيرات المختلطة تأثيرات كبيرة لكلا المتنبئين، حيث كان حجم المجتمع متنبئًا أفضل للأداء من التعقيد (AIC = 277.858 مقابل 290.659). كما كانت هناك تفاعل بين حجم المجتمع والتعقيد ذو دلالة إحصائية (χ² = 5.837، p = 0.016)، مما يشير إلى أنه بينما ترتبط المجتمعات الأكبر بأداء أفضل للنموذج، قد تتفوق اللغات الأكثر تعقيدًا على اللغات الأبسط عندما تكون أحجام المجتمعات قابلة للمقارنة. بشكل عام، تؤكد هذه النتائج التفاعل الدقيق بين الخصائص اللغوية وأداء النموذج في المهام المورفولوجية.
المناقشة
تستكشف هذه الدراسة قدرات تعميم المورفولوجيا لنماذج اللغة الكبيرة (LLMs) عبر لغات مختلفة، مع التركيز على التفاعل بين التعقيد اللغوي وحجم المجتمع. تم هيكلة البحث حول ثلاثة أسئلة رئيسية: ما إذا كانت نماذج اللغة الكبيرة تظهر تعميمًا مورفولوجيًا يشبه البشر (RQ1)، تأثير التعقيد اللغوي على أداء النموذج (RQ2)، ومدى تأثير حجم بيانات التدريب وحجم المجتمع على الدقة (RQ3). تشير النتائج إلى أن نماذج اللغة الكبيرة تؤدي عمومًا بشكل مشابه للبشر، خاصة في اللغات التي تحتوي على بيانات تدريب وفيرة، مثل الإنجليزية والإسبانية، بينما تظهر دقة أقل في اللغات ذات التمثيل الرقمي المحدود مثل اليونانية والكاتالونية. ومن الجدير بالذكر أن حجم المجتمع ظهر كمتنبئ أقوى لأداء النموذج من التعقيد اللغوي، مما يتحدى الافتراضات التقليدية بأن التعقيد الأكبر يرتبط بدقة نموذج محسنة.
تكشف النتائج أنه بينما يساهم التعقيد اللغوي في تباين الأداء، فإن المحرك الرئيسي للدقة هو توافر بيانات التدريب. على سبيل المثال، على الرغم من أن الإنجليزية هي أقل اللغات تعقيدًا في الدراسة، إلا أنها لم تحقق أعلى دقة لنماذج اللغة الكبيرة، والتي لوحظت بدلاً من ذلك في الإسبانية. يُعزى هذا التباين إلى الأنماط المورفولوجية المنتظمة الموجودة في الإسبانية، مما يسهل تعميمًا أفضل من قبل النماذج. تؤكد الدراسة على الحاجة إلى فهم دقيق لكيفية تفاعل نماذج اللغة الكبيرة مع الميزات اللغوية، مشيرة إلى أن أدائها أكثر حساسية لكمية وجودة بيانات التدريب بدلاً من التعقيد الهيكلي الفطري للغات. تشمل القيود عدد اللغات الصغيرة التي تم اختبارها وطبيعة مقاييس التعقيد الواسعة المستخدمة، مما يشير إلى الحاجة إلى مزيد من الأبحاث المستقبلية المركزة حول التعقيد المورفولوجي.
DOI: https://doi.org/10.1371/journal.pone.0343164
PMID: https://pubmed.ncbi.nlm.nih.gov/41811800
Publication Date: 2026-03-11
Author(s): Nikoleta Pantelidou et al.
Primary Topic: Neurobiology of Language and Bilingualism
Overview
This study investigates the linguistic capabilities of Large Language Models (LLMs) through a morphological generalization task involving novel words, utilizing a multilingual adaptation of the Wug Test across four languages: Catalan, English, Greek, and Spanish. The research aims to assess whether model performance aligns with human linguistic competence and to discern the influence of linguistic complexity versus community size on accuracy. The findings indicate that while LLMs can generalize morphological rules to unseen words with human-like accuracy, their performance is more closely related to the size of the linguistic community and the availability of training data than to the structural complexity of the languages.
Specifically, languages with larger speaker populations and better digital representation, such as Spanish and English, demonstrated higher accuracy compared to less-resourced languages like Catalan and Greek. The study also notes that the regularity of a language’s morphological system can enhance model performance, allowing even languages with limited representation to achieve better results when their structural patterns are clear. Overall, the results suggest that LLMs exhibit a distributional understanding of language, achieving outputs that superficially resemble human performance but do not necessarily reflect the underlying grammatical mechanisms.
Introduction
The introduction of this research paper discusses the capabilities and limitations of Large Language Models (LLMs) in processing human language. While LLMs demonstrate high performance in various domains such as education and translation, their linguistic abilities are debated, particularly regarding their understanding of semantics and morphology. It is noted that LLMs often lack the conceptual meaning associated with human cognition and struggle with grammaticality judgments compared to humans. The paper highlights the importance of the quality and selection of training data, as biases in these datasets can lead to problematic outputs.
The authors reference previous studies that have explored the morphological capacities of LLMs using adaptations of the Wug Test, which assesses the application of grammatical rules to novel words. Findings indicate that while LLMs like ChatGPT-3.5 show some ability to generalize morphological rules, their performance does not match that of human annotators, and interestingly, they perform better in languages with more complex morphological systems, such as German, compared to English. This raises questions about the influence of morphological complexity and language-community size on LLM performance. The current study aims to fill the gap in existing literature by systematically testing six different models across four languages (Catalan, English, Greek, and Spanish) using a multilingual adaptation of the Wug Test, thereby providing a more comprehensive understanding of LLMs’ morphological generalization capabilities.
Methods
The methodology employed in this study is a modified version of the Wug Test, which evaluates the application of grammatical rules related to inflectional morphology on unfamiliar words. This adaptation features 30 test items, comprising 15 two-syllable and 15 three-syllable nonce words, designed to elicit the plural form from participants. The task was conducted on the PCIbex Farm platform, where participants typed their responses to prompts presented in a uniform structure, ensuring that semantic properties and contextual cues did not influence their answers. This design allows for a direct comparison of responses between human participants and language models under controlled linguistic conditions.
The study was conducted in four languages—Catalan, English, Greek, and Spanish—each selected for its varying complexity and size. The nonce words were systematically generated by altering the initial consonant of existing lexical items, adhering to the morphophonological constraints of each language. This approach was informed by prior research indicating the significance of consonants in lexical identification. Additionally, the nonce words were balanced for syllable count and grammatical gender to mitigate biases and ensure cross-linguistic comparability. Sample items illustrating the distribution of words and gender marking are provided in Table 3.
Results
The results of the study indicate significant cross-linguistic variation in morphological generalization among human participants, with English speakers demonstrating the lowest accuracy (84.8%) compared to Catalan (90.9%), Greek (94.8%), and Spanish (95.7%). A mixed-effects logistic regression analysis confirmed that language significantly influenced accuracy (χ² = 24.792, p < 0.001), with post-hoc tests revealing that English was significantly different from the other languages, while no significant differences were found among Catalan, Greek, and Spanish. Additionally, while large language models (LLMs) generally matched human performance, they outperformed humans in English and Spanish, with models like ChatGPT-4 achieving 100% accuracy in Spanish. Further analysis revealed that LLMs performed worse in Catalan compared to other languages, suggesting that community size and language complexity are critical factors influencing model accuracy. Mixed-effects logistic regression showed significant effects for both predictors, with community size being a better predictor of performance than complexity (AIC = 277.858 vs. 290.659). An interaction between community size and complexity was also significant (χ² = 5.837, p = 0.016), indicating that while larger communities correlate with better model performance, more complex languages may outperform simpler ones when community sizes are comparable. Overall, these findings underscore the nuanced interplay between linguistic characteristics and model performance in morphological tasks.
Discussion
This study investigates the morphological generalization capabilities of large language models (LLMs) across different languages, focusing on the interplay between linguistic complexity and community size. The research is structured around three primary questions: whether LLMs exhibit human-like morphological generalization (RQ1), the influence of linguistic complexity on model performance (RQ2), and the extent to which training data size and community size affect accuracy (RQ3). The findings indicate that LLMs generally perform comparably to humans, particularly in languages with abundant training data, such as English and Spanish, while showing lower accuracy in less digitally represented languages like Greek and Catalan. Notably, community size emerged as a stronger predictor of model performance than linguistic complexity, challenging traditional assumptions that greater complexity correlates with enhanced model accuracy.
The results reveal that while linguistic complexity does contribute to variability in performance, the primary driver of accuracy is the availability of training data. For instance, despite English being the least complex language in the study, it did not yield the highest accuracy for LLMs, which was instead observed in Spanish. This discrepancy is attributed to the regular morphological paradigms present in Spanish, facilitating better generalization by the models. The study underscores the need for a nuanced understanding of how LLMs interact with linguistic features, suggesting that their performance is more sensitive to the quantity and quality of training data rather than the inherent structural complexity of the languages. Limitations include the small number of languages tested and the broad nature of the complexity metrics used, indicating a need for more focused future research on morphological complexity.