DOI: https://doi.org/10.3758/s13428-026-03129-3
PMID: https://pubmed.ncbi.nlm.nih.gov/42509529
تاريخ النشر: 2026-07-27
المؤلف: Javier Conde وآخرون
الموضوع الرئيسي: تقنيات معالجة اللغة الطبيعية
نظرة عامة
تناقش هذه القسم تطبيق نماذج اللغة الكبيرة (LLMs) في تقدير خصائص الكلمات ذات الصلة بعلم النفس اللغوي، خاصة في الحالات التي يصعب فيها الحصول على معايير نفسية لغوية تعتمد على البشر. يقترح المؤلفون منهجية شاملة تشمل كل من الاستخدام المباشر لنماذج LLM الأساسية وضبط هذه النماذج لتحسين الأداء. يؤكدون على أهمية التحقق من صحة البيانات التي تم إنشاؤها بواسطة LLM مقابل المعايير البشرية “المعيارية الذهبية”، ويقدمون دراسة حالة تظهر ارتباط سبيرمان قدره 0.8 مع تقييمات بشرية باستخدام النماذج الأساسية، والتي تحسنت إلى 0.9 مع النماذج المضبوطة. بالإضافة إلى ذلك، تم تقديم إطار برمجي لتسهيل تنفيذ منهجيتهم، داعمًا كل من النماذج التجارية ونماذج الوزن المفتوح.
في الختام، يبرز المؤلفون إمكانيات LLMs في تقدير خصائص الكلمات لكنهم يحذرون من التعقيدات والقيود المرتبطة باستخدامها. يقدمون إرشادات عملية للباحثين، بما في ذلك استراتيجيات للتحفيز، واختيار النماذج، وعينات البيانات، تهدف إلى زيادة القابلية للتكرار وتقليل الأخطاء الشائعة. كما تتناول المناقشة عدم وضوح LLMs، خاصة النماذج التجارية، التي تعمل كصناديق سوداء، مما يعقد فهم عملياتها الداخلية والعوامل المؤثرة على مخرجاتها. بشكل عام، تعتبر هذه العمل مرجعًا أساسيًا للبحوث المستقبلية التي تستفيد من LLMs في الدراسات النفسية اللغوية.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على التأثير التحويلي لنماذج اللغة الكبيرة (LLMs) في علم النفس اللغوي، خاصة في تقدير مفاجأة الكلمات – وهو مؤشر على قابلية توقع الكلمات بناءً على السياق. لقد أظهرت LLMs أداءً متفوقًا في تقديم تقديرات لقابلية توقع الكلمات مقارنةً بالطرق التقليدية المعتمدة على البشر، مثل احتمالات الكلوز. يؤكد المقال على القدرات التوليدية لـ LLMs، التي تسمح بإنشاء بيانات اصطناعية يمكن أن تعزز مجموعات البيانات البشرية، مما يسهل التحقيقات العلمية دون الحاجة إلى جمع بيانات بشرية واسعة. ومع ذلك، يشير المؤلفون إلى قيد كبير: نقص القابلية للتفسير المتأصلة في LLMs، التي تعمل كـ “صناديق سوداء” بسبب هياكلها المعقدة من الشبكات العصبية. يثير هذا الغموض مخاوف بشأن صلاحية البيانات التي تم إنشاؤها بواسطة LLM، خاصة عند مقارنتها بالاستجابات البشرية التي تكون بطبيعتها صادقة.
تهدف الورقة إلى جعل المعرفة الضمنية حول كيفية استعلام LLMs بشكل فعال واضحة، مقدمة دليل عملي للباحثين في علم النفس اللغوي. توضح أفضل الممارسات لتوليد تقديرات لخصائص الكلمات وتناقش أهمية فهم كيفية تحسين المخرجات من LLMs. تتناول المقدمة أيضًا بإيجاز الجوانب التقنية لـ LLMs، بما في ذلك عمليات تقسيم الرموز الخاصة بها وآثار التحيزات اللغوية في بيانات التدريب. تم هيكلة المخطوطة في قسمين رئيسيين: يركز الأول على طبيعة وتطبيق LLMs في علم النفس اللغوي، بينما يقدم الثاني برنامجًا تعليميًا خطوة بخطوة للحصول على المعايير من LLMs، مع وضد الضبط.
طرق
في هذا القسم، يحدد المؤلفون منهجية لتقدير قيم الألفة للكلمات باللغة الإنجليزية باستخدام نماذج اللغة الكبيرة المضبوطة (LLMs). يبرزون فعالية هذا النهج، مشيرين إلى أنه قد حقق أفضل النتائج في اللغة الإنجليزية مقارنةً باللغات الأخرى وخصائص الكلمات. تعزز بروتوكولات خط الأنابيب المقترحة كفاءة التجارب من خلال تقليل متطلبات الوقت، وضمان القابلية للتكرار، وتقليل الأخطاء المحتملة من خلال استخدام ملفات التكوين والبرامج النصية الآلية.
لتسهيل تكرار نتائجهم، يقدم المؤلفون دليلًا خطوة بخطوة: أولاً، يجب على المستخدمين تنزيل الكود اللازم وتثبيت المكتبات المطلوبة لـ Python؛ ثانيًا، يجب عليهم إنشاء مجلد مخصص لدراسة الحالة الخاصة بهم مع ملف “config.yaml”، الذي يعمل كملف التكوين الرئيسي للتجارب. تم تضمين قالب لهذا الملف في الكود، وقد أنشأ المؤلفون مجلد مرجعي باسم “familiarity_english” يحتوي على جميع الكود وملفات التكوين ذات الصلة.
مناقشة
في مناقشة نماذج اللغة الكبيرة (LLMs)، تؤكد الورقة على التعقيدات المحيطة بقابلية تفسيرها وتوافقها مع أنماط التفاعل البشرية. تولد LLMs مخرجات بناءً على توزيع احتمالي على الرموز، مما يقدم تباينًا وعشوائية في الاستجابات. بينما تعزز هذه العشوائية طبيعية التفاعلات، فإنها تعقد مهمة فهم كيفية تفاعل معلمات النموذج لإنتاج لغة متماسكة. إن الحجم الهائل لـ LLMs، الذي غالبًا ما يتكون من مليارات المعلمات، يجعل الطرق التقليدية للتفسير غير قابلة للتطبيق حسابيًا. حاول الباحثون إجراء تجارب مستهدفة لاستكشاف سلوك LLM، ومع ذلك لا تزال تحديات القابلية للتفسير غير محلولة إلى حد كبير. علاوة على ذلك، يحذر المؤلفون من الاعتماد على LLMs لتفسيرات تأملية لمخرجاتها، حيث قد لا تعكس هذه النماذج بدقة الآليات وراء سلوكها.
تناقش الورقة أيضًا الطرق لاستنباط الاستجابات من LLMs، مبرزة الفروق بين واجهات الويب وواجهات برمجة التطبيقات (APIs). توفر واجهات الويب، على الرغم من كونها سهلة الاستخدام، غالبًا ما تحد من تعديلات المعلمات، مما يؤدي إلى تباين في المخرجات عبر الجلسات. بالمقابل، تتيح واجهات برمجة التطبيقات مزيدًا من التحكم في معلمات النموذج، مثل درجة الحرارة وtop-k، التي تؤثر على العشوائية واختيار رموز المخرجات. يؤكد المؤلفون على أهمية اختيار LLMs المناسبة بناءً على انفتاحها وأدائها، مشيرين إلى أنه بينما غالبًا ما تحقق النماذج الملكية نتائج متفوقة، فإن المخاوف بشأن تلوث البيانات والقابلية للتكرار لا تزال قائمة. يدعون إلى استخدام النماذج مفتوحة المصدر عند الإمكان، خاصة لأبحاث علم النفس اللغوي، لضمان الشفافية والموثوقية في توليد المعايير. تختتم الورقة بالتأكيد على الحاجة إلى التحقق المنهجي من مخرجات LLM مقابل البيانات البشرية لتحديد ملاءمتها للتطبيقات النفسية اللغوية.
DOI: https://doi.org/10.3758/s13428-026-03129-3
PMID: https://pubmed.ncbi.nlm.nih.gov/42509529
Publication Date: 2026-07-27
Author(s): Javier Conde et al.
Primary Topic: Natural Language Processing Techniques
Overview
This section discusses the application of Large Language Models (LLMs) in estimating word characteristics relevant to psycholinguistics, particularly in situations where human-based psycholinguistic norms are difficult to obtain. The authors propose a comprehensive methodology that includes both the direct use of base LLMs and the fine-tuning of these models to enhance performance. They emphasize the importance of validating LLM-generated data against human “gold standard” norms, presenting a case study that demonstrates a Spearman correlation of 0.8 with human ratings using base models, which improved to 0.9 with fine-tuned models. Additionally, a software framework is introduced to facilitate the implementation of their methodology, supporting both commercial and open-weight models.
In the conclusion, the authors highlight the potential of LLMs for estimating word characteristics but caution about the complexities and limitations associated with their use. They provide practical guidelines for researchers, including strategies for prompting, model selection, and dataset sampling, aimed at maximizing reproducibility and minimizing common pitfalls. The discussion also addresses the inscrutability of LLMs, particularly commercial models, which operate as black boxes, complicating the understanding of their internal processes and the factors influencing their outputs. Overall, the work serves as a foundational reference for future research leveraging LLMs in psycholinguistic studies.
Introduction
The introduction of this research paper highlights the transformative impact of Large Language Models (LLMs) in psycholinguistics, particularly in estimating word surprisal—an indicator of word predictability based on context. LLMs have demonstrated superior performance in providing estimates of word predictability compared to traditional human-based methods, such as cloze probabilities. The article emphasizes the generative capabilities of LLMs, which allow for the creation of synthetic data that can augment human datasets, thereby facilitating scientific investigations without the need for extensive human data collection. However, the authors note a significant limitation: the lack of explainability inherent in LLMs, which operate as “black boxes” due to their complex neural network architectures. This inscrutability raises concerns about the validity of LLM-generated data, particularly when compared to human responses that are inherently face valid.
The paper aims to make implicit knowledge about effectively querying LLMs explicit, providing a practical guide for researchers in psycholinguistics. It outlines best practices for generating estimates of word features and discusses the importance of understanding how to optimize outputs from LLMs. The introduction also briefly touches on the technical aspects of LLMs, including their tokenization processes and the implications of language biases in training data. The manuscript is structured into two main sections: the first focuses on the nature and application of LLMs in psycholinguistics, while the second provides a step-by-step tutorial for obtaining norms from LLMs, with and without fine-tuning.
Methods
In this section, the authors outline a methodology for estimating word familiarity values in English using fine-tuned large language models (LLMs). They highlight the effectiveness of this approach, noting that it has yielded the best results in English compared to other languages and word characteristics. The proposed pipeline protocol enhances experimental efficiency by minimizing time requirements, ensuring reproducibility, and reducing potential errors through the use of configuration files and automated scripts.
To facilitate replication of their results, the authors provide a step-by-step guide: first, users must download the necessary code and install the required Python libraries; second, they should create a dedicated folder for their case study along with a “config.yaml” file, which serves as the main configuration file for the experiments. A template for this configuration file is included in the code, and the authors have established a reference folder named “familiarity_english” containing all relevant code and configuration files.
Discussion
In the discussion of Large Language Models (LLMs), the paper emphasizes the complexities surrounding their explainability and alignment with human interaction patterns. LLMs generate outputs based on a probability distribution over tokens, which introduces variability and randomness in responses. While this randomness enhances the naturalness of interactions, it complicates the task of understanding how model parameters interact to produce coherent language. The sheer size of LLMs, often comprising billions of parameters, renders traditional methods of interpretability computationally infeasible. Researchers have attempted targeted experiments to probe LLM behavior, yet the challenge of explainability remains largely unresolved. Furthermore, the authors caution against relying on LLMs for introspective explanations of their outputs, as these models may not accurately reflect the mechanisms behind their behavior.
The paper also discusses the methods for eliciting responses from LLMs, highlighting the differences between web interfaces and APIs. Web interfaces, while user-friendly, often limit parameter adjustments, leading to variability in outputs across sessions. In contrast, APIs allow for greater control over model parameters, such as temperature and top-k, which influence the randomness and selection of output tokens. The authors stress the importance of selecting appropriate LLMs based on their openness and performance, noting that while proprietary models often yield superior results, concerns about data contamination and reproducibility persist. They advocate for the use of open-source models when possible, especially for psycholinguistic research, to ensure transparency and reliability in generating norms. The paper concludes by emphasizing the need for systematic validation of LLM outputs against human data to establish their suitability for psycholinguistic applications.