DOI: https://doi.org/10.1038/s41598-026-46517-7
PMID: https://pubmed.ncbi.nlm.nih.gov/41935180
تاريخ النشر: 2026-04-04
المؤلف: Anastasia S. Panfilova وآخرون
الموضوع الرئيسي: أنظمة الكلام والحوار
نظرة عامة
تقدم ورقة البحث تقييماً شاملاً لنماذج اللغة الكبيرة (LLMs) كموظفين مرنين في البحث النوعي، مع التركيز بشكل خاص على المقابلات النفسية شبه المنظمة. يقدم المؤلفون وكيل LLM معياري يقوم بإجراء المقابلات بناءً على 54 سؤالاً رئيسياً تغطي مواضيع متنوعة مثل السيرة الذاتية، والعائلة، والصحة. لضمان تقييم عادل، قاموا بتوحيد سياق المقابلة باستخدام نصوص من عشر مقابلات بشرية واستخدموا متحدثاً واحداً من LLM لتقليل التباين في الردود. شمل التقييم ستة نماذج متقدمة: Claude Sonnet 4، Gemini 2.5 Pro، GPT-5 Chat، Grok 4، Qwen3-235B A22B، وDeepSeek Chat V3.1، مع تقييم خبراء علم النفس اللغوي لجودة المحاور بناءً على خمسة معايير: الإحسان، الضرورة، الوعي بالسياق، الانفتاح، والتخطي المبرر.
تشير النتائج إلى وجود تنازلات واضحة بين النماذج. أظهر Gemini 2.5 Pro نبرة أكثر تعاطفاً، بينما أعطى GPT-5 Chat الأولوية للسرعة والدقة. قدم Grok 4 تغطية شاملة ولكنه عانى من تأخير وسياق زائد في بعض الأحيان، وأظهر Claude Sonnet 4 تنوعاً متوازناً. بالإضافة إلى ذلك، ارتبطت العلامات اللغوية مثل الضمائر وتعقيد التركيب بتقييمات البشر لجودة المقابلة، مما يبرز أهمية الخيارات الأسلوبية. تؤكد الدراسة على الأهمية التشغيلية للامتثال للنماذج، وخاصة ما لوحظ في أداء DeepSeek. يقدم المؤلفون مجموعة أدوات قابلة لإعادة الاستخدام، بما في ذلك المحفزات ومعيار التوضيح، لتسهيل النشر المبدئي لموظفي LLM في البحث النفسي، مما يسمح بالتوافق بين قدرات النموذج وأهداف البحث مع ضمان تقييم التعاطف والفعالية.
مقدمة
تسلط المقدمة الضوء على الاستخدام الطويل الأمد للمقابلات شبه المنظمة في البحث النوعي عبر مجالات مختلفة، مما يبرز الحاجة إلى محاورين مهرة لتحقيق التوازن بين الهيكل والمرونة. يمثل ظهور نماذج اللغة الكبيرة (LLMs) فرصة لأتمتة المقابلات المرنة، حيث أظهرت التطبيقات الأولية وعداً في مجالات مثل تقييمات الصحة واستنباط قصص الحياة. ومع ذلك، هناك تحديان كبيران يعيقان اعتماد LLMs كموظفين: غياب إطار تقييم قابل لإعادة الاستخدام لتقييم سلوك المحاور نوعياً، وتأثيرات التباين في المستجيبين البشر عبر الدراسات.
تهدف الدراسة إلى معالجة هذه الفجوات من خلال تقديم وكيل محاور معياري قادر على توليد أسئلة متابعة ذات صلة بالسياق مع الالتزام بمخططات إخراج صارمة. يضمن هذا النهج قابلية المقارنة عبر نماذج مختلفة من خلال المحفزات ومعايير التقييم المتسقة، مما يسهل المقارنات المنهجية والتدقيقات اللازمة للتطبيقات الحساسة في البحث النفسي.
طرق البحث
في هذه الدراسة، يستكشف المؤلفون قدرات ستة نماذج حديثة من نماذج اللغة الكبيرة (LLMs) كموظفين افتراضيين في تقييم محكوم، يعتمد على النص فقط. بناءً على الأبحاث السابقة التي أظهرت قدرة LLMs على تكرار النتائج النفسية والتنبؤ بالنتائج في تجارب العلوم الاجتماعية، صمم المؤلفون تجربة لتقييم سلوك المتابعة المرن لـ LLMs عند الرد على نصوص مقابلات بشرية موحدة. استخدمت الدراسة عشر مقابلات بشرية أساسية، حيث طرح محاور بشري 54 سؤالاً رئيسياً عبر مجالات الحياة المختلفة دون أي استفسارات متابعة، مما يضمن نقطة انطلاق متسقة لجميع LLMs.
عالج كل LLM نفس مجموعة الأسئلة الرئيسية بشكل متسلسل، مع اتخاذ قرار بشأن ما إذا كان يجب طرح أسئلة متابعة بناءً على الردود البشرية المقدمة. أزال تصميم إعادة التشغيل هذا التباين بين المشاركين، مما يسمح بمقارنة مباشرة لسلوك النماذج. تم إجراء التفاعلات باللغة الروسية، مع التركيز على الميزات اللغوية للغة مع استبعاد الإشارات غير اللفظية. تهدف النتائج إلى المساهمة في فهم أدوار LLMs في البحث النوعي وتبرز أهمية معايير الصلاحية الصريحة عند استخدام هذه النماذج في السياقات التجريبية.
النتائج
في تقييم ستة نماذج، أظهر أربعة – Claude Sonnet 4، Gemini 2.5 Pro، GPT-5 Chat، وGrok 4 – الامتثال الكامل لبروتوكول المقابلة الموحد، حيث أكملوا جميع المقابلات العشر بنجاح دون أي انتهاكات. أنتج النموذج Qwen3-235B A22B أحياناً ردوداً مشوهة أو غير مكتملة؛ ومع ذلك، استخدم بشكل فعال آلية إعادة المحاولة لإكمال جميع المقابلات. في المقابل، واجه DeepSeek Chat V3.1 تحديات كبيرة، حيث تراكمت 45 خطأ في التحقق من المخطط عبر ثلاث مقابلات فقط، والتي شملت عدة فشل في توليد علامات القرار المطلوبة أو أسئلة المتابعة. بسبب هذه المشكلات المستمرة في الامتثال، تم إيقاف تقييم DeepSeek بعد ثلاث مقابلات، مما جعل نتائجه غير مناسبة للمقارنة المباشرة مع النماذج الأخرى. بينما يتم الإبلاغ عن نتائج DeepSeek من أجل الشفافية، يتم استبعادها من التحليلات والمقارنات بسبب عدم الاستقرار في ظروف تنفيذها.
المناقشة
في هذا القسم، يناقش المؤلفون تطوير وتقييم وكيل نماذج اللغة الكبيرة (LLM) المعياري المصمم لإجراء مقابلات نفسية مرنة. يؤكدون على الحاجة إلى بروتوكولات محكومة لضمان تقييم عادل لأداء LLM، مع معالجة الفجوات في المنهجيات الحالية. يقوم الوكيل المقترح بإجراء مقابلات شبه منظمة مع مجموعة ثابتة من 54 سؤالاً تغطي مواضيع شخصية متنوعة ويستخدم بروتوكول تقييم متعدد الجوانب. تشمل العناصر الرئيسية الموحدة للمقارنة عبر النماذج سياق المقابلة، وتنظيم تفاعلات النموذج، والردود المتابعة المقدمة من متحدث واحد من LLM لتقليل التباين.
يتضمن إطار التقييم خمسة معايير ثنائية لتقييم سلوك المحاور: نبرة تعاطفية، ضرورة أسئلة المتابعة، الوعي بالسياق، الانفتاح، والتخطي المبرر للمتابعات. يذكر المؤلفون اتفاقاً عالياً بين المراجعين على أكثر من 2,900 عنصر تم توضيحه، مما يمكّن من تقييم موثوق عبر ستة نماذج LLM متطورة. بالإضافة إلى ذلك، يقومون بتحليل الميزات اللغوية لأسئلة المتابعة لتحديد العلامات الخاصة بالنموذج وتقديم مجموعة أدوات قابلة لإعادة الاستخدام لتوحيد تقييمات المحاورين من LLM. تكشف النتائج عن اختلافات كبيرة في أداء النموذج فيما يتعلق بالكفاءة وجودة أسئلة المتابعة، مما يبرز الآثار المترتبة على تصميم الدراسة ونشر LLMs في البحث النفسي.
DOI: https://doi.org/10.1038/s41598-026-46517-7
PMID: https://pubmed.ncbi.nlm.nih.gov/41935180
Publication Date: 2026-04-04
Author(s): Anastasia S. Panfilova et al.
Primary Topic: Speech and dialogue systems
Overview
The research paper presents a comprehensive evaluation of large language models (LLMs) as adaptive interviewers in qualitative research, specifically focusing on semi-structured psychological interviews. The authors introduce a modular LLM agent that conducts interviews based on 54 main questions covering various topics such as biography, family, and health. To ensure a fair assessment, they standardized the interview context using transcripts from ten human interviews and employed a single LLM interviewee to minimize variability in responses. The evaluation involved six advanced models: Claude Sonnet 4, Gemini 2.5 Pro, GPT-5 Chat, Grok 4, Qwen3-235B A22B, and DeepSeek Chat V3.1, with expert psycholinguists assessing interviewer quality based on five criteria: benevolence, necessity, context-awareness, openness, and justified skip.
The findings indicate distinct trade-offs among the models. Gemini 2.5 Pro exhibited the most empathic tone, while GPT-5 Chat prioritized speed and precision. Grok 4 provided extensive coverage but suffered from latency and occasional over-contextualization, and Claude Sonnet 4 demonstrated a balanced versatility. Additionally, linguistic markers such as pronouns and syntactic complexity correlated with human evaluations of interview quality, highlighting the significance of stylistic choices. The study emphasizes the operational importance of schema compliance, particularly noted in DeepSeek’s performance. The authors offer a reusable toolkit, including prompts and an annotation rubric, to facilitate the principled deployment of LLM interviewers in psychological research, allowing for alignment between model capabilities and research objectives while ensuring the evaluation of empathy and effectiveness.
Introduction
The introduction highlights the longstanding use of semi-structured interviews in qualitative research across various fields, emphasizing the need for skilled interviewers to balance structure and flexibility. The advent of large language models (LLMs) presents an opportunity to automate adaptive interviewing, with initial applications showing promise in areas such as health assessments and life-story elicitation. However, two significant challenges hinder the adoption of LLMs as interviewers: the absence of a reusable evaluation framework to assess interviewer behavior qualitatively, and the confounding effects of variability in human respondents across studies.
The study aims to address these gaps by introducing a modular interviewer agent capable of generating contextually relevant follow-up questions while adhering to strict output schemas. This approach ensures comparability across different models through consistent prompts and evaluation criteria, facilitating systematic comparisons and audits necessary for sensitive applications in psychological research.
Methods
In this study, the authors investigate the capabilities of six contemporary large language models (LLMs) as virtual interviewers in a controlled, text-only evaluation. Building on previous research that demonstrated LLMs’ potential to replicate psychological findings and predict outcomes in social science experiments, the authors designed an experiment to assess adaptive follow-up behavior of LLMs when responding to standardized human interview transcripts. The study utilized ten baseline human interviews, where a human interviewer posed 54 main questions across various life domains without any follow-up inquiries, ensuring a consistent starting point for all LLMs.
Each LLM processed the same set of main questions sequentially, deciding whether to ask follow-up questions based on the human responses provided. This replay-based design eliminated variability among participants, allowing for a direct comparison of the models’ behaviors. The interactions were conducted in Russian, focusing on the linguistic features of the language while excluding non-verbal cues. The findings aim to contribute to the understanding of LLMs’ roles in qualitative research and highlight the importance of explicit validity criteria when employing these models in experimental contexts.
Results
In the evaluation of six models, four—Claude Sonnet 4, Gemini 2.5 Pro, GPT-5 Chat, and Grok 4—demonstrated full compliance with the standardized interview protocol, successfully completing all ten interviews without any violations. The model Qwen3-235B A22B occasionally produced malformed or incomplete responses; however, it effectively utilized a retry mechanism to complete all interviews. In contrast, DeepSeek Chat V3.1 faced significant challenges, accumulating 45 schema validation errors across only three interviews, which included multiple failures to generate the required decision markers or follow-up questions. Due to these persistent compliance issues, the evaluation of DeepSeek was halted after three interviews, rendering its results unsuitable for direct comparison with the other models. While DeepSeek’s outcomes are reported for transparency, they are excluded from comparative analyses and rankings due to the instability in its execution conditions.
Discussion
In this section, the authors discuss the development and evaluation of a modular large language model (LLM) agent designed for conducting adaptive psychological interviews. They emphasize the need for controlled protocols to ensure fair benchmarking of LLM performance, addressing gaps in existing methodologies. The proposed agent conducts semi-structured interviews with a fixed set of 54 questions covering various personal topics and utilizes a multi-faceted evaluation protocol. Key elements standardized for cross-model comparison include the interview context, orchestration of model interactions, and follow-up responses provided by a single LLM interviewee to minimize variability.
The evaluation framework incorporates five binary criteria to assess interviewer behavior: empathic tone, necessity of follow-up questions, context-awareness, openness, and justified omission of follow-ups. The authors report high inter-annotator agreement on over 2,900 annotated items, enabling reliable benchmarking across six state-of-the-art LLMs. Additionally, they analyze linguistic features of follow-up questions to identify model-specific markers and provide a reusable toolkit for standardizing LLM interviewer evaluations. The findings reveal significant differences in model performance regarding efficiency and the quality of follow-up questions, highlighting implications for study design and the deployment of LLMs in psychological research.