DOI: https://doi.org/10.1038/s41746-026-02582-w
PMID: https://pubmed.ncbi.nlm.nih.gov/41981155
تاريخ النشر: 2026-04-14
المؤلف: Aya E. Fouda وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية والتعليم
نظرة عامة
تقدم هذه القسم نظرة عامة على البحث حول تعزيز الممارسة النفسية من خلال نماذج اللغة الكبيرة (LLMs). يبرز القيود المفروضة على موارد التقييم الحالية، التي تعتمد بشكل أساسي على مجموعات بيانات المقابلات السريرية الصغيرة، محتوى وسائل التواصل الاجتماعي، أو الحوارات الاصطناعية، مما يفتقر إلى الصلاحية السريرية ويفشل في تضمين تعقيدات التفكير التشخيصي. لمعالجة هذه النواقص، يقدم المؤلفون PsychiatryBench، وهو معيار تم تنسيقه بدقة استنادًا إلى كتب الطب النفسي المدرسية المعتمدة من الخبراء وكتب الحالات.
يتضمن PsychiatryBench أحد عشر مهمة متميزة للإجابة على الأسئلة تغطي جوانب مختلفة من الممارسة النفسية، مثل التفكير التشخيصي، تخطيط العلاج، والإدارة السريرية، بإجمالي 5,188 عنصر تم التعليق عليه من قبل الخبراء. يقيم البحث عدة نماذج LLM متقدمة، بما في ذلك Google Gemini و GPT-5، بالإضافة إلى نماذج طبية مفتوحة المصدر بارزة مثل MedGemma، باستخدام كل من المقاييس التقليدية وإطار تقييم “LLM كقاضي” المبتكر. تشير النتائج إلى وجود نقص كبير في الاتساق والسلامة السريرية، خاصة في مهام المتابعة والإدارة متعددة الأدوار، مما يبرز الحاجة إلى ضبط نماذج متخصصة وطرق تقييم محسّنة. يعمل PsychiatryBench كمنصة معيارية وقابلة للتوسيع تهدف إلى تقييم وتعزيز أداء LLM في تطبيقات الصحة النفسية.
طرق
في هذا القسم، يوضح المؤلفون الإطار المنهجي لتطوير وتقييم PsychiatryBench، والذي يتضمن تنسيق مجموعة البيانات من مصادر نفسية موثوقة وتصميم أحد عشر نوعًا من المهام السريرية. يشمل الإعداد التجريبي اختيار نماذج اللغة الكبيرة (LLMs) العامة والخاصة بالمجال، جنبًا إلى جنب مع استراتيجيات التحفيز القياسية. كما يتم توضيح بروتوكولات التقييم، باستخدام مقاييس وآلية LLM كقاضي لتقييم قدرات التفكير واتخاذ القرار السريرية.
يركز التصميم التجريبي على تقييم أداء LLM عبر المهام التي تحاكي سير العمل السريري في العالم الحقيقي، موضحًا النماذج المستخدمة—كلا من العامة والخاصة بالمجال الطبي. تدمج منهجية التقييم التحفيز، تحليل المخرجات، المقاييس التلقائية، وتقييمات LLM كقاضي لقياس الدقة، عمق التفكير، والتوافق السريري. يتم تقديم نظرة شاملة على LLMs التي تم تقييمها، مصنفة حسب الاسم، حجم المعلمات، نوع المصدر (مفتوح أو مغلق)، ومزود خدمة API. يتم مقارنة النماذج الملكية، مثل إصدارات مختلفة من Google Gemini وOpenAI’s GPT، مع نماذج مفتوحة المصدر مثل DeepSeek-R1 وLLaMA 3.3، مما يبرز التبادلات والأفضليات في الأداء لكل فئة لتطبيقات الرعاية الصحية المختلفة.
نتائج
يوفر قسم النتائج تقييمًا شاملاً لـ 15 نموذجًا رائدًا من نماذج اللغة الكبيرة (LLMs) باستخدام معيار PsychiatryBench، مع التركيز على أدائها عبر أحد عشر مهمة تفكير تشخيصي. يتم تفصيل النتائج في الجدول 2، الذي يقدم تقييمًا دقيقًا لقدرات كل نموذج. بالإضافة إلى ذلك، توضح الشكل 1 الأداء المتوسط لهذه النماذج مقابل تواريخ إصدارها، مع حجم الفقاعات الذي يشير إلى عدد المعلمات في كل نموذج.
تسهل هذه المقاربة المزدوجة مناقشة متعمقة حول الاتجاهات الرئيسية في الأداء، مما يبرز تأثير حجم النموذج، مزايا التدريب الخاص بالمجال، وفعالية استراتيجيات الاستدلال المختلفة. تؤكد التحليل على العلاقة بين تعقيد النموذج والدقة التشخيصية، مقدمة رؤى حول كيفية تعزيز التقدم في LLMs للتقييمات النفسية.
مناقشة
ت outlines قسم المناقشة في ورقة البحث تقييم نماذج اللغة الكبيرة (LLMs) في الممارسة النفسية من خلال إطار عمل PsychiatryBench، مؤكدًا على أهمية التدخلات المستندة إلى الأدلة، تخطيط الإدارة، والتفكير السريري. يقدم البحث مجموعة بيانات صارمة سريريًا مشتقة من مصادر نفسية موثوقة ويقدم أحد عشر نوعًا معقدًا من المهام لتقييم قدرات LLMs في التفكير التشخيصي عالي المخاطر. تكشف النتائج أنه بينما تتفوق النماذج الطبية المتخصصة مثل MedGemma في المهام المعتمدة على المعرفة، تتفوق النماذج العامة مثل GPT-5 Medium (T) وSonnet 4.5 (T) عليها في المهام المعقدة، مما يبرز “تناقض العام والمتخصص”. يشير هذا إلى أن مواءمة النماذج العامة القوية مع المعايير النفسية قد تكون أكثر فائدة من تطوير نماذج متخصصة مدربة بشكل ضيق.
تشير تحليل الأداء إلى وجود تباين واضح بين النماذج، حيث تحقق النماذج الرائدة دقة عالية عبر مهام متنوعة، بينما تظهر النماذج المتخصصة تباينًا في الأداء. من الجدير بالذكر أن الدراسة تحدد التحديات المستمرة في التصنيف متعدد التسميات ومهام عنصر المطابقة الممتدة (EMI)، مما يعكس التعقيدات الكامنة في التشخيص النفسي. يدعو المؤلفون إلى دمج حذر لـ LLMs في الممارسة السريرية، مؤكدين على أدوارها المحتملة في التعليم والتوثيق بدلاً من اتخاذ القرارات غير الخاضعة للإشراف في السيناريوهات الحرجة. تختتم المناقشة بالاعتراف بحدود الدراسة، لا سيما فيما يتعلق بتمثيل البيانات والحاجة إلى مزيد من البحث لتعزيز موثوقية النموذج وسلامته في التطبيقات النفسية.
DOI: https://doi.org/10.1038/s41746-026-02582-w
PMID: https://pubmed.ncbi.nlm.nih.gov/41981155
Publication Date: 2026-04-14
Author(s): Aya E. Fouda et al.
Primary Topic: Artificial Intelligence in Healthcare and Education
Overview
The section presents an overview of the research on enhancing psychiatric practice through large language models (LLMs). It highlights the limitations of current evaluation resources, which primarily rely on small clinical interview datasets, social media content, or synthetic dialogues, thereby lacking clinical validity and failing to encompass the complexities of diagnostic reasoning. To address these shortcomings, the authors introduce PsychiatryBench, a meticulously curated benchmark based on expert-validated psychiatric textbooks and casebooks.
PsychiatryBench includes eleven distinct question-answering tasks that cover various aspects of psychiatric practice, such as diagnostic reasoning, treatment planning, and clinical management, totaling 5,188 expert-annotated items. The study evaluates several advanced LLMs, including Google Gemini and GPT-5, as well as notable open-source medical models like MedGemma, using both traditional metrics and an innovative “LLM-as-judge” similarity scoring framework. The findings indicate significant deficiencies in clinical consistency and safety, particularly in multi-turn follow-up and management tasks, highlighting the necessity for specialized model tuning and improved evaluation methods. PsychiatryBench serves as a modular and extensible platform aimed at benchmarking and enhancing LLM performance in mental health applications.
Methods
In this section, the authors detail the methodological framework for developing and evaluating PsychiatryBench, which includes dataset curation from authoritative psychiatric sources and the design of eleven clinical task types. The experimental setup encompasses the selection of both general-purpose and domain-specific large language models (LLMs), alongside standardized prompting strategies. Evaluation protocols are also outlined, employing metrics and an LLM-as-a-judge mechanism to assess clinical reasoning and decision-making capabilities.
The experimental design focuses on evaluating LLM performance across tasks that simulate real-world clinical workflows, detailing the models used—both general-purpose and medical-domain-specific. The evaluation methodology integrates prompting, output parsing, automatic metrics, and LLM-as-a-judge assessments to measure accuracy, reasoning depth, and clinical alignment. A comprehensive overview of the evaluated LLMs is provided, categorizing them by name, parameter size, source type (open or closed), and API service provider. Proprietary models, such as various versions of Google’s Gemini and OpenAI’s GPT, are contrasted with open-source models like DeepSeek-R1 and LLaMA 3.3, highlighting the performance trade-offs and advantages of each category for different healthcare applications.
Results
The results section provides a comprehensive evaluation of 15 leading large language models (LLMs) using the PsychiatryBench benchmark, focusing on their performance across eleven diagnostic reasoning tasks. The findings are detailed in Table 2, which presents a nuanced assessment of each model’s capabilities. Additionally, Figure 1 illustrates the average performance of these models plotted against their release dates, with bubble size indicating the number of parameters in each model.
This dual approach facilitates an in-depth discussion of key performance trends, highlighting the influence of model scale, the advantages of domain-specific training, and the effectiveness of various inference strategies. The analysis underscores the relationship between model complexity and diagnostic accuracy, offering insights into how advancements in LLMs can enhance psychiatric evaluations.
Discussion
The discussion section of the research paper outlines the evaluation of large language models (LLMs) in psychiatric practice through the PsychiatryBench framework, emphasizing the importance of evidence-based interventions, management planning, and clinical reasoning. The study presents a clinically rigorous dataset derived from authoritative psychiatric resources and introduces eleven complex task types to assess LLMs’ capabilities in high-stakes clinical reasoning. The findings reveal that while specialized medical models like MedGemma excel in knowledge-intensive tasks, generalist models such as GPT-5 Medium (T) and Sonnet 4.5 (T) outperform them in complex reasoning tasks, highlighting a “generalist-specialist paradox.” This suggests that aligning powerful generalist models with psychiatric norms may be more beneficial than developing narrowly trained specialty models.
The performance analysis indicates a clear stratification among models, with frontier models achieving high accuracy across diverse tasks, while specialized models demonstrate variability in performance. Notably, the study identifies persistent challenges in multi-label classification and the Extended Matching Item (EMI) tasks, reflecting inherent complexities in psychiatric diagnostics. The authors advocate for cautious integration of LLMs into clinical practice, emphasizing their potential roles in education and documentation rather than unsupervised decision-making in critical scenarios. The discussion concludes by acknowledging the limitations of the study, particularly regarding data representativeness and the need for further research to enhance model reliability and safety in psychiatric applications.