DOI: https://doi.org/10.1093/jamiaopen/ooag054
PMID: https://pubmed.ncbi.nlm.nih.gov/42007479
تاريخ النشر: 2026-03-06
المؤلف: Min Zhao وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية والتعليم
نظرة عامة
تدرس هذه الدراسة فعالية روبوتات الدردشة المعتمدة على نماذج اللغة الكبيرة (LLM) في تقديم معلومات طبية دقيقة للمرضى الذين يعانون من أمراض نادرة، مع التركيز بشكل خاص على التشوهات اللمفاوية المعقدة (CLAs). تقارن الأبحاث بين مقاييس معالجة اللغة الطبيعية التقليدية (NLP) وطرق التقييم المعتمدة على LLM لتقييم جودة الردود التي تولدها سبعة نماذج LLM على 25 سؤال شائع من المرضى. قام أطباء خبراء بتقييم دقة هذه الردود، وحللت الدراسة العلاقة بين الدرجات المعينة من قبل الأطباء والدرجات من طرق التقييم الآلي المختلفة، بما في ذلك كل من تقييم LLM المعتمد على المراجع وغير المعتمد على المراجع.
تشير النتائج إلى أن التقييمات المعتمدة على LLM، وخاصة تلك التي تستخدم أساليب معتمدة على المراجع مع نماذج مثل GPT-4، تتماشى بشكل أقرب مع تقييمات الأطباء مقارنة بمقاييس NLP التقليدية، التي أظهرت فقط علاقات ضعيفة إلى متوسطة. حقق مُقيّم GPT-4 المعتمد على المراجع أعلى معامل ارتباط (ρ=0.758) مع درجات الأطباء، مما يشير إلى أن التقييمات المعتمدة على LLM يمكن أن تكون بدائل فعالة وقابلة للتوسع للمراجعة البشرية في تقييم الردود على استفسارات المرضى حول الأمراض النادرة. تؤكد الدراسة على إمكانيات طرق التقييم المعتمدة على LLM لتعزيز تطوير أنظمة روبوتات الدردشة المصممة خصيصًا لسياقات الأمراض النادرة، مع التأكيد أيضًا على الحاجة إلى التحقق المستمر والمراقبة لضمان الصلة السريرية.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على التحديات التي يواجهها المرضى الذين يعانون من أمراض نادرة، وخاصة التشوهات اللمفاوية المعقدة (CLAs)، والتي تتميز بتطور لمفاوي غير طبيعي ويمكن أن تؤدي إلى اعتلال كبير. على الرغم من ندرتها، تؤثر هذه الأمراض بشكل جماعي على ملايين الأشخاص حول العالم، مما يخلق حواجز أمام الوصول إلى الرعاية المتخصصة والمعلومات الموثوقة. تؤكد الدراسة على أهمية المعلومات عالية الجودة لتحسين نتائج المرضى، بما في ذلك الصحة العقلية والبدنية، وتبرز الحاجة الملحة لحلول مبتكرة، مثل روبوتات الدردشة المدفوعة بالذكاء الاصطناعي، لدعم المرضى والعائلات المتأثرة بالتشوهات اللمفاوية المعقدة.
تقدم التطورات الأخيرة في نماذج اللغة الكبيرة (LLMs) طريقًا واعدًا لتطوير أنظمة روبوتات دردشة قابلة للتوسع ومركزية حول المرضى. ومع ذلك، فإن إمكانية نماذج LLM في توليد معلومات غير دقيقة تتطلب طرق تقييم قوية لضمان جودة مخرجاتها. تناقش الورقة القيود المفروضة على مقاييس معالجة اللغة الطبيعية التقليدية (NLP) في تقييم الردود النصية الحرة الدقيقة وتقدم التقييم المعتمد على LLM كنهج جديد. تهدف هذه الدراسة إلى تقييم منهجي لكل من مقاييس NLP التقليدية وطرق المعتمدة على LLM لتقييم الردود على استفسارات المرضى حول التشوهات اللمفاوية المعقدة، مما يعالج فجوة حاسمة في الأدبيات بشأن فعالية تقنيات التقييم هذه في سياق الأمراض النادرة.
الطرق
في قسم “الطرق”، توضح الأبحاث استخدام طرق التقييم الآلي لتقييم فعالية تقنيات التقييم المختلفة المعتمدة على نماذج اللغة الكبيرة (LLM). تستخدم الدراسة مقارنة منهجية بين هذه الطرق لتحديد أدائها النسبي وموثوقيتها في تقييم نتائج محددة.
تركز التحليل على المقاييس الرئيسية التي تقيس دقة وكفاءة التقييمات الآلية، مما يوفر رؤى حول كيفية استغلال أساليب LLM المختلفة لتحسين عمليات التقييم. تشير النتائج إلى وجود تباينات كبيرة في الفعالية بين الطرق التي تم تقييمها، مما يبرز إمكانية تحسين التقييمات الآلية في تطبيقات متنوعة.
النتائج
في قسم النتائج، تفيد الدراسة بوجود موثوقية عالية بين ثلاثة أطباء خبراء، مع معامل ارتباط داخلي (ICC) قدره 0.852، مما يشير إلى توافق كبير في تقييماتهم. كانت درجة الدقة المتوسطة التي منحها الأطباء لردود GPT-4 هي الأعلى عند 4.77 (SD=0.25)، مما يجعل هذه الردود مجموعة المرجع للتقييمات اللاحقة. بعد ذلك، استبعدت الدراسة ردود GPT-4 من التقييمات الإضافية للنماذج الأخرى.
من بين نماذج توليد الإجابات التي تم تقييمها، حقق Phi-4 أعلى متوسط درجة معينة من قبل الأطباء قدره 3.53 (SD=1.25)، بينما حصل DeepSeek-R1-8B على أدنى درجة قدرها 2.64 (SD=1.33). أكدت اختبار فريدمان وجود فرق ذو دلالة إحصائية في الدرجات المعينة من قبل الأطباء عبر النماذج الستة التي تم تقييمها (p=0.005)، مما يبرز التباين في الأداء بين النماذج.
المناقشة
في هذه الدراسة، طور المؤلفون مجموعة بيانات CLA-QA، التي تتكون من 175 رد نصي حر تم توليده بواسطة سبعة نماذج لغوية (LLMs) استجابةً لـ 25 سؤالًا مختارًا حول التشوهات اللمفاوية المعقدة (CLAs). تم اختيار الأسئلة من قبل خبير طبي وتغطية جوانب مختلفة من CLAs، بما في ذلك التعريفات، والتشخيص، والعلاج، والصحة العقلية. تم تقييم الردود من حيث الدقة من قبل ثلاثة أطباء خبراء في المجال باستخدام مقياس ليكرت من 5 نقاط. قارنت الدراسة بين مقاييس تشابه الجمل التقليدية في NLP (ROUGE-L، BLEU، METEOR، وBERTScore) مع طرق التقييم المعتمدة على LLM، وكشفت أن التقييمات المعتمدة على LLM، وخاصة تلك التي تستخدم نماذج GPT، تتوافق بشكل أقوى مع تقييمات الأطباء مقارنة بالمقاييس التقليدية.
أشارت النتائج إلى أنه بينما يمكن لمقاييس NLP التقليدية التمييز بين الأداء بين النماذج، فإنها غالبًا ما تفشل في التوافق مع تقييمات الخبراء بسبب اعتمادها على التشابه المعجمي بدلاً من الفهم الدلالي. بالمقابل، أظهرت التقييمات المعتمدة على LLM موثوقية ومرونة أعلى، مما يجعلها مناسبة للتقييمات الآلية في السياقات السريرية. تؤكد الدراسة على إمكانيات طرق التقييم المعتمدة على LLM كبدائل قابلة للتوسع للمراجعة البشرية، وخاصة في مجال الأمراض النادرة، بينما تبرز أيضًا الحاجة إلى تصميم دقيق والتحقق لضمان الصلة السريرية والدقة في المخرجات. يجب أن تركز الأبحاث المستقبلية على تعزيز قوة وعمومية هذه الأساليب التقييمية الآلية عبر مجالات طبية متنوعة.
DOI: https://doi.org/10.1093/jamiaopen/ooag054
PMID: https://pubmed.ncbi.nlm.nih.gov/42007479
Publication Date: 2026-03-06
Author(s): Min Zhao et al.
Primary Topic: Artificial Intelligence in Healthcare and Education
Overview
This study investigates the efficacy of large language model (LLM)-based chatbots in providing accurate medical information for patients with rare diseases, specifically focusing on Complex Lymphatic Anomalies (CLAs). The research compares traditional natural language processing (NLP) metrics with LLM-based evaluation methods to assess the quality of responses generated by seven LLMs to 25 common patient questions. Expert physicians evaluated the accuracy of these responses, and the study analyzed the correlation between physician-assigned scores and scores from various automated evaluation methods, including both reference-guided and reference-free LLM scoring.
The findings indicate that LLM-based evaluations, particularly those using reference-guided approaches with models like GPT-4, align more closely with physician assessments than traditional NLP metrics, which exhibited only weak to moderate correlations. The reference-guided GPT-4 evaluator achieved the highest correlation coefficient (ρ=0.758) with physician scores, suggesting that LLM-based evaluations can serve as effective, scalable alternatives to human review in assessing responses to patient inquiries about rare diseases. The study underscores the potential of LLM-based evaluation methods to enhance the development of chatbot systems tailored for rare disease contexts, while also emphasizing the need for ongoing validation and monitoring to ensure clinical relevance.
Introduction
The introduction of this research paper highlights the challenges faced by patients with rare diseases, specifically Complex Lymphatic Anomalies (CLAs), which are characterized by abnormal lymphatic development and can lead to significant morbidity. Despite their rarity, these diseases collectively impact millions globally, creating barriers to accessing expert care and reliable information. The study emphasizes the importance of high-quality information for improving patient outcomes, including mental and physical health, and underscores the urgent need for innovative solutions, such as AI-driven chatbots, to support patients and families affected by CLAs.
Recent advancements in large language models (LLMs) present a promising avenue for developing scalable, patient-centered chatbot systems. However, the potential for LLMs to generate inaccurate information necessitates robust evaluation methods to ensure the quality of their outputs. The paper discusses the limitations of traditional natural language processing (NLP) metrics in assessing nuanced free-text responses and introduces LLM-based evaluation as a novel approach. This study aims to systematically evaluate both traditional NLP metrics and LLM-based methods for assessing responses to patient inquiries about CLAs, addressing a critical gap in the literature regarding the effectiveness of these evaluation techniques in the context of rare diseases.
Methods
In the “Methods” section, the research outlines the use of automated evaluation methods to assess the effectiveness of various large language model (LLM)-based evaluation techniques. The study employs a systematic comparison of these methods to determine their relative performance and reliability in evaluating specific outcomes.
The analysis focuses on key metrics that gauge the accuracy and efficiency of the automated evaluations, providing insights into how different LLM approaches can be leveraged for improved assessment processes. The findings indicate significant variations in effectiveness among the evaluated methods, highlighting the potential for optimizing automated evaluations in various applications.
Results
In the results section, the study reports high inter-rater reliability among three expert physicians, with an Intraclass Correlation Coefficient (ICC) of 0.852, indicating substantial agreement in their evaluations. The mean accuracy score assigned by the physicians to GPT-4’s responses was the highest at 4.77 (SD=0.25), establishing these responses as the reference set for subsequent evaluations. Following this, the study excluded GPT-4’s responses from further assessments of other models.
Among the evaluated answer-generation models, Phi-4 achieved the highest average physician-assigned score of 3.53 (SD=1.25), while DeepSeek-R1-8B received the lowest score of 2.64 (SD=1.33). A Friedman test confirmed a statistically significant difference in the physician-assigned scores across the six models evaluated (p=0.005), highlighting the variability in performance among the models.
Discussion
In this study, the authors developed the CLA-QA dataset, comprising 175 free-text responses generated by seven language models (LLMs) in response to 25 curated questions about complex lymphatic anomalies (CLAs). The questions were selected by a physician expert and covered various aspects of CLAs, including definitions, diagnosis, treatment, and mental health. The responses were evaluated for accuracy by three domain-expert physicians using a 5-point Likert scale. The study compared traditional NLP sentence similarity metrics (ROUGE-L, BLEU, METEOR, and BERTScore) with LLM-based evaluation methods, revealing that LLM-based evaluations, particularly those using GPT models, correlated more strongly with physician assessments than traditional metrics.
The findings indicated that while traditional NLP metrics could differentiate performance among models, they often failed to align with expert evaluations due to their reliance on lexical similarity rather than semantic understanding. In contrast, LLM-based evaluations demonstrated higher reliability and adaptability, making them suitable for automated assessments in clinical contexts. The study emphasizes the potential of LLM-based evaluation methods as scalable alternatives to human review, particularly in the rare disease domain, while also highlighting the need for careful design and validation to ensure clinical relevance and accuracy in outputs. Future research should focus on enhancing the robustness and generalizability of these automated evaluation approaches across various medical domains.