DOI: https://doi.org/10.3389/fdgth.2025.1719340
PMID: https://pubmed.ncbi.nlm.nih.gov/41743425
تاريخ النشر: 2026-02-10
المؤلف: Ruikang Liu وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية والتعليم
نظرة عامة
تدرس هذه الدراسة فعالية نماذج اللغة الكبيرة (LLMs) في سياق إعادة التأهيل العضلي الهيكلي، مع معالجة عدم اليقين بين الأطباء بشأن قدرات هذه النماذج. شملت الأبحاث ثلاثة اختبارات: الأول مع ثمانية أطباء ومعالجين رئيسيين يقيمون عشرة LLMs، والثاني مع خمسة محترفين كبار يقيمون الردود، والثالث حيث تصرف خمسة معالجين رئيسيين كمتقدمين. تضمنت معايير التقييم فهم الحالة، التفكير السريري، التشخيص الأولي، التشخيص التفريقي، دقة وسلامة خطة العلاج، والامتثال للإرشادات والتوافق.
كشفت النتائج أن ERNIE Bot X1 Turbo و Doubao 1.5 pro فقط حققا معدلات دقة تتجاوز 90% في الاختبار الأول، حيث أظهرت نماذج اللغة الصينية عددًا أقل بكثير من الردود غير الصحيحة مقارنة بنظيراتها الإنجليزية (9.6% مقابل 14.8%، P < 0.001). في التقييمات اللاحقة، سجل Doubao 1.5 pro باستمرار درجات عالية في مجالات حاسمة مثل فهم الحالة والتفكير السريري. في النهاية، حقق المعالجون الرئيسيون دقة متوسطة قدرها 76.9%، مع تحسن Doubao 1.5 pro إلى 85.8%. تستنتج الدراسة أن Doubao 1.5 pro هو أكثر LLM كفاءة لاستفسارات إعادة التأهيل العضلي الهيكلي، مما يبرز الأداء المتفوق لنماذج اللغة المحلية على LLMs الإنجليزية في السياقات المحلية.
مقدمة
تسلط المقدمة الضوء على الطلب المتزايد على إعادة التأهيل العضلي الهيكلي بسبب عوامل مثل نمو السكان، والشيخوخة، وزيادة عوامل الخطر بين الأفراد الأصغر سنًا، بما في ذلك أنماط الحياة المستقرة والعادات غير الصحية. يقدم هذا الارتفاع تحديات في إعادة التأهيل، لا سيما الاعتماد على نتائج تقارير المرضى التي تؤدي إلى تباين في التقييمات ونقص في المعالجين المدربين بشكل كافٍ. توفر نماذج اللغة الكبيرة (LLMs) حلولًا واعدة من خلال تمكين دمج المعرفة الطبية الواسعة، وتقديم اقتراحات تشخيصية فردية، وتحويل البيانات غير المنظمة إلى لغة طبية موحدة.
تؤكد الورقة على إمكانيات LLMs، وخاصة ChatGPT، في تحقيق أداء بمستوى النجاح في الاختبارات الطبية الموحدة، على الرغم من أن أسئلة إعادة التأهيل العضلي الهيكلي تمثل نقصًا ملحوظًا في الامتحانات الطبية الحالية. يثير هذا تساؤلات حول دقة LLMs في هذا المجال المحدد. علاوة على ذلك، تهدف الدراسة إلى تقييم أداء عشرة LLMs شعبية في امتحانات إعادة التأهيل العضلي الهيكلي واستكشاف فائدتها للمعالجين الرئيسيين في إعادة التأهيل الذين يستعدون لاختبارات طبية غير إنجليزية، مما يعالج الفجوة في المعرفة بشأن فعالية LLMs في كل من السياقات الإنجليزية والمحلية.
طرق البحث
في هذه الدراسة، أجرى الباحثون تحقيقهم دون جمع بيانات المرضى أو إجراء تدخلات على المرضى، مما أدى إلى إعفاء لجنة الأخلاقيات في مستشفى اتحاد كلية الطب التابع لجامعة هوازونغ للعلوم والتكنولوجيا من الموافقة الأخلاقية. التزمت الدراسة بالمبادئ الموضحة في إعلان هلسنكي، مما يضمن الحفاظ على المعايير الأخلاقية على الرغم من غياب بيانات المرضى الحقيقية. وبالتالي، لم تكن هناك حاجة لنماذج موافقة مستنيرة. يتم تمثيل تصميم الدراسة العام بصريًا في الشكل 1، الذي يوضح التدفق المنهجي للبحث.
مناقشة
في هذه الدراسة، تم تقييم عشرة نماذج لغة كبيرة (LLMs) شعبية لأدائها في الإجابة على أسئلة إعادة التأهيل العضلي الهيكلي من امتحان تكنولوجيا علاج الطب التأهيلي الصيني. شملت النماذج كل من النسخ الدولية والصينية، حيث حقق Doubao 1.5 pro و ERNIE Bot X1 Turbo أعلى معدلات دقة بلغت 91.5% و 93.5%، على التوالي. أشارت النتائج إلى أن LLMs الصينية تفوقت على نظيراتها الإنجليزية، بمعدل دقة متوسط قدره 90.4% مقارنة بـ 84.3%. كما سلطت الدراسة الضوء على وجود أسئلة متذبذبة، حيث قدمت النماذج إجابات غير متسقة، لا سيما في LLMs الإنجليزية، مما يشير إلى الحاجة إلى تحسين الاستقرار في الردود.
تقييم المرحلة الثانية من الاختبار قدرات التفكير السريري لأفضل خمسة نماذج من خلال تحليلات حالات معقدة، مما كشف أنه بينما تفوقت LLMs في فهم تفاصيل الحالة والتفكير السريري، واجهت صعوبة في مواءمة خطط العلاج مع الإرشادات الطبية المعمول بها. أظهر الاختبار النهائي أن مساعدة LLM يمكن أن تعزز دقة المعالجين الرئيسيين في إعادة التأهيل، مما يزيد من دقتهم المتوسطة من 76.9% إلى 85.8%. ومع ذلك، أثيرت مخاوف بشأن خطر قبول المعالجين بشكل أعمى للإجابات غير الصحيحة التي تولدها LLM. تؤكد النتائج على إمكانيات LLMs مثل Doubao 1.5 pro لدعم التدريب الطبي وتحسين أداء الامتحانات، بينما تبرز أيضًا ضرورة الإشراف البشري في اتخاذ القرارات السريرية عالية المخاطر لتقليل المخاطر المرتبطة بمخرجات الذكاء الاصطناعي.
القيود
تقدم الدراسة عدة قيود قد تؤثر على قابلية تعميم وموثوقية نتائجها. أولاً، تم اختيار عشرة نماذج لغة كبيرة (LLMs) بناءً على شعبيتها وسهولة استخدامها، مما قد يقدم تحيزًا في الاختيار من خلال استبعاد النماذج الأقل شعبية. ثانيًا، ظاهرة “وهم” الذكاء الاصطناعي هي مصدر قلق، حيث قد تولد النماذج معلومات مزيفة أو ردود غير متسقة، مما قد يضلل المستخدمين الذين يفتقرون إلى الخبرة المهنية. بالإضافة إلى ذلك، غالبًا ما تفشل LLMs الحالية في تقديم استشهادات بالإرشادات السريرية، مما يشير إلى أن دمج تحسين النموذج مع آلية تحديث ديناميكية للإرشادات يمكن أن يعزز التوازن بين الاستجابات الطبية الموحدة والشخصية.
علاوة على ذلك، لم تقم التحليل بتصنيف الأسئلة حسب الصعوبة بسبب غياب نظام تصنيف موحد وآراء الفريق المتنوعة بشأن معايير التقييم. تعيق هذه القيود التعرف الدقيق على نقاط القوة لنماذج LLM المختلفة عبر مستويات تعقيد الأسئلة المختلفة. على الرغم من هذه القيود، خلصت الدراسة إلى أن Doubao 1.5 pro أظهر أعلى قدرة وإمكانية لمعالجة استفسارات إعادة التأهيل العضلي الهيكلي، مما يساعد بشكل كبير المعالجين الرئيسيين في تحسين دقة التشخيص. ومن الجدير بالذكر أن أداء LLMs باللغة المحلية كان متفوقًا بشكل كبير على أداء LLMs الإنجليزية عند الرد على الأسئلة المحلية.
DOI: https://doi.org/10.3389/fdgth.2025.1719340
PMID: https://pubmed.ncbi.nlm.nih.gov/41743425
Publication Date: 2026-02-10
Author(s): Ruikang Liu et al.
Primary Topic: Artificial Intelligence in Healthcare and Education
Overview
This study investigates the effectiveness of large language models (LLMs) in the context of musculoskeletal rehabilitation, addressing the uncertainty among clinicians regarding the capabilities of these models. The research involved three tests: the first with eight primary doctors and therapists evaluating ten LLMs, the second with five senior professionals assessing the responses, and the third where five primary therapists acted as examinees. The evaluation criteria included Case Understanding, Clinical Reasoning, Primary Diagnosis, Differential Diagnosis, Treatment Plan Accuracy and Safety, and adherence to Guidelines & Consensus.
The findings revealed that only ERNIE Bot X1 Turbo and Doubao 1.5 pro achieved accuracy rates exceeding 90% in the initial test, with Chinese LLMs demonstrating significantly fewer incorrect responses compared to their English counterparts (9.6% vs. 14.8%, P < 0.001). In subsequent assessments, Doubao 1.5 pro consistently scored high in critical areas such as Case Understanding and Clinical Reasoning. Ultimately, primary therapists achieved a mean accuracy of 76.9%, with Doubao 1.5 pro improving to 85.8%. The study concludes that Doubao 1.5 pro is the most competent LLM for musculoskeletal rehabilitation inquiries, highlighting the superior performance of local-language models over English LLMs in localized contexts.
Introduction
The introduction highlights the increasing demand for musculoskeletal rehabilitation due to factors such as population growth, aging, and rising risk factors among younger individuals, including sedentary lifestyles and unhealthy habits. This surge presents challenges in rehabilitation, notably the reliance on patient-reported outcomes that lead to heterogeneity in assessments and a shortage of adequately trained therapists. The introduction of large language models (LLMs) offers promising solutions by enabling the integration of extensive medical knowledge, providing individualized diagnostic suggestions, and converting unstructured data into standardized medical language.
The paper emphasizes the potential of LLMs, particularly ChatGPT, in achieving passing-level performance on standardized medical tests, although musculoskeletal rehabilitation questions are notably underrepresented in existing medical examinations. This raises questions about the accuracy of LLMs in this specific field. Furthermore, the study aims to assess the performance of ten popular LLMs in musculoskeletal rehabilitation examinations and explore their utility for primary rehabilitation therapists preparing for non-English medical tests, addressing the gap in knowledge regarding the effectiveness of LLMs in both English and local-language contexts.
Methods
In this study, the researchers conducted their investigation without collecting patient data or performing interventions on patients, which led to the waiver of ethical approval by the Ethics Committee of Huazhong University of Science and Technology Tongji Medical College Affiliated Union Hospital. The study adhered to the principles outlined in the Declaration of Helsinki, ensuring ethical standards were maintained despite the absence of real patient data. Consequently, no informed consent forms were necessary. The overall study design is visually represented in Figure 1, which outlines the methodological flow of the research.
Discussion
In this study, ten popular large language models (LLMs) were evaluated for their performance in answering musculoskeletal rehabilitation questions from the Chinese Rehabilitation Medicine Treatment Technology Examination. The models included both international and Chinese iterations, with Doubao 1.5 pro and ERNIE Bot X1 Turbo achieving the highest accuracy rates of 91.5% and 93.5%, respectively. The results indicated that Chinese LLMs outperformed their English counterparts, with an average accuracy of 90.4% compared to 84.3%. The study also highlighted the presence of wavering questions, where models provided inconsistent answers, particularly in English LLMs, suggesting a need for improved stability in responses.
The second phase of testing assessed the clinical reasoning capabilities of the top five models through complex case analyses, revealing that while LLMs excelled in understanding case details and clinical reasoning, they struggled with aligning treatment plans to established medical guidelines. The final test demonstrated that LLM assistance could enhance the accuracy of primary rehabilitation therapists, increasing their mean accuracy from 76.9% to 85.8%. However, concerns were raised about the risk of therapists blindly accepting incorrect LLM-generated answers. The findings underscore the potential of LLMs like Doubao 1.5 pro to support medical training and improve exam performance, while also emphasizing the necessity of human oversight in high-stakes clinical decision-making to mitigate risks associated with AI outputs.
Limitations
The study presents several limitations that may affect the generalizability and reliability of its findings. Firstly, the selection of ten large language models (LLMs) was based on their popularity and user-friendliness, potentially introducing selection bias by excluding less popular models. Secondly, the phenomenon of the “illusion” of artificial intelligence is a concern, as models may generate fabricated information or inconsistent responses, which could mislead users lacking professional expertise. Additionally, the current LLMs often fail to provide citations to clinical guidelines, suggesting that integrating model optimization with a dynamic guideline update mechanism could enhance the balance between standardized and personalized medical responses.
Furthermore, the analysis did not stratify questions by difficulty due to the absence of a standardized classification system and varying team opinions on evaluation criteria. This limitation hinders the precise identification of the strengths of different LLMs across varying levels of question complexity. Despite these limitations, the study concluded that Doubao 1.5 pro demonstrated the highest capability and potential for addressing musculoskeletal rehabilitation inquiries, significantly aiding primary therapists in improving diagnostic accuracy. Notably, the performance of local-language LLMs was found to be substantially superior to that of English LLMs when responding to localized questions.