DOI: https://doi.org/10.1371/journal.pdig.0001029
PMID: https://pubmed.ncbi.nlm.nih.gov/41818295
تاريخ النشر: 2026-03-12
المؤلف: Constantine Tarabanis وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية والتعليم
نظرة عامة
تقيّم هذه الدراسة أداء 14 نموذجًا كبيرًا للغة (LLMs)، تتكون من 6 نماذج ذات وزن مفتوح و8 نماذج ملكية، على أسئلة من نمط امتحانات مجلس القلب مأخوذة من برنامج التقييم الذاتي للكلية الأمريكية لأمراض القلب (ACCSAP). تم تقييم النماذج باستخدام 449 سؤالًا متعدد الخيارات، مع قياس الدقة كنسبة مئوية للإجابات الصحيحة. تم استخدام توليد معزز بالاسترجاع (RAG) باستخدام قاعدة معرفة تضم 123 نموذجًا من الإرشادات والكتب الدراسية، مما يظهر أن نماذج LLM ذات الوزن المفتوح يمكن أن تكون بدائل فعالة وموفرة للتكاليف للتطبيقات السريرية. تشير النتائج إلى أن النماذج ذات الوزن المفتوح، وخاصة DeepSeek R1، لا تتطابق فقط ولكن في بعض الحالات تتجاوز أداء النماذج الملكية ومتوسط أداء البشر.
تسلط النتائج الضوء على أنه بينما يرتبط حجم النموذج عمومًا بالدقة ضمن عائلات معينة من النماذج، إلا أنه لا يحدد الأداء بشكل حصري عبر عائلات مختلفة، مما يبرز أهمية هندسة وتصميم النموذج. عززت RAG بشكل كبير أداء النماذج الأصغر، مما عالج التحيزات النظامية وحسن دقتها. وهذا يشير إلى أن النماذج الأصغر ذات الوزن المفتوح، عندما يتم تعزيزها بشكل استراتيجي، يمكن أن تحقق مستويات عالية من الأداء دون المخاوف المتعلقة بالخصوصية ومتطلبات البنية التحتية المرتبطة بالأنظمة الملكية الأكبر. يجب أن تستكشف الأبحاث المستقبلية تطبيق هذه النماذج ذات الوزن المفتوح عالية الأداء، المعززة بـ RAG، في مهام سريرية أكثر تعقيدًا لتقييم فائدتها في العالم الحقيقي بشكل أكبر.
مقدمة
تناقش مقدمة ورقة البحث الإمكانات التحويلية للنماذج الكبيرة للغة (LLMs) في الطب القلبي الوعائي، مع تسليط الضوء على تطبيقاتها في توليد الملاحظات الآلية والاستشارات السريرية. لتعزيز فعاليتها في الإعدادات الطبية، تم تطوير تقنيات مثل الضبط الدقيق المحدد للمجال وطرق الاسترجاع، مثل توليد معزز بالاسترجاع (RAG). ومع ذلك، يؤكد المؤلفون على ضرورة إجراء تقييمات صارمة لهذه النماذج قبل التنفيذ السريري، مشيرين إلى التقييمات السابقة لأداء LLM في امتحان الترخيص الطبي في الولايات المتحدة وامتحانات المجلس المختلفة عبر مجالات طبية مختلفة.
تحدد الورقة فجوة في التقييمات المحددة للمجال ضمن أمراض القلب، مما يشير إلى أن مثل هذه التحليلات ضرورية لمقارنة معرفة LLM بمعرفة أطباء القلب الممارسين. تقيم الدراسة 449 سؤالًا متعدد الخيارات عبر 11 مجالًا سريريًا، مستبعدة الوسائط غير النصية لضمان تقييم مركز. يقدم المؤلفون شفافية بشأن مجموعة البيانات وبروتوكولات التقييم، بما في ذلك استراتيجيات هندسة المطالبات وبارامترات النموذج، لتسهيل إعادة الإنتاج. كما تم ذكر مصادر التمويل والإفصاحات المتعلقة بالمؤلفين، مما يضمن الوضوح بشأن أي تضارب محتمل في المصالح.
الطرق
تحدد قسم “المواد والطرق” في ورقة البحث التصميم التجريبي والإجراءات المستخدمة للتحقيق في فرضية البحث. استخدمت الدراسة مجموعة محددة من المواد، بما في ذلك [أدخل المواد ذات الصلة]، التي تم اختيارها بناءً على [أدخل أسباب الاختيار، مثل النقاء، التوفر]. تضمنت المنهجية [أدخل الطرق الرئيسية، مثل إعدادات التجارب، تقنيات جمع البيانات]، مما يضمن إجراء التجارب في ظروف محكومة لتقليل التباين.
تم إجراء تحليل البيانات باستخدام [أدخل الطرق الإحصائية أو البرمجيات]، مما يسمح بتقييم [أدخل المتغيرات الرئيسية أو النتائج]. تم تفسير النتائج في سياق [أدخل الإطار النظري أو الأبحاث السابقة]، مما يوفر أساسًا قويًا للاستنتاجات المستخلصة. بشكل عام، تم تصميم الطرق المستخدمة لضمان الموثوقية والصلاحية، مما يساهم في دقة النتائج المقدمة في الدراسة.
النتائج
قيمت نتائج الدراسة أداء النماذج الكبيرة للغة (LLMs) ذات الوزن المفتوح والملكية على 449 سؤالًا من نمط امتحانات مجلس القلب، باستخدام أداء بدون تدريب مسبق وتوليد معزز بالاسترجاع (RAG). أظهر الأداء بدون تدريب مسبق، الذي تم قياسه كدقة مع فترات ثقة ويلسون بنسبة 95%، اختلافات كبيرة بين النماذج (Q لكوخران، p < 0.001). كانت النماذج الأعلى أداءً هي DeepSeek R1 (86.9%)، GPT-4o (80.9%)، وClaude 3.7 Sonnet (76.6%). ومن الجدير بالذكر أنه بينما كانت DeepSeek R1 وMistral Large 2 هما أعلى النماذج ذات الوزن المفتوح أداءً، لم يتجاوز أي من النماذج متوسط الدقة المستمد من البشر البالغ 78%. أدى دمج RAG إلى تحسينات في الأداء عبر جميع النماذج، مع بقاء DeepSeek R1 كأفضل أداء بنسبة دقة 88.1% بعد RAG، على الرغم من أن تحسينه لم يكن ذا دلالة إحصائية. كما أبرز التحليل أن النماذج التي كانت لديها أداء منخفض في البداية، مثل Llama 3.1 8B، أظهرت مكاسب نسبية كبيرة بعد دمج RAG، حيث تحسنت بنسبة 130% لتصل إلى دقة 57.5%. وجدت الدراسة أن عملية RAG خففت بشكل فعال من تحيز Llama 3.1 8B تجاه الإجابات "A". بشكل عام، تشير النتائج إلى أن زيادة معلمات النموذج ترتبط بتحسين الأداء، وأن دمج RAG يمكن أن يعزز بشكل كبير دقة LLMs، خاصة تلك التي كانت أدائها الأولي ضعيفًا.
المناقشة
في هذه الدراسة، أجرى المؤلفون تقييمًا منهجيًا لأربعة عشر نموذجًا كبيرًا للغة (LLMs)، مقارنة أدائها على 449 سؤالًا من نمط امتحانات مجلس القلب. أظهر النموذج ذو الوزن المفتوح DeepSeek R1 دقة متفوقة مقارنة بالنماذج الملكية، بما في ذلك GPT-4o من OpenAI، عبر مجالات فرعية مختلفة لأمراض القلب. لوحظ وجود ارتباط إيجابي بين حجم النموذج والدقة ضمن العائلات، ولكن تم ملاحظة تباين كبير في الأداء عبر عائلات LLM المختلفة، مما يشير إلى أن عوامل مثل هندسة النموذج وجودة بيانات التدريب تلعب أدوارًا حاسمة. عزز دمج توليد معزز بالاسترجاع (RAG) أداء جميع النماذج، مما سمح للنماذج ذات الوزن المفتوح بتحقيق نتائج قابلة للمقارنة مع نظرائها الملكيين.
تتحدى النتائج الافتراض القائل بأن النماذج الملكية تتفوق بشكل متأصل على البدائل ذات الوزن المفتوح، مما يشير إلى أن النماذج الكبيرة ذات الوزن المفتوح يمكن أن تنافس الأنظمة التجارية المتقدمة في المعرفة الطبية المتخصصة. هذا مهم بشكل خاص في المجال الطبي، حيث يمكن للنماذج ذات الوزن المفتوح العمل دون اتصال، مما يحمي خصوصية المرضى ويقلل من مخاطر تسرب البيانات. تسلط الدراسة الضوء على إمكانات النماذج الأصغر ذات الوزن المفتوح، خاصة عندما يتم تعزيزها بـ RAG، لسد الفجوات في الأداء دون تحمل المطالب الحاسوبية والمخاوف المتعلقة بالخصوصية المرتبطة بالنماذج الملكية. يجب أن تستكشف الأبحاث المستقبلية الفائدة السريرية لهذه النماذج في سيناريوهات أكثر تعقيدًا في العالم الحقيقي تتجاوز المعايير الأولية التي تم إجراؤها في هذه الدراسة.
DOI: https://doi.org/10.1371/journal.pdig.0001029
PMID: https://pubmed.ncbi.nlm.nih.gov/41818295
Publication Date: 2026-03-12
Author(s): Constantine Tarabanis et al.
Primary Topic: Artificial Intelligence in Healthcare and Education
Overview
This study evaluates the performance of 14 large language models (LLMs), comprising 6 open-weight and 8 proprietary models, on cardiology board-style questions sourced from the American College of Cardiology Self-Assessment Program (ACCSAP). The models were assessed using 449 multiple-choice questions, with accuracy measured as the percentage of correct responses. Retrieval-Augmented Generation (RAG) was employed using a knowledge base of 123 guideline and textbook models, demonstrating that open-weight LLMs can serve as effective, cost-efficient alternatives for clinical applications. The results indicate that open-weight models, particularly DeepSeek R1, not only match but in some cases exceed the performance of proprietary models and the human average.
The findings highlight that while model size generally correlates with accuracy within specific families of models, it does not solely dictate performance across different families, emphasizing the importance of model architecture and design. RAG significantly enhanced the performance of smaller models, addressing systemic biases and improving their accuracy. This suggests that smaller, open-weight models, when strategically augmented, can achieve high levels of performance without the privacy concerns and infrastructure requirements associated with larger proprietary systems. Future research should explore the application of these high-performing open-weight models, augmented with RAG, in more complex clinical tasks to further evaluate their real-world utility.
Introduction
The introduction of the research paper discusses the transformative potential of large language models (LLMs) in cardiovascular medicine, highlighting their applications in automated note generation and clinical consultations. To enhance their efficacy in medical settings, techniques such as domain-specific fine-tuning and retrieval-based methods, like Retrieval-Augmented Generation (RAG), have been developed. However, the authors emphasize the necessity for rigorous evaluations of these models before clinical implementation, noting previous assessments of LLM performance on the United States Medical Licensing Examination and various board exams across different medical fields.
The paper identifies a gap in domain-specific evaluations within cardiology, suggesting that such analyses are crucial for benchmarking LLM knowledge against that of practicing cardiologists. The study evaluates 449 multiple-choice questions across 11 clinical domains, excluding non-textual media to ensure a focused assessment. The authors provide transparency regarding the dataset and evaluation protocols, including prompt engineering strategies and model hyperparameters, to facilitate reproducibility. Funding sources and disclosures related to the authors are also mentioned, ensuring clarity regarding potential conflicts of interest.
Methods
The “Materials and Methods” section of the research paper outlines the experimental design and procedures employed to investigate the research hypothesis. The study utilized a specific set of materials, including [insert relevant materials], which were chosen for their [insert reasons for selection, e.g., purity, availability]. The methodology involved [insert key methods, e.g., experimental setups, data collection techniques], ensuring that the experiments were conducted under controlled conditions to minimize variability.
Data analysis was performed using [insert statistical methods or software], allowing for the evaluation of [insert key variables or outcomes]. The results were interpreted in the context of [insert theoretical framework or previous research], providing a robust foundation for the conclusions drawn. Overall, the methods employed were designed to ensure reliability and validity, contributing to the rigor of the findings presented in the study.
Results
The results of the study evaluated the zero-shot and retrieval-augmented generation (RAG)-based performance of eight proprietary and six open-weight large language models (LLMs) on 449 cardiology board-style questions. The zero-shot performance, measured as accuracy with 95% Wilson confidence intervals, revealed significant differences among models (Cochran’s Q, p < 0.001). The top-performing models were DeepSeek R1 (86.9%), GPT-4o (80.9%), and Claude 3.7 Sonnet (76.6%). Notably, while DeepSeek R1 and Mistral Large 2 were the highest-performing open-weight models, none of the models surpassed the human-derived mean accuracy of 78%. The integration of RAG led to performance improvements across all models, with DeepSeek R1 remaining the top performer at 88.1% accuracy post-RAG, although its improvement was not statistically significant. The analysis also highlighted that models with initially lower zero-shot performance, such as Llama 3.1 8B, exhibited substantial relative gains after RAG integration, improving by 130% to achieve an accuracy of 57.5%. The study found that the RAG process effectively mitigated Llama 3.1 8B's bias towards "A" responses. Overall, the findings suggest that increasing model parameters correlates with improved performance, and that RAG integration can significantly enhance the accuracy of LLMs, particularly those with poorer initial performance.
Discussion
In this study, the authors conducted a systematic evaluation of fourteen large language models (LLMs), comparing their performance on 449 cardiology board exam-style questions. The open-weight model DeepSeek R1 demonstrated superior accuracy compared to proprietary models, including OpenAI’s GPT-4o, across various cardiology subdomains. A positive correlation was observed between model size and accuracy within families, but significant performance variability was noted across different LLM families, indicating that factors such as model architecture and training data quality play crucial roles. The integration of Retrieval-Augmented Generation (RAG) enhanced the performance of all models, allowing open-weight models to achieve results comparable to proprietary counterparts.
The findings challenge the assumption that proprietary models inherently outperform open-weight alternatives, suggesting that large open-weight models can rival advanced commercial systems in specialized medical knowledge. This is particularly relevant in the medical field, where open-weight models can operate offline, thus safeguarding patient confidentiality and reducing data breach risks. The study highlights the potential of smaller, open-weight models, especially when augmented with RAG, to close performance gaps without incurring the computational demands and privacy concerns associated with proprietary models. Future research should explore the clinical utility of these models in more complex, real-world scenarios beyond the initial benchmarking conducted in this study.