DOI: https://doi.org/10.1007/s12553-025-01041-y
تاريخ النشر: 2026-01-07
المؤلف: Akram Mustafa وآخرون
الموضوع الرئيسي: تنقيب النصوص الطبية والأنطولوجيات
نظرة عامة
تدرس الدراسة فعالية نماذج اللغة الكبيرة (LLMs) في تصنيف ملخصات الخروج السريرية وفقًا لرموز ICD-10، مع معالجة التحديات التي تطرحها تعقيدات اللغة الطبية وندرة مجموعات البيانات المعلّمة عالية الجودة. من خلال استخدام مجموعة فرعية متوازنة من مجموعة بيانات MIMIC-IV، التي تشمل 3,000 ملخص خروج، تقيم الأبحاث كل من نماذج LLMs التي تعتمد على التفكير وغير المعتمدة على التفكير لتقييم قدرتها على تحديد وتصنيف الأنماط السريرية بفعالية.
تشير النتائج إلى أن نماذج التفكير تتفوق بشكل كبير على نماذج عدم التفكير من حيث الدقة العامة ودرجات F1، حيث تحقق دقة متوسطة تبلغ 71% ودرجة F1 ماكرو تبلغ 67%، مقارنة بـ 68% و60% لنماذج عدم التفكير، على التوالي. ومع ذلك، تظهر نماذج عدم التفكير اتساقًا أكبر، حيث تحقق متوسطًا يبلغ 91% عبر التجارب مقابل 84% لنماذج التفكير. وهذا يشير إلى أنه بينما تتفوق نماذج التفكير في التعامل مع السيناريوهات السريرية المعقدة وتحقيق دقة تصنيف أعلى، تقدم نماذج عدم التفكير أداءً أكثر موثوقية واستقرارًا في مهام تصنيف ICD-10 المنظمة.
مقدمة
تسلط مقدمة ورقة البحث الضوء على التعقيدات والتحديات المرتبطة بتصنيف الوثائق السريرية، خاصة بسبب الطبيعة المعقدة للسرد الطبي الذي يتضمن مصطلحات متخصصة وأنماط كتابة متنوعة. يعتمد سوق الترميز السريري، الذي تقدر قيمته بأكثر من 37 مليار دولار في عام 2024، بشكل كبير على عمليات التصنيف الدقيقة، مثل تحويل الوثائق الطبية غير المنظمة إلى رموز التصنيف الدولي للأمراض، الإصدار العاشر (ICD-10). يعد هذا الترميز الموحد أمرًا حيويًا للتواصل الفعال بين مقدمي الرعاية الصحية، مما يعزز الوثائق السريرية، والفوترة، ويساهم في الأبحاث الوبائية وتقارير الصحة العامة.
لمعالجة التحديات في تصنيف الوثائق السريرية، تم تطوير أطر معالجة اللغة الطبيعية المتخصصة (NLP) مثل نظام تحليل النصوص السريرية واستخراج المعرفة (cTAKES). لقد حول ظهور نماذج اللغة الكبيرة (LLMs) هذا المجال بشكل أكبر، حيث تقدم قدرات متقدمة في فهم اللغة الطبيعية والتفكير. تهدف هذه الدراسة إلى التحقيق في الفعالية النسبية لنماذج التفكير مقابل نماذج عدم التفكير في تصنيف ملخصات الخروج المشفرة برموز ICD-10. تسعى إلى قياس التحسينات في دقة التصنيف والاتساق التي تحققها النماذج المعززة بالتفكير، مما يوفر رؤى حول نشرها العملي في بيئات الرعاية الصحية. تتناول الأبحاث أسئلة حاسمة تتعلق بأداء وموثوقية نماذج LLMs في التعامل مع السرد السريري، مما يسهم في تحسين تطبيقات الذكاء الاصطناعي في تصنيف الوثائق السريرية.
طرق البحث
في هذه الدراسة، تم تقييم ثمانية نماذج لغة كبيرة (LLMs) لقدرتها على تصنيف ملخصات الخروج السريرية وفقًا لرموز ICD-10. تم تقسيم هذه النماذج إلى فئتين: نماذج التفكير ونماذج عدم التفكير، مما يسمح بإجراء تحليل مقارن لتأثير قدرات التفكير على أداء التصنيف. تضمنت الإعدادات التجريبية معالجة مجموعة بيانات تتكون من 3,000 ملخص خروج تم تقسيمها إلى رموز، والتي تم معالجتها مسبقًا باستخدام أداة cTAKES. خضعت كل نموذج لثلاث تجارب مستقلة لتعزيز قوة النتائج وقابليتها للتكرار.
تم تحديد نتيجة التصنيف لكل ملخص خروج من خلال نظام تصويت الأغلبية، حيث تم اعتبار التسمية المعينة من قبل اثنين على الأقل من ثلاث تجارب حاسمة. ضمنت هذه الطريقة اتساق النتائج وقدمت تقييمًا موثوقًا لأداء كل نموذج في التمييز بين فئات ICD-10. يتم تمثيل المنهجية بصريًا في الشكل 1، وقد جعل المؤلفون رمزهم وبياناتهم متاحة للجمهور على GitHub لتعزيز البحث القابل للتكرار.
النتائج
تظهر نتائج هذه الدراسة أن نماذج اللغة الكبيرة المعتمدة على التفكير (LLMs) تتفوق عمومًا على نماذج عدم التفكير في مهام تصنيف ICD-10، حيث تحقق دقة أعلى ودرجات F1 في المتوسط. يدعم هذا الفرضية القائلة بأن قدرات التفكير الواضحة تعزز قدرة نماذج LLMs على التقاط العلاقات السريرية المعقدة داخل ملخصات الخروج. ومع ذلك، تكشف النتائج أيضًا عن عدم اتساق ملحوظ في أداء نماذج التفكير عبر التجارب المتكررة، مما يشير إلى تباين أكبر مقارنة بنماذج عدم التفكير. قد ينبع هذا التباين من حساسية النماذج لتغيرات المدخلات أو من heuristics الداخلية الخاصة بها.
علاوة على ذلك، بينما تفوقت بعض نماذج LLMs المعتمدة على التفكير في تحديد الحالات الطبية المحددة جيدًا، مثل تعفن الدم واحتشاء عضلة القلب، واجهت تحديات مع رموز ICD-10 الأكثر تجريدًا المتعلقة بتاريخ المريض والأسباب الخارجية. تثير هذه القيود مخاوف بشأن الفهم السياقي للنماذج. بشكل عام، تؤكد هذه النتائج على الفوائد المحتملة لنماذج LLMs المعتمدة على التفكير في التطبيقات السريرية، بينما تبرز أيضًا الحاجة إلى مزيد من التحسين لتحسين موثوقيتها واتساقها.
المناقشة
تسلط قسم المناقشة في ورقة البحث الضوء على التقدم الكبير في تصنيف النصوص السريرية، خاصة في سياق ترميز ICD-10. أظهرت الدراسات الأخيرة أن نماذج التعلم العميق، وخاصة تلك التي تتضمن قدرات التفكير، تتفوق على تقنيات التعلم الآلي التقليدية في تصنيف السرد السريري بدقة. على سبيل المثال، حققت نماذج اللغة الكبيرة المعتمدة على التفكير (LLMs) دقة متوسطة تبلغ 71% ودرجة F1 ماكرو تبلغ 67%، مما يدل على فعاليتها في إدارة البيانات السريرية المعقدة. ومع ذلك، أظهرت نماذج عدم التفكير اتساقًا أعلى، حيث حققت متوسطًا يبلغ 91% عبر التجارب، مما يشير إلى أنها قد تكون أكثر موثوقية للاستخدام المتكرر في البيئات السريرية.
تؤكد النتائج على الأهمية السريرية لتحسين سير العمل في ترميز ICD-10 من خلال دمج الذكاء الاصطناعي، مما قد يخفف من عبء العمل اليدوي لمشغلي الترميز السريري ويعزز دقة الترميز. ومع ذلك، تثير التباينات في أداء النماذج مخاوف بشأن الموثوقية، مما يستلزم مزيدًا من المعايرة والتحقق قبل التطبيق في العالم الحقيقي. تشمل اتجاهات البحث المستقبلية توسيع نطاق تصنيف ICD-10 ليشمل مجموعة أوسع من التشخيصات، واستكشاف مهام التصنيف متعدد التسميات، وتعزيز تدريب النماذج باستخدام بيانات محددة المجال. تهدف هذه الجهود إلى تحسين قوة وعمومية نماذج LLMs في تصنيف الوثائق السريرية، مما يدعم في النهاية تحسين جودة بيانات الرعاية الصحية وعمليات اتخاذ القرار.
DOI: https://doi.org/10.1007/s12553-025-01041-y
Publication Date: 2026-01-07
Author(s): Akram Mustafa et al.
Primary Topic: Biomedical Text Mining and Ontologies
Overview
The study investigates the efficacy of large language models (LLMs) in classifying clinical discharge summaries according to ICD-10 codes, addressing the challenges posed by the complexity of medical language and the scarcity of high-quality annotated datasets. By utilizing a balanced subset of the MIMIC-IV dataset, which includes 3,000 discharge summaries, the research evaluates both reasoning and non-reasoning LLMs to assess their ability to identify and classify clinical patterns effectively.
The findings indicate that reasoning models significantly outperform non-reasoning models in terms of overall accuracy and F1 scores, achieving an average accuracy of 71% and a macro F1 score of 67%, compared to 68% and 60% for non-reasoning models, respectively. However, non-reasoning models exhibit greater consistency, averaging 91% across trials versus 84% for reasoning models. This suggests that while reasoning models excel in handling complex clinical scenarios and achieving higher classification accuracy, non-reasoning models offer more reliable and stable performance in structured ICD-10 classification tasks.
Introduction
The introduction of the research paper highlights the complexities and challenges associated with clinical document classification, particularly due to the intricate nature of medical narratives that incorporate specialized terminologies and varied writing styles. The clinical coding market, valued at over $37 billion in 2024, relies heavily on accurate classification processes, such as converting unstructured medical documents into International Classification of Diseases, 10th Revision (ICD-10) codes. This standardized coding is crucial for effective communication among healthcare providers, enhancing clinical documentation, billing, and contributing to epidemiological research and public health reporting.
To address the challenges in clinical document classification, specialized Natural Language Processing (NLP) frameworks like the clinical Text Analysis and Knowledge Extraction System (cTAKES) have been developed. The emergence of large language models (LLMs) has further transformed this field, offering advanced natural language understanding and reasoning capabilities. This study aims to investigate the comparative effectiveness of reasoning versus non-reasoning LLMs in classifying ICD-10 coded discharge summaries. It seeks to quantify the improvements in classification accuracy and consistency brought about by reasoning-enhanced models, thereby providing insights into their practical deployment in healthcare settings. The research addresses critical questions regarding the performance and reliability of LLMs in handling clinical narratives, ultimately contributing to the optimization of AI applications in clinical document classification.
Methods
In this study, eight large language models (LLMs) were evaluated for their ability to classify clinical discharge summaries according to ICD-10 codes. These models were divided into two categories: reasoning and non-reasoning, allowing for a comparative analysis of the influence of reasoning capabilities on classification performance. The experimental setup involved processing a dataset of 3,000 tokenized discharge summaries, which were preprocessed using the cTAKES tool. Each model underwent three independent runs to enhance the robustness and repeatability of the results.
The classification outcome for each discharge summary was determined through a majority voting system, where the label assigned by at least two out of three runs was considered definitive. This approach ensured consistency in the results and provided a reliable assessment of each model’s performance in distinguishing between ICD-10 categories. The methodology is visually represented in Figure 1, and the authors have made their code and data publicly available on GitHub to promote reproducible research.
Results
The results of this study demonstrate that reasoning large language models (LLMs) generally outperform non-reasoning models in ICD-10 classification tasks, achieving higher accuracy and F1 scores on average. This supports the hypothesis that explicit reasoning capabilities enhance LLMs’ ability to capture complex clinical relationships within discharge summaries. However, the findings also reveal a notable inconsistency in the performance of reasoning models across repeated experiments, indicating greater variability compared to non-reasoning models. This variability may stem from the models’ sensitivity to input variations or their internal heuristics.
Moreover, while certain reasoning LLMs excelled in identifying well-defined medical conditions, such as sepsis and myocardial infarction, they encountered challenges with more abstract ICD-10 codes related to patient history and external causes. This limitation raises concerns about the models’ contextual understanding. Overall, these findings underscore the potential benefits of reasoning LLMs in clinical applications while also highlighting the need for further refinement to improve their reliability and consistency.
Discussion
The discussion section of the research paper highlights significant advancements in clinical text classification, particularly in the context of ICD-10 coding. Recent studies have demonstrated that deep learning models, especially those incorporating reasoning capabilities, outperform traditional machine learning techniques in accurately classifying clinical narratives. For instance, reasoning large language models (LLMs) achieved an average accuracy of 71% and a macro F1 score of 67%, indicating their effectiveness in managing complex clinical data. However, non-reasoning models exhibited higher consistency, averaging 91% across trials, suggesting they may be more reliable for repeated use in clinical settings.
The findings underscore the clinical relevance of optimizing ICD-10 coding workflows through AI integration, which could alleviate the manual workload of clinical coders and enhance coding accuracy. Nonetheless, variability in model performance raises concerns about reliability, necessitating further calibration and validation before real-world application. Future research directions include expanding the scope of ICD-10 classification to encompass a broader range of diagnoses, exploring multi-label classification tasks, and enhancing model training with domain-specific data. These efforts aim to improve the robustness and generalizability of LLMs in clinical document classification, ultimately supporting better healthcare data quality and decision-making processes.