DOI: https://doi.org/10.1038/s44387-026-00097-z
تاريخ النشر: 2026-05-29
المؤلف: Artem Vazhentsev وآخرون
الموضوع الرئيسي: تعلم الآلة في الرعاية الصحية
نظرة عامة
تستكشف هذه الدراسة موثوقية التشخيص الطبي المدعوم بالذكاء الاصطناعي من خلال التنبؤ الانتقائي، الذي يسمح للنماذج بالامتناع عن اتخاذ القرارات عند مواجهة عدم اليقين التنبؤي. تقيم البحث بشكل منهجي طرق قياس عدم اليقين المختلفة المطبقة على تحليل النصوص الطبية عبر مهام ومجموعات بيانات متنوعة، بما في ذلك التنبؤ بالوفيات الثنائي من ملخصات الخروج في MIMIC-III، وتعيين رموز ICD-10 متعددة العلامات في MIMIC-IV، والتنبؤ بالتشخيص متعدد الفئات من مجموعة بيانات خاصة بالعيادات الخارجية، واكتشاف الصحة العقلية للاكتئاب والقلق من مصادر نصية متنوعة.
تتمثل المساهمة الرئيسية للدراسة في تقديم HUQ-2، وهي طريقة محسنة لقياس عدم اليقين الهجين التي تدمج بشكل فعال عدم اليقين العشوائي والمعرفي لتسهيل التنبؤ الانتقائي الموثوق. تشير النتائج التجريبية إلى أن HUQ-2 تحسن بشكل كبير من التقاط وتقييم عدم اليقين، وهو أمر حاسم لتطوير تطبيقات قابلة للتفسير في تحليل النصوص الطبية. بالإضافة إلى ذلك، تقدم الدراسة نهجًا جديدًا يسمى رفض مستوى التسمية، مما يمكّن النماذج من الامتناع عن التنبؤ بالرموز الفردية بدلاً من الحالات الكاملة، مما يعزز أداء التنبؤ الانتقائي ويعزز تطبيقات معالجة اللغة الطبيعية بشكل أكثر أمانًا في المجال الطبي.
مقدمة
تؤكد مقدمة هذه الورقة البحثية على الدور التحويلي للذكاء الاصطناعي (AI) في تصنيف وتحليل النصوص الطبية، مما يعزز بشكل كبير الكفاءة والدقة مقارنة بالطرق التقليدية. تعتبر تطبيقات الذكاء الاصطناعي في الرعاية الصحية، وخاصة في دعم اتخاذ القرار السريري، وترميز البيانات الطبية، وتوليد تقارير التشخيص، حاسمة بسبب تعقيد اللغة الطبية والتحديات الكامنة في معالجة البيانات غير المنظمة من السجلات الصحية الإلكترونية (EHR). تسلط الورقة الضوء على أهمية تصنيف النصوص الطبية بدقة، حيث يمكن أن تؤدي الأخطاء في التصنيف إلى عواقب وخيمة، بما في ذلك التشخيص الخاطئ والعلاج غير المناسب.
لمعالجة تحديات تصنيف النصوص الطبية، يدعو المؤلفون إلى دمج طرق قياس عدم اليقين (UQ)، التي تقيم موثوقية تنبؤات الذكاء الاصطناعي. هذا النهج ذو صلة خاصة في السيناريوهات الطبية ذات المخاطر العالية، حيث يمكن أن تكون عواقب التنبؤات الخاطئة وخيمة. توضح الورقة الحاجة إلى التنبؤ الانتقائي، مما يسمح لنماذج الذكاء الاصطناعي بالامتناع عن إجراء التنبؤات عندما يكون عدم اليقين مرتفعًا، مما يضمن أن القرارات الحاسمة تستند إلى مخرجات موثوقة. يقترح المؤلفون تقييمًا شاملاً لأحدث تقنيات قياس عدم اليقين عبر مهام طبية متنوعة، مع التركيز على كل من عدم اليقين المعرفي والعشوائي. يقدمون طريقة جديدة لقياس عدم اليقين الهجين، HUQ-2، التي تجمع بين هذه الشكوك لتعزيز أداء التنبؤ الانتقائي، خاصة في مهام التنبؤ برموز طبية متعددة العلامات. تهدف الدراسة إلى تحسين دقة التشخيص وسلامة المرضى من خلال تعزيز الثقة في حلول الرعاية الصحية المدفوعة بالذكاء الاصطناعي.
طرق
تستعرض هذه القسم طرقًا مختلفة لقياس عدم اليقين (UQ) في التعلم الآلي، وخاصة في التطبيقات الطبية. تصنف هذه الطرق إلى طرق قائمة على الاحتمالات، وسقوط مونت كارلو، وقائمة على الكثافة، ونهج هجين. تستمد الطرق القائمة على الاحتمالات، مثل استجابة Softmax (SR) وطريقة Bayes Beta، عدم اليقين من احتمالات مخرجات النموذج، حيث تعتبر SR فعالة حسابيًا ولكن قد تكون مفرطة الثقة. تتضمن طرق سقوط مونت كارلو عدة تمريرات عشوائية للأمام لتقدير عدم اليقين، لكنها مكلفة حسابيًا. تقدم الطرق القائمة على الكثافة، مثل مسافة ماهالانوبس (MD) وتقدير الكثافة القوي (RDE)، بدائل لا تتطلب استنتاجات متعددة، مما يجعلها أسرع ومناسبة للكشف عن البيانات خارج التوزيع.
يجمع قياس عدم اليقين الهجين (HUQ) بين عدم اليقين المعرفي والعشوائي، ويعدل النهج بناءً على موقع الحالة في فضاء الميزات. يصف القسم أيضًا إعداد التجربة، موضحًا مجموعات البيانات المستخدمة لمهام طبية متنوعة، بما في ذلك التنبؤ بالوفيات واكتشاف الاضطرابات النفسية، والنماذج المستخدمة، مثل GatorTron وRuBioRoBERTa. يتم تحديد مقاييس التقييم لقياس عدم اليقين، بما في ذلك المساحة تحت منحنى تغطية المخاطر (RC-AUC) لمهام التنبؤ الانتقائي، مما يبرز أهمية طرق قياس عدم اليقين القوية في السيناريوهات الطبية المعقدة.
النتائج
تظهر نتائج الدراسة فعالية طرق قياس عدم اليقين المختلفة في التنبؤ الانتقائي عبر مهام طبية متعددة، بما في ذلك التنبؤ بالوفيات الثنائي، وتنبؤ الرموز الطبية متعددة العلامات، وتصنيف التشخيص متعدد الفئات. استخدمت التجارب مجموعات بيانات متنوعة، مثل MIMIC-III وMIMIC-IV ومجموعة بيانات الزيارات الخارجية الخاصة، لتقييم أداء هذه الطرق. من الجدير بالذكر أن طرق HUQ تفوقت باستمرار على الأساليب الأساسية، خاصة في مهام التنبؤ بالوفيات والرموز الطبية في MIMIC، حيث أظهر HUQ2-MD تحسنًا بنسبة 9% مقارنة بأفضل الأساليب الأساسية. تشير النتائج إلى أن طريقة HUQ-RDE تعزز بشكل كبير الدقة في السيناريوهات الواقعية، حيث تحقق زيادة بنسبة 15% في دقة النموذج الإجمالية عند رفض 40% من أكثر الحالات عدم يقينًا.
بالإضافة إلى التنبؤ الانتقائي على مستوى الحالة، استكشفت الدراسة التنبؤ الانتقائي على مستوى التسمية للبيانات متعددة العلامات، كاشفة عن علاقة معقدة بين معدلات الرفض ومقاييس الأداء. بينما قدم النهج القائم على التسمية زيادة كبيرة في الدقة، إلا أنه أدى أيضًا إلى انخفاض ملحوظ في درجة F1-micro عند معدلات الرفض الأعلى بسبب احتمالات الفئات غير المعايرة بشكل جيد. تؤكد النتائج على أهمية تخصيص طرق التنبؤ الانتقائي المستندة إلى عدم اليقين لمهام طبية محددة، مما يبرز إمكانياتها في تحسين اتخاذ القرار في التطبيقات الحرجة للسلامة. بشكل عام، ظهرت طرق HUQ كحلول قوية عبر جميع مجموعات البيانات، مما يدل على موثوقيتها وفعاليتها في إدارة عدم اليقين في البيئات السريرية.
المناقشة
تسلط قسم المناقشة في الورقة البحثية الضوء على فعالية طريقة HUQ2-MD في تقدير عدم اليقين في مهام تصنيف النصوص الطبية، وخاصة في التنبؤ بالوفيات واكتشاف الاضطرابات النفسية. تكشف دراسة الإزالة أن التكوينات التي تتضمن إعادة وزن عكسي وترتيب مربع تعزز الأداء بشكل كبير، مع تحسينات بنسبة 2% و3% لمجموعات بيانات MIMIC للوفيات وMCP، على التوالي. تظهر التحليلات النوعية أيضًا أن HUQ2 توفر تقديرات عدم يقين أكثر دقة، خاصة للحالات المصنفة بشكل خاطئ، مقارنة بطريقة HUQ الأصلية، التي غالبًا ما تقلل من تقدير عدم اليقين في مثل هذه الحالات.
تؤكد الورقة على أهمية طرق قياس عدم اليقين القوية (UQ) في البيئات السريرية، حيث يكون اتخاذ القرار حاسمًا. تتناول التحديات في مقارنة تقنيات قياس عدم اليقين عبر مهام طبية متنوعة وتبرز الحاجة إلى نمذجة فعالة لكل من عدم اليقين العشوائي والمعرفي. تجمع طريقة HUQ2 المقترحة بين هذه الشكوك، مما يحسن جودة التنبؤ الانتقائي لمهام التصنيف الثنائي ومتعدد الفئات. على الرغم من مزاياها، يعترف المؤلفون بالقيود، مثل الحاجة إلى مجموعات بيانات تحقق مرجعية إضافية لضبط المعلمات والتحديات في تطبيق طرق قياس عدم اليقين على النماذج التوليدية. تشير النتائج إلى أن طرق التنبؤ الانتقائي يمكن أن تعزز أنظمة التشخيص الطبي الآلي، مما يعزز الثقة بين مقدمي الرعاية الصحية والمرضى على حد سواء. تشمل اتجاهات البحث المستقبلية استكشاف المزيد من طرق قياس عدم اليقين لبيانات النصوص والنماذج التوليدية في المجال الطبي.
DOI: https://doi.org/10.1038/s44387-026-00097-z
Publication Date: 2026-05-29
Author(s): Artem Vazhentsev et al.
Primary Topic: Machine Learning in Healthcare
Overview
This study investigates the reliability of AI-assisted medical diagnosis through selective prediction, which allows models to abstain from making decisions when faced with predictive uncertainty. The research systematically evaluates various uncertainty quantification methods applied to medical text analysis across diverse tasks and datasets, including binary mortality prediction from discharge summaries in MIMIC-III, multi-label ICD-10 code assignment in MIMIC-IV, multi-class diagnosis prediction from a private outpatient corpus, and mental health detection of depression and anxiety from various textual sources.
A key contribution of the study is the introduction of HUQ-2, an enhanced hybrid uncertainty quantification method that effectively integrates aleatoric and epistemic uncertainty to facilitate reliable selective prediction. Experimental results indicate that HUQ-2 significantly improves the capture and evaluation of uncertainty, which is crucial for developing interpretable applications in medical text analysis. Additionally, the study presents a novel approach called label-level rejection, enabling models to abstain from predicting individual codes rather than entire cases, thereby enhancing selective prediction performance and promoting safer applications of natural language processing in the medical field.
Introduction
The introduction of this research paper emphasizes the transformative role of artificial intelligence (AI) in the classification and analysis of medical texts, significantly enhancing efficiency and accuracy compared to traditional methods. AI applications in healthcare, particularly in clinical decision support, medical coding, and diagnostic report generation, are critical due to the complexity of medical language and the inherent challenges of processing unstructured data from Electronic Health Records (EHR). The paper highlights the importance of accurate medical text classification, as misclassifications can lead to severe consequences, including misdiagnosis and improper treatment.
To address the challenges of medical text classification, the authors advocate for the integration of uncertainty quantification (UQ) methods, which assess the reliability of AI predictions. This approach is particularly relevant in high-stakes medical scenarios, where the consequences of incorrect predictions can be dire. The paper outlines the need for selective prediction, allowing AI models to abstain from making predictions when uncertainty is high, thereby ensuring that critical decisions are based on reliable outputs. The authors propose a comprehensive evaluation of state-of-the-art UQ techniques across various medical tasks, focusing on both epistemic and aleatoric uncertainties. They introduce a new hybrid uncertainty quantification method, HUQ-2, which combines these uncertainties to enhance selective prediction performance, particularly in multi-label medical code prediction tasks. The study aims to improve diagnostic accuracy and patient safety by fostering trust in AI-driven healthcare solutions.
Methods
The section outlines various methods for uncertainty quantification (UQ) in machine learning, particularly in medical applications. It categorizes these methods into probability-based, Monte Carlo dropout, density-based, and hybrid approaches. Probability-based methods, such as Softmax Response (SR) and the Bayes Beta method, derive uncertainty from model output probabilities, with SR being computationally efficient but potentially overconfident. Monte Carlo dropout methods involve multiple stochastic forward passes to estimate uncertainty, but they are computationally expensive. Density-based methods, like Mahalanobis Distance (MD) and Robust Density Estimation (RDE), offer alternatives that do not require multiple inferences, making them faster and suitable for out-of-distribution detection.
Hybrid Uncertainty Quantification (HUQ) combines epistemic and aleatoric uncertainties, adapting the approach based on the instance’s position in the feature space. The section also describes the experimental setup, detailing the datasets used for various medical tasks, including mortality prediction and mental disorder detection, and the models employed, such as GatorTron and RuBioRoBERTa. Evaluation metrics for uncertainty quantification are specified, including the area under the risk coverage curve (RC-AUC) for selective prediction tasks, emphasizing the importance of robust UQ methods in complex medical scenarios.
Results
The results of the study demonstrate the effectiveness of various uncertainty quantification methods in selective prediction across multiple medical tasks, including binary mortality prediction, multi-label medical code prediction, and multi-class diagnosis classification. The experiments utilized diverse datasets, such as MIMIC-III, MIMIC-IV, and a private Outpatient Visits dataset, to assess the performance of these methods. Notably, the HUQ methods consistently outperformed baseline approaches, particularly in the MIMIC mortality and medical code prediction tasks, with HUQ2-MD showing a 9% improvement over the best baseline. The results indicate that the HUQ-RDE method significantly enhances accuracy in real-world scenarios, achieving a 15% increase in overall model accuracy when rejecting 40% of the most uncertain instances.
In addition to instance-wise selective prediction, the study explored label-wise selective prediction for multi-label data, revealing a complex relationship between rejection rates and performance metrics. While the label-wise approach provided a substantial accuracy boost, it also led to a notable drop in the F1-micro score at higher rejection rates due to poorly calibrated class probabilities. The findings underscore the importance of tailoring uncertainty-informed selective prediction methods to specific medical tasks, highlighting their potential to improve decision-making in safety-critical applications. Overall, the HUQ methods emerged as robust solutions across all datasets, demonstrating their reliability and effectiveness in managing uncertainty in clinical settings.
Discussion
The discussion section of the research paper highlights the effectiveness of the HUQ2-MD method in estimating uncertainty in medical text classification tasks, particularly in mortality prediction and mental disorder detection. The ablation study reveals that configurations incorporating inverse reweighting and squared ranks significantly enhance performance, with improvements of 2% and 3% for the MIMIC mortality and MCP datasets, respectively. Qualitative analyses further demonstrate that HUQ2 provides more accurate uncertainty estimations, particularly for misclassified instances, compared to the original HUQ method, which often underestimates uncertainty in such cases.
The paper emphasizes the importance of robust uncertainty quantification (UQ) methods in clinical settings, where decision-making is critical. It addresses challenges in comparing UQ techniques across diverse medical tasks and highlights the need for effective modeling of both aleatoric and epistemic uncertainties. The proposed HUQ2 method combines these uncertainties, improving selective prediction quality for binary and multi-class classification tasks. Despite its advantages, the authors acknowledge limitations, such as the requirement for additional labeled validation datasets for hyperparameter tuning and the challenges in applying UQ methods to generative models. The findings suggest that selective prediction approaches can enhance automated medical diagnosis systems, fostering greater confidence among healthcare providers and patients alike. Future research directions include further exploration of UQ methods for text data and generative models in the medical domain.