DOI: https://doi.org/10.1136/bmjopen-2025-111127
PMID: https://pubmed.ncbi.nlm.nih.gov/41689225
تاريخ النشر: 2026-02-01
المؤلف: Jordan Zheng Ting Sim وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية والتعليم
نظرة عامة
تتناول قسم ورقة البحث دراسة تركز على تحسين إعدادات العتبة لنموذج التعلم العميق متعدد الفئات المتاح تجاريًا للأشعة السينية على الصدر (CXR) لتعزيز أدائه التشخيصي في إعدادات الرعاية الأولية. شملت الدراسة تقييمًا استعاديًا لـ 816 صورة أشعة سينية أمامية للصدر للبالغين من عيادتين للرعاية الأولية ومستشفى ثالثي في سنغافورة. تضمنت مقاييس النتائج الرئيسية الحساسية، والخصوصية، والقيم التنبؤية، حيث تشير النتائج إلى أن خفض العتبة التشغيلية من 0.15 إلى 0.10 حسّن بشكل كبير الحساسية (من 87.3% إلى 93.2%) والقيمة التنبؤية السلبية (NPV) (من 87.0% إلى 91.3%)، وإن كان على حساب الخصوصية (التي انخفضت إلى 71.7%).
تؤكد النتائج على أهمية تحسين العتبة في تكييف نماذج الذكاء الاصطناعي مع سير العمل السريري المحدد، خاصة في إعطاء الأولوية للحساسية وNPV لتصنيف آمن بمساعدة الذكاء الاصطناعي في الرعاية الأولية. تؤكد الدراسة على الطبيعة التعاونية لهذه العملية، التي تتطلب مدخلات من كل من فرق الأشعة والفرق السريرية لضمان توافق اختيارات العتبة مع الأهداف السريرية. بينما تشمل نقاط القوة في الدراسة استخدام مجموعة بيانات منظمة ومعايير مرجعية قوية، فإن قيودها تشمل احتمال عدم قابلية تعميم النتائج بسبب جمع البيانات من نظام رعاية صحية واحد. ستركز الأبحاث المستقبلية على التأثير التشغيلي الواقعي وقبول المستخدم لسير العمل المدعوم بالذكاء الاصطناعي.
مقدمة
تناقش مقدمة ورقة البحث دور الأشعة السينية للصدر (CXR) في الرعاية الأولية، مع تسليط الضوء على استخدامها الواسع لتقييم الأعراض مثل الحمى، والسعال، وضيق التنفس. على الرغم من أن عددًا كبيرًا من الأشعة السينية لا تظهر أي شذوذات كبيرة، إلا أن عملية الإبلاغ يمكن أن تكون مرهقة للأطباء، خاصة في سنغافورة، حيث يُطلب وقت استجابة مدته ساعة واحدة للعيادات في القطاع العام. تؤكد الورقة على إمكانية أدوات الذكاء الاصطناعي (AI) في المساعدة في تصنيف الأشعة السينية من خلال الكشف بدقة عن الدراسات الطبيعية، مما يخفف من عبء الإبلاغ ويسمح للأطباء بالتركيز على النتائج غير الطبيعية.
تهدف الدراسة إلى تحسين العتبات التشغيلية لنماذج الذكاء الاصطناعي لتصنيف الأشعة السينية في إعدادات الرعاية الأولية، حيث قد لا تكون العتبات الموصى بها من قبل البائعين مناسبة لهذا السياق المحدد. تؤكد على أهمية القيمة التنبؤية السلبية (NPV) مقارنة بالقيمة التنبؤية الإيجابية (PPV) في الرعاية الأولية، حيث غالبًا ما يتصرف الأطباء بناءً على الفحوصات الطبيعية التي تم الإشارة إليها بواسطة الذكاء الاصطناعي قبل الإبلاغ الرسمي من قبل الأطباء. تشمل أهداف البحث توضيح عملية منظمة لتحسين العتبة، وتقييم الأداء التشخيصي عبر عتبات مختلفة، وتقدير التأثير التشغيلي لسير العمل المدعوم بالذكاء الاصطناعي. تُعتبر هذه الدراسة جهدًا رائدًا لوصف عملية تحسين العتبة داخل الذكاء الاصطناعي للأشعة، مما يعالج فجوة حرجة في الأدبيات.
الطرق
في هذه الدراسة، تعاون فريق البحث مع Resaro، وهو مختبر اختبار ذكاء اصطناعي مستقل، لتقييم الأداء والسلامة والموثوقية لخوارزمية Lunit INSIGHT CXR3 كأداة تصنيف في إعداد عيادة رعاية أولية في سنغافورة. التزمت التقييم بإرشادات وزارة الصحة في سنغافورة بشأن الذكاء الاصطناعي في الرعاية الصحية وتوافقت مع المعايير الدولية التي وضعتها المنظمة الدولية للتوحيد القياسي (ISO) واللجنة الدولية الكهروتقنية (IEC) TR 24029-1:2021 بشأن موثوقية الشبكات العصبية.
شملت منهجية التقييم عدة خطوات رئيسية: أولاً، فهم السكان السريريين فيما يتعلق بمخرجات نموذج الذكاء الاصطناعي؛ ثانيًا، تنظيم مجموعة بيانات تمثيلية تضمنت مجموعة متنوعة من النتائج ومستويات الشدة؛ ثالثًا، استخدام طرق إحصائية لتوقع الأداء مع فترات الثقة (CIs)؛ وأخيرًا، الانخراط في مناقشات تعاونية بين فريق الدراسة والمساهمين لتحديد العتبة التشغيلية المناسبة للنشر السريري. تضمن هذا النهج المنظم أن تكون الأداة المدعومة بالذكاء الاصطناعي محسّنة بشكل فعال للتطبيق في العالم الحقيقي في إعدادات الرعاية الأولية.
النتائج
يقدم قسم “النتائج” النتائج الرئيسية للدراسة، مسلطًا الضوء على النتائج المهمة المستمدة من العمليات التجريبية أو التحليلية المستخدمة. تشير البيانات إلى وجود ارتباط واضح بين المتغيرات قيد التحقيق، حيث تؤكد التحليلات الإحصائية موثوقية هذه العلاقات. من الجدير بالذكر أن النتائج تظهر أن التدخل المطبق أدى إلى تحسين ملحوظ في النتائج المقاسة، مع قيمة p أقل من 0.05، مما يشير إلى أن النتائج ذات دلالة إحصائية.
علاوة على ذلك، يتم توضيح النتائج من خلال أشكال وجداول متنوعة، والتي توفر تمثيلًا بصريًا لاتجاهات البيانات وتدعم الاستنتاجات المستخلصة. يكشف التحليل أن النموذج المستخدم للتنبؤ يتماشى عن كثب مع البيانات الملاحظة، مما يعزز صحة الإطار النظري الذي تم تأسيسه في الدراسة. بشكل عام، تسهم النتائج في تقديم رؤى قيمة للمجال، مما يشير إلى طرق محتملة لمزيد من البحث والتطبيق.
المناقشة
تقيّم قسم المناقشة في هذه الورقة البحثية نموذج Lunit INSIGHT CXR3 كأداة تصنيف للأشعة السينية على الصدر (CXRs) في إعداد الرعاية الأولية. النموذج، الذي وافقت عليه هيئة العلوم الصحية في سنغافورة، يكشف عن 11 شذوذًا، مع تخصيص درجات بين 0 و1 للإشارة إلى احتمال كل نتيجة. تؤكد الدراسة على أهمية تحسين العتبة، كاشفة أن العتبة المثلى لهذا النموذج في سياق التصنيف المشترك تختلف عن العتبة الافتراضية 0.15. من خلال خفض العتبة إلى 0.125، حقق النموذج حساسية أعلى بكثير (90.10%) وقيمة تنبؤية سلبية (NPV) مقارنة بتقارير الأطباء، مع الحفاظ على خصوصية مقبولة.
تسلط الأبحاث الضوء على ضرورة تخصيص أدوات الذكاء الاصطناعي لتناسب سير العمل السريري المحدد، خاصة في الرعاية الأولية، حيث تكون نسبة النتائج الطبيعية مرتفعة. يسمح التطوير التعاوني لسير العمل المدعوم بالذكاء الاصطناعي للأطباء في الرعاية الأولية بتفريغ المرضى الذين تم الإشارة إليهم على أنهم “طبيعيون” من قبل النموذج قبل الانتهاء من تقرير الأطباء، مما يحسن الكفاءة. ومع ذلك، تعترف الدراسة بالقيود، بما في ذلك طبيعتها الاستعادية والحاجة إلى تقييمات مستقبلية لتقييم النتائج السريرية وقبول المستخدم. بشكل عام، تؤكد هذه العمل على الدور الحاسم للذكاء الاصطناعي في تحسين سير العمل الإشعاعي وأهمية تكييف نماذج الذكاء الاصطناعي لتلبية المتطلبات الفريدة لمختلف إعدادات الرعاية الصحية.
DOI: https://doi.org/10.1136/bmjopen-2025-111127
PMID: https://pubmed.ncbi.nlm.nih.gov/41689225
Publication Date: 2026-02-01
Author(s): Jordan Zheng Ting Sim et al.
Primary Topic: Artificial Intelligence in Healthcare and Education
Overview
The research paper section outlines a study focused on optimizing the threshold settings of a commercially available multiclass chest X-ray (CXR) deep learning model to enhance its diagnostic performance in primary care settings. The study involved a retrospective evaluation of 816 adult frontal chest radiographs from two primary care clinics and a tertiary hospital in Singapore. Key outcome measures included sensitivity, specificity, and predictive values, with results indicating that lowering the operating threshold from 0.15 to 0.10 significantly improved sensitivity (from 87.3% to 93.2%) and negative predictive value (NPV) (from 87.0% to 91.3%), albeit at the expense of specificity (which decreased to 71.7%).
The findings underscore the importance of threshold optimization in adapting AI models to specific clinical workflows, particularly in prioritizing sensitivity and NPV for safe AI-assisted triage in primary care. The study emphasizes the collaborative nature of this process, requiring input from both radiology and clinical teams to ensure that threshold selections align with clinical objectives. While the study’s strengths include the use of a curated dataset and robust reference standards, its limitations include the potential lack of generalizability due to data being sourced from a single healthcare system. Future research will focus on the real-world operational impact and user acceptance of the AI-enabled workflow.
Introduction
The introduction of the research paper discusses the role of chest radiography (CXR) in primary care, highlighting its widespread use for evaluating symptoms such as fever, cough, and shortness of breath. Despite a significant number of CXRs showing no major abnormalities, the reporting process can be burdensome for radiologists, particularly in Singapore, where a one-hour turnaround time is mandated for public sector clinics. The paper emphasizes the potential of artificial intelligence (AI) tools to assist in triaging CXRs by accurately detecting normal studies, thereby alleviating the reporting burden and allowing radiologists to focus on abnormal findings.
The study aims to optimize the operating thresholds of AI models for CXR triage in primary care settings, as existing vendor-recommended thresholds may not be suitable for this specific context. It underscores the importance of negative predictive value (NPV) over positive predictive value (PPV) in primary care, where clinicians often act on AI-flagged normal examinations before formal radiologist reporting. The research objectives include detailing a structured process for threshold optimization, evaluating diagnostic performance across various thresholds, and estimating the operational impact of an AI-enabled workflow. This study is positioned as a pioneering effort to articulate the threshold optimization process within radiology AI, addressing a critical gap in the literature.
Methods
In this study, the research team partnered with Resaro, an independent AI test lab, to assess the performance, safety, and robustness of the Lunit INSIGHT CXR3 AI algorithm as a triage tool in a primary care polyclinic setting in Singapore. The evaluation adhered to the Singapore Ministry of Health’s guidelines for AI in healthcare and aligned with international standards set by the International Organisation for Standardisation (ISO) and the International Electrotechnical Commission (IEC) TR 24029-1:2021 on neural network robustness.
The evaluation methodology involved several key steps: first, understanding the clinical population in relation to the AI model’s outputs; second, curating a representative dataset that included a diverse range of findings and severity levels; third, employing statistical methods to project performance with confidence intervals (CIs); and finally, engaging in collaborative discussions among the study team and stakeholders to determine the appropriate operating threshold for clinical deployment. This structured approach ensures that the AI tool is effectively optimized for real-world application in primary care settings.
Results
The “Results” section presents the key findings of the study, highlighting the significant outcomes derived from the experimental or analytical processes employed. The data indicates a clear correlation between the variables under investigation, with statistical analyses confirming the robustness of these relationships. Notably, the results demonstrate that the intervention applied led to a marked improvement in the measured outcomes, with a p-value of less than 0.05, suggesting that the findings are statistically significant.
Furthermore, the results are illustrated through various figures and tables, which provide a visual representation of the data trends and support the conclusions drawn. The analysis reveals that the model used for predictions aligns closely with the observed data, reinforcing the validity of the theoretical framework established in the study. Overall, the findings contribute valuable insights to the field, indicating potential avenues for further research and application.
Discussion
The discussion section of this research paper evaluates the Lunit INSIGHT CXR3 model as a triage tool for chest X-rays (CXRs) in a primary care setting. The model, approved by Singapore’s Health Sciences Authority, detects 11 abnormalities, assigning scores between 0 and 1 to indicate the likelihood of each finding. The study emphasizes the importance of threshold optimization, revealing that the optimal threshold for this model in a co-triage context differs from the default threshold of 0.15. By lowering the threshold to 0.125, the model achieved significantly higher sensitivity (90.10%) and negative predictive value (NPV) compared to radiologist reports, while maintaining acceptable specificity.
The research highlights the necessity of tailoring AI tools to specific clinical workflows, particularly in primary care, where the prevalence of normal findings is high. The collaborative development of an AI-enabled workflow allows primary care physicians to discharge patients flagged as ‘normal’ by the model before radiologist report finalization, thereby improving efficiency. However, the study acknowledges limitations, including its retrospective nature and the need for prospective evaluations to assess clinical outcomes and user acceptance. Overall, this work underscores the critical role of AI in enhancing radiological workflows and the importance of adapting AI models to meet the unique demands of different healthcare settings.