DOI: https://doi.org/10.1038/s41746-026-02353-7
PMID: https://pubmed.ncbi.nlm.nih.gov/41644679
تاريخ النشر: 2026-02-05
المؤلف: Hanyang Li وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية والتعليم
نظرة عامة
تناقش هذه القسم تأثير التقدم في الذكاء الاصطناعي (AI) وتعلم الآلة (ML) على تطوير الأجهزة الطبية المدعومة بالذكاء الاصطناعي/تعلّم الآلة، مع تسليط الضوء على التحديات التنظيمية التي تنشأ بسبب الطبيعة المتطورة لأفضل الممارسات لهذه التقنيات. لقد تطلبت الطبيعة المعقدة والمليئة بالمصطلحات للوثائق التنظيمية تاريخياً جهود توضيح يدوية لتحليل البيانات، مما أثبت أنه غير فعال. لقد كافحت طرق معالجة اللغة الطبيعية التقليدية (NLP) لأتمتة هذه العملية بشكل فعال بسبب عدم قدرتها على التفكير في تعقيدات المواد التنظيمية.
بالمقابل، تقدم هذه الدراسة دراسة تحقق رائدة لنماذج اللغة الكبيرة (LLMs) في سياق علوم تنظيم الأجهزة الطبية. تقيم الدراسة مخرجات LLM مقابل التوضيحات اليدوية من الخبراء وتستخدم نهج “LLM كقاضي”، مما يكشف أن LLMs يمكنها استخراج السمات ذات الصلة بدقة من الوثائق التنظيمية، محققة معدلات دقة تبلغ 80% أو أكثر. تظهر النتائج إمكانيات LLMs لتعزيز تحليلات البيانات في ثلاثة تطبيقات محددة: مراقبة ممارسات التحقق من الأجهزة، ترميز تقارير الأجهزة الطبية، وتحديد عوامل الخطر المحتملة للأحداث السلبية بعد التسويق. تؤكد هذه العمل على الإمكانات التحويلية لـ LLMs في تبسيط العمليات التنظيمية وتحسين الإشراف في قطاع الأجهزة الطبية.
الطرق
في هذا القسم، يحدد المؤلفون الطرق الإحصائية المستخدمة لتقييم دقة استخراج نماذج اللغة الكبيرة (LLM) مقابل التوضيحات البشرية. يتم تعريف الدقة على أنها المطابقة الدقيقة بين الاثنين، بينما يتم الإبلاغ عن متوسط الخطأ المطلق (MAE) للميزات المستمرة. يتم تقييم موثوقية التقييم بين المقيمين من خلال نسبة الاتفاق. لتحليل العلاقة بين خصائص الأجهزة قبل التسويق ووقت أول تقرير جهاز طبي (MDR) في قاعدة بيانات MAUDE، يتم استخدام نماذج المخاطر النسبية لكوك، مع تضمين تأثيرات عشوائية لمعالجة التجمع داخل لوحات التخصص الطبي. يتم تقديم النتائج كنسب مخاطر (HR) مع فترات ثقة 95%، وتتم جميع التحليلات باستخدام الإصدار 4.3.0 من R.
بالإضافة إلى ذلك، يشير القسم إلى الأشكال التي توضح تصنيف تقارير الأجهزة الطبية، مقارنة أنواع الأحداث وأكواد مشاكل منتجات الأجهزة المعينة من قبل كل من خط أنابيب LLM والبائع. تتضمن مجموعة البيانات التي تم تحليلها ملخصات القرارات وتقارير MDR لجميع الأجهزة الطبية المعتمدة أو المصرح بها من قبل إدارة الغذاء والدواء (FDA) حتى يوليو 2025، مما يبرز الطبيعة الشاملة لخطوات معالجة البيانات التي تم اتخاذها في الدراسة.
النتائج
تفصل قسم النتائج تحليل مجموعة بيانات تتكون من 1,247 جهازاً مدعوماً بالذكاء الاصطناعي/تعلّم الآلة تمت الموافقة عليه أو تصريحه من قبل FDA، بالإضافة إلى 1,852 تقرير جهاز طبي (MDR) حتى يوليو 2025. بعد تصفية البيانات من أجل الاكتمال، تضمنت مجموعة البيانات النهائية 1,227 ملخص قرار و1,841 MDR. البيانات، التي هي في الأساس غير منظمة، تقدم تحديات بسبب تنسيقها المتغير والمصطلحات، وغالباً ما تفتقر إلى الاتساق. تعقد هذه التغيرات استخراج المعلومات الدقيقة، مما يتطلب فهماً متقدماً وتفكيراً سياقياً للتفريق بين مكونات الأجهزة وتحديد أسباب الأحداث السلبية.
لمعالجة هذه التحديات، استخدمت الدراسة خط أنابيب نموذج اللغة الكبير (LLM)، باستخدام GPT-4.1 من OpenAI، لاستخراج المعلومات المنظمة من الوثائق التنظيمية غير المنظمة. تضمن خط الأنابيب تقنيات معالجة بيانات قوية، بما في ذلك استخراج PDF إلى نص والتعرف الضوئي على الحروف (OCR)، لضمان التقاط النص بدقة. أظهر LLM قابلية التكيف مع التنسيقات والمصطلحات المتنوعة الموجودة في ملخصات FDA وتقارير MAUDE، مما يتيح التعميم عبر العديد من التقديمات دون الحاجة إلى محللات محددة للمهام. تم تعزيز المطالبات المستخدمة في LLM بتعليمات مفصلة وأمثلة تعليمية في السياق لتحسين دقة الاستخراج. يختتم القسم بالإشارة إلى دراسات الحالة التي توضح قابلية توسيع خط الأنابيب ومقارنات الأداء مع الطرق التقليدية لمطابقة الأنماط، مع تقديم مزيد من التفاصيل في قسم الطرق والجداول المرفقة.
المناقشة
تسلط قسم المناقشة من ورقة البحث الضوء على فعالية خط أنابيب نموذج اللغة الكبير (LLM) في استخراج المعلومات الحيوية من الوثائق التنظيمية المتعلقة بالأجهزة الطبية المعتمدة على الذكاء الاصطناعي/تعلّم الآلة. تبني الدراسة على الأعمال السابقة لوو وآخرون (2021) وتظهر أن خط أنابيب LLM يحقق معدلات اتفاق عالية مع التوضيحات البشرية، متجاوزة 82% لممارسات التحقق من الأجهزة و91% لتقارير الأجهزة الطبية (MDRs). من الجدير بالذكر أن التحليل يكشف أنه بينما ظلت نسبة التقييمات المستقبلية مستقرة عند حوالي 10%، فقد زادت التقييمات متعددة المواقع بشكل كبير من 20% إلى أكثر من 50%، مما يشير إلى تحول في ممارسات التحقق مع مرور الوقت.
علاوة على ذلك، تم استخدام خط أنابيب LLM لإعادة تقييم ترميز MDR، مما يكشف أن المعلقين البشريين فضلوا الأكواد المعينة من قبل LLM بنسبة 88% من الوقت لأنواع الأحداث و74% لمشاكل منتجات الأجهزة (DPPs). تؤكد الدراسة على إمكانيات LLMs لتعزيز دقة وكفاءة التحليلات التنظيمية، مما يمكّن من الحصول على رؤى في الوقت المناسب حول دورة حياة الأجهزة الطبية. على الرغم من النتائج الواعدة، يعترف المؤلفون بالقيود المتعلقة بجودة البيانات والحاجة إلى التحقق المستمر من أداء LLM عبر أنواع الأجهزة المختلفة والسياقات التنظيمية. بشكل عام، توضح هذه العمل الإمكانات التحويلية لـ LLMs في العلوم التنظيمية، مما يسهل أساليب أكثر استناداً إلى البيانات لتقييم الأجهزة الطبية والمراقبة بعد التسويق.
DOI: https://doi.org/10.1038/s41746-026-02353-7
PMID: https://pubmed.ncbi.nlm.nih.gov/41644679
Publication Date: 2026-02-05
Author(s): Hanyang Li et al.
Primary Topic: Artificial Intelligence in Healthcare and Education
Overview
The section discusses the impact of advancements in Artificial Intelligence (AI) and Machine Learning (ML) on the development of AI/ML-enabled medical devices, highlighting the regulatory challenges that arise due to the evolving nature of best practices for these technologies. The complexity and jargon-laden nature of regulatory documents have historically necessitated manual annotation efforts for data analysis, which has proven to be inefficient. Traditional Natural Language Processing (NLP) methods have struggled to automate this process effectively due to their inability to reason through the intricacies of regulatory materials.
In contrast, this research presents a pioneering validation study of large language models (LLMs) in the context of medical device regulatory science. The study evaluates LLM outputs against expert manual annotations and employs an “LLM-as-a-judge” approach, revealing that LLMs can accurately extract relevant attributes from regulatory documents, achieving accuracy rates of 80% or higher. The findings demonstrate the potential of LLMs to enhance data analyses in three specific applications: monitoring device validation practices, coding Medical Device Reports, and identifying potential risk factors for post-market adverse events. This work underscores the transformative potential of LLMs in streamlining regulatory processes and improving oversight in the medical device sector.
Methods
In this section, the authors outline the statistical methods employed to evaluate the accuracy of large language model (LLM) extractions against human annotations. Accuracy is defined as the exact match between the two, while the Mean Absolute Error (MAE) is reported for continuous features. Interrater reliability is assessed through percent agreement. To analyze the relationship between pre-market device characteristics and time-to-first Medical Device Report (MDR) in the MAUDE database, Cox proportional hazards models are utilized, incorporating random effects to address clustering within medical specialty panels. The results are presented as hazard ratios (HR) with 95% confidence intervals, and all analyses are conducted using R version 4.3.0.
Additionally, the section references figures that illustrate the categorization of Medical Device Reports, comparing event types and device product problem codes assigned by both the LLM pipeline and the vendor. The dataset analyzed includes decision summaries and MDRs for all FDA-cleared or approved AI/ML-based medical devices up to July 2025, highlighting the comprehensive nature of the data preprocessing steps undertaken in the study.
Results
The results section details the analysis of a dataset comprising 1,247 AI/ML-enabled devices approved or cleared by the FDA, along with 1,852 Medical Device Reports (MDRs) up to July 2025. After filtering for completeness, the final dataset included 1,227 decision summaries and 1,841 MDRs. The data, primarily unstructured, presents challenges due to its variable format and terminology, often lacking consistency. This variability complicates the extraction of precise information, necessitating advanced comprehension and contextual reasoning to differentiate between device predicates and identify causes of adverse events.
To address these challenges, the study employed a large language model (LLM) pipeline, utilizing GPT-4.1 from OpenAI, to extract structured information from the unstructured regulatory documents. The pipeline incorporated robust data preprocessing techniques, including PDF-to-text extraction and Optical Character Recognition (OCR), to ensure accurate text capture. The LLM demonstrated adaptability to the diverse formats and jargon present in the FDA summaries and MAUDE reports, enabling generalization across numerous submissions without the need for task-specific parsers. The prompts used in the LLM were enhanced with detailed instructions and in-context learning examples to improve extraction accuracy. The section concludes with references to case studies illustrating the pipeline’s scalability and performance comparisons with traditional pattern-matching methods, with further details provided in the Methods section and accompanying tables.
Discussion
The discussion section of the research paper highlights the efficacy of a large language model (LLM) pipeline in extracting critical information from regulatory documents related to AI/ML-based medical devices. The study builds on previous work by Wu et al. (2021) and demonstrates that the LLM pipeline achieves high agreement rates with human annotations, exceeding 82% for device validation practices and 91% for medical device reports (MDRs). Notably, the analysis reveals that while the rate of prospective evaluations has remained stable at around 10%, multi-site evaluations have significantly increased from 20% to over 50%, indicating a shift in validation practices over time.
Furthermore, the LLM pipeline was employed to reassess MDR coding, revealing that human annotators preferred LLM-assigned codes 88% of the time for Event Types and 74% for Device Product Problems (DPPs). The study underscores the potential of LLMs to enhance the accuracy and efficiency of regulatory analyses, enabling timely insights into the lifecycle of medical devices. Despite the promising results, the authors acknowledge limitations related to data quality and the need for ongoing validation of the LLM’s performance across various device types and regulatory contexts. Overall, this work illustrates the transformative potential of LLMs in regulatory science, facilitating more data-driven approaches to medical device evaluation and post-market surveillance.