إدارة مخاطر الأجهزة الطبية المدفوعة بالذكاء الاصطناعي: نموذج جديد يدمج نماذج اللغة الكبيرة وهندسة المطالبات لبناء وتطبيق رسم بياني للمعرفة عن المخاطر القياسية AI-Driven Medical Device Risk Management: A New Paradigm Integrating Large Language Models and Prompt Engineering for Standard-Risk Knowledge Graph Construction and Application

شارك:
المجلة: Risk Management and Healthcare Policy، المجلد: 0
DOI: https://doi.org/10.2147/rmhp.s571156
PMID: https://pubmed.ncbi.nlm.nih.gov/41858417
تاريخ النشر: 2026-01-01
المؤلف: Wanting Zhu وآخرون
الموضوع الرئيسي: الجودة والسلامة في الرعاية الصحية

نظرة عامة

تتناول هذه الورقة البحثية التحديات الكبيرة في إدارة مخاطر المعدات الكهربائية الطبية، وخاصة الانفصال بين المعايير غير المنظمة وبيانات الأحداث السلبية، فضلاً عن ندرة البيانات المعلّمة عالية الجودة. يقترح المؤلفون طريقة جديدة لبناء رسم بياني للمعرفة بالمخاطر يستفيد من نماذج اللغة الكبيرة ومعايير هندسة التحفيز. باستخدام بيانات الأحداث السلبية من الحاضنات في مرحلة الطفولة المبكرة كدراسة حالة، توضح الورقة نظام معرفة بالمخاطر من ثلاث طبقات يدمج المعايير متعددة المصادر ويستخدم استراتيجيات تحفيز متعددة الزوايا لاستخراج علاقات الكيانات. تشير النتائج إلى أن الطريقة المقترحة تحقق متوسط درجة F1 قدرها 0.871، مع احتواء رسم المعرفة على 24,106 عقد و18,053 علاقة، مما يربط بشكل فعال بين “الخطأ-المعيار-القياس”.

تؤكد الخاتمة على إمكانية الإطار لتحويل إدارة المخاطر في قطاع الأجهزة الطبية من خلال تسهيل استخراج المعرفة بشكل آلي واسترجاع المخاطر الذكي. يتيح نموذج المعرفة ثلاثي الطبقات T-E-t (النوع-العنصر-النص) تفكيكًا منهجيًا لبنود المعايير وبيانات الأحداث السلبية، مما يقلل بشكل كبير من الوقت والتكلفة المرتبطة بعمليات التوصيف اليدوي التقليدية. لا تدعم هذه الطريقة فقط المراقبة الاستباقية واتخاذ القرارات المستندة إلى البيانات، بل تعزز أيضًا التعاون المعرفي عبر الوكالات التنظيمية. يقترح المؤلفون أنه بينما تركز الدراسة على الحاضنات للأطفال، يمكن تكييف المنهجية لأجهزة طبية أخرى، مما يعزز قاعدة معرفية موحدة للمخاطر ويحسن الممارسات التنظيمية في نظام الصحة الرقمية.

مقدمة

تؤكد مقدمة الورقة البحثية على الدور الحاسم للمعدات الكهربائية الطبية (ME) في الرعاية الصحية، مشددة على أن سلامتها وفعاليتها أمران أساسيان لصحة المرضى. تعيق الإطار الحالي لإدارة المخاطر للمعدات الكهربائية الطبية نظام توثيق المعايير المعقد والمجزأ، المخزن أساسًا في ملفات PDF متباينة، مما يعقد العلاقة بين المعايير والمخاطر السريرية. على سبيل المثال، توضح عدم القدرة على ربط معايير تقلبات درجة الحرارة للحاضنات للأطفال بالأحداث السلبية مثل حروق حديثي الولادة التحديات التي تواجهها. بالإضافة إلى ذلك، يؤدي الاعتماد على المعالجة اليدوية للوثائق غير المنظمة وبيانات الأحداث السلبية إلى تأخيرات في تحديد المخاطر، حيث يُعزى نسبة كبيرة من أعطال الأجهزة إلى عدم الامتثال للمعايير.

لمعالجة هذه القضايا، تقترح الورقة الاستفادة من الذكاء الاصطناعي، وتحديدًا نماذج اللغة الكبيرة التوليدية (LLMs)، لتعزيز عملية إدارة المخاطر. من خلال بناء رسم بياني للمعرفة يدمج متطلبات المعايير مع بيانات الأحداث السلبية، تهدف الدراسة إلى تسهيل استرجاع وتحليل المخاطر بشكل فعال. تستخدم الطريقة المقترحة هندسة التحفيز لتحسين نماذج LLMs لاستخراج الكيانات والعلاقات ذات الصلة، مما يحسن دقة وكفاءة استخراج معلومات المخاطر. لا تقلل هذه الطريقة المبتكرة من الاعتماد على مجموعات البيانات المعنونة على نطاق واسع فحسب، بل تعزز أيضًا قابلية تكييف ممارسات إدارة المخاطر، مما يتماشى مع المعايير التنظيمية مثل IEC 60601 وISO 14971. تسعى الدراسة في النهاية إلى إنشاء إطار قوي لإدارة مخاطر الأجهزة الطبية الذكية، مما يعزز عمليات المراقبة بعد التسويق واتخاذ القرارات التنظيمية.

الطرق

في هذا القسم، يوضح المؤلفون منهجيتهم لبناء رسم بياني للمعرفة موجه نحو المخاطر مصمم لمعايير المعدات الكهربائية الطبية (ME)، مستفيدين من نماذج اللغة الكبيرة (LLMs) كأدوات استخراج. يسهل الإطار المقترح الاستخراج التلقائي لعلاقات الكيانات من نصوص المخاطر والمعايير، خاصة في سيناريوهات عدم وجود عينات ووجود عينات قليلة. تعالج هذه الطريقة التحديات المرتبطة بتكاليف التوصيف العالية ودمج البيانات متعددة الأبعاد، مما يعزز في النهاية كفاءة إدارة المخاطر في المجال الطبي.

تقيم الدراسة أداء ست طرق مختلفة لاستخراج علاقات الكيانات، كاشفة أن فعاليتها مقيدة بتوافر الأمثلة وقابلية تكييف الإطار الفني مع الفروق الدلالية للنصوص الطبية. في سيناريوهات عدم وجود عينات، أظهرت جميع الطرق فهمًا دلاليًا محدودًا، حيث عانت طريقة الحوار SecondRound بشكل خاص من انتشار الأخطاء بسبب نقص التغذية الراجعة التصحيحية. ومع ذلك، أدت إدخال أمثلة قليلة إلى تحسين كبير في فهم النموذج الدلالي، مما يؤكد أن التعلم الموجه بالأمثلة يعزز دقة التعرف على العلاقات بين الكيانات. ومن الجدير بالذكر أن طريقة TwoStep CoT تفوقت على غيرها عبر مقاييس متعددة، مستفيدة من نموذج التفكير الموزع الذي يتماشى مع الهيكل التقدمي للورقة، مما يقلل من أخطاء التفاعل عالية الأبعاد وتأثيرات الأخطاء التراكمية في الحوارات متعددة الجولات.

النتائج

في قسم النتائج، قيمت الدراسة نماذج مختلفة لتحسين التحفيز لاستخراج علاقات الكيانات، مع التركيز على أدائها تحت شرط وجود حالة واحدة. تشير النتائج، الموضحة في الشكل 4، إلى أن استراتيجيات التحفيز الستة حققت دقة محسنة واسترجاعًا ودرجات F1 عندما تم تقديم عدد محدود من الأمثلة، مقارنة بالسيناريوهات التي لا تحتوي على أمثلة. ومن الجدير بالذكر أن استراتيجية TwoStep CoT-fewshot ظهرت كالأكثر فعالية، محققة أعلى متوسط درجة F1 قدرها 0.871، مع فترة ثقة 95% قدرها [84.1، 90.2]، مما يظهر قوة إحصائية مقارنة بالاستراتيجيات الأخرى.

للتحقق من هذه النتائج، أجرى الباحثون ثلاث تجارب مكررة مستقلة لكل استراتيجية تحفيز، محسوبين المتوسط والانحراف المعياري وفترات الثقة لدرجات F1. تم استخدام اختبارات t المزدوجة لتقييم الفروق في الأداء، مؤكدة تفوق استراتيجية TwoStep CoT-fewshot لاستخراج علاقات الكيانات في الوثائق الطبية غير المنظمة وتقارير الأحداث السلبية المتعلقة بالحاضنات للأطفال. تؤسس هذه الاستراتيجية المثلى قاعدة صلبة لبناء رسم بياني للمعرفة في المستقبل والإجابة الذكية على الأسئلة القائمة على المخاطر. يتم تفصيل إحصائيات تقسيم البيانات والمعالجة في الجدول 2، موضحة توزيع وحدات النص عبر مجموعات فرعية مختلفة.

المناقشة

في هذا القسم، يناقش المؤلفون دمج هندسة التحفيز ونماذج اللغة الكبيرة (LLMs) لتعزيز إدارة المخاطر في الأجهزة الطبية، مع التركيز بشكل خاص على استخراج المعرفة من الوثائق القياسية وتقارير الأحداث السلبية. يبرزون مزايا هندسة التحفيز كطريقة خفيفة الوزن وفعالة من حيث المعلمات لتحسين أداء النموذج دون تغيير المعلمات، مما يقلل من التكاليف الحاسوبية ويخفف من الإفراط في التكيف في السيناريوهات ذات البيانات المحدودة. تبني الدراسة على الأبحاث الحالية من خلال اقتراح ست طرق تحسين لاستخراج علاقات الكيانات، مما يسهم في تطوير رسم بياني للمعرفة موجه نحو المخاطر مصمم للمعدات الكهربائية الطبية.

يقدم المؤلفون تفاصيل منهجيتهم، التي تشمل جمع ومعالجة الوثائق القياسية الصينية وبيانات الأحداث السلبية، باستخدام تقنية OCR لتحويل مستندات PDF إلى تنسيقات قابلة للاستخدام. يقومون ببناء نظام معرفة قائم على الأنطولوجيا من ثلاث طبقات يصنف المخاطر ويربط المعايير بعناصر المخاطر، مما يسهل نهجًا منظمًا لاستخراج المعلومات. يتم تقييم أداء الطرق المقترحة مقابل التقنيات التقليدية، مما يظهر نتائج متفوقة في استخراج علاقات الكيانات ويظهر قابلية تكييف نموذج Deepseek في البيئات ذات الموارد المنخفضة. علاوة على ذلك، يتناولون موثوقية المحتوى الناتج عن LLM من خلال استراتيجية تخفيف من ثلاث طبقات، مؤكدين على أهمية التحقق من الخبراء والاعتبارات الأخلاقية في اتخاذ القرارات المدعومة بالذكاء الاصطناعي لتنظيم الأجهزة الطبية.

القيود

تسلط القيود المفروضة على الدراسة حول الإطار المقترح لأجهزة الحاضنات الطبية الضوء على عدة مجالات حرجة للتحسين. أولاً، استخدمت الدراسة عينة بيانات محدودة ومتجانسة، مما قد يؤدي إلى تحيز في التقارير ويقيد قابلية تعميم النموذج عبر مجموعات سكانية ومناطق متنوعة. التحقق الحالي مقصور على جهاز طبي واحد، مما يستدعي الحاجة إلى تحقيقات مستقبلية تشمل التعاون مع المستشفيات والمؤسسات لاختبار الإطار على مجموعات بيانات متنوعة ومنصات أجهزة طبية متعددة.

ثانيًا، اعتمدت منهجية التقييم بشكل أساسي على مجموعات بيانات مقسمة داخليًا والتحقق من الخبراء، مما يفتقر إلى اختبار مرجعي خارجي. ستسعى الجهود المستقبلية إلى التحقق من قدرات تعميم الإطار باستخدام مجموعات بيانات متاحة للجمهور تتعلق بالأحداث السلبية في الأجهزة الطبية أو مجموعات بيانات المعايير عبر الأجهزة. أخيرًا، تعترف الدراسة بالقيود الجوهرية لنماذج اللغة الكبيرة (LLMs) في فهم المصطلحات الفنية، مما يظهر تكرارًا في استخراج الكيانات والعلاقات، ويكافح مع الطبيعة الديناميكية لمراجعات الوثائق القياسية. ستركز الأبحاث المستقبلية على تعزيز الفهم الدقيق للنموذج للمصطلحات الفنية وقابلية تكييفه مع المعايير المتطورة، مما يحسن من العملية العامة للنظام واستجابته في سيناريوهات التحذير من المخاطر.

Journal: Risk Management and Healthcare Policy, Volume: 0
DOI: https://doi.org/10.2147/rmhp.s571156
PMID: https://pubmed.ncbi.nlm.nih.gov/41858417
Publication Date: 2026-01-01
Author(s): Wanting Zhu et al.
Primary Topic: Quality and Safety in Healthcare

Overview

This research paper addresses significant challenges in the risk management of medical electrical equipment, particularly the disconnect between unstructured standards and adverse event data, as well as the scarcity of high-quality annotated data. The authors propose a novel method for constructing a risk knowledge graph that leverages large language models and prompting engineering standards. Using adverse event data from early childhood incubators as a case study, the paper outlines a three-layer risk knowledge system that integrates multi-source standards and employs multi-angle prompting strategies for entity relationship extraction. The results indicate that the proposed method achieves a mean F1 score of 0.871, with the knowledge graph comprising 24,106 nodes and 18,053 relationships, effectively linking “fault-standard-measure.”

The conclusion emphasizes the framework’s potential to transform risk management in the medical device sector by facilitating automated knowledge extraction and intelligent risk retrieval. The T-E-t (Type-Element-text) three-layer knowledge model enables a systematic deconstruction of standard clauses and adverse event data, significantly reducing the time and cost associated with traditional manual annotation processes. This approach not only supports proactive monitoring and data-driven decision-making but also fosters knowledge collaboration across regulatory agencies. The authors suggest that while the study focuses on infant incubators, the methodology can be adapted for other medical devices, promoting a unified risk knowledge base and enhancing regulatory practices in the digital health ecosystem.

Introduction

The introduction of the research paper emphasizes the critical role of Medical Electrical (ME) equipment in healthcare, highlighting that its safety and effectiveness are paramount for patient health. The current risk management framework for ME equipment is hindered by a complex and fragmented standard documentation system, primarily stored in disparate PDF files, which complicates the correlation between standards and clinical risks. For example, the inability to directly link temperature fluctuation standards for infant incubators to adverse events like neonatal burns illustrates the challenges faced. Additionally, the reliance on manual processing of unstructured documents and adverse event data leads to delays in risk identification, with a significant percentage of device malfunctions attributed to non-compliance with standards.

To address these issues, the paper proposes leveraging artificial intelligence, specifically generative large language models (LLMs), to enhance the risk management process. By constructing a knowledge graph that integrates standard requirements with adverse event data, the research aims to facilitate efficient risk retrieval and analysis. The proposed approach utilizes prompt engineering to optimize LLMs for extracting relevant entities and relationships, thereby improving the accuracy and efficiency of risk information extraction. This innovative method not only reduces the dependency on large-scale labeled datasets but also enhances the adaptability of risk management practices, aligning with regulatory standards such as IEC 60601 and ISO 14971. The study ultimately seeks to establish a robust framework for intelligent medical device risk management, thereby strengthening post-market monitoring and regulatory decision-making processes.

Methods

In this section, the authors outline their methodology for constructing a risk-oriented knowledge graph tailored to medical electrical equipment (ME) standards, leveraging large language models (LLMs) as extraction tools. The proposed framework facilitates the automatic extraction of entity relationship quintuples from risk and standard texts, particularly in zero-sample and few-sample scenarios. This approach addresses the challenges associated with high labeling costs and the integration of multi-dimensional data, ultimately enhancing the efficiency of risk management in the medical domain.

The study evaluates the performance of six different entity relationship extraction methods, revealing that their effectiveness is constrained by the availability of examples and the adaptability of the technical framework to the semantic nuances of medical texts. In zero-sample scenarios, all methods exhibited limited semantic understanding, with the SecondRound dialogue method particularly suffering from error propagation due to its lack of corrective feedback. However, the introduction of few-shot examples significantly improved the model’s semantic comprehension, confirming that example-guided learning enhances entity-relation recognition accuracy. Notably, the TwoStep CoT method outperformed others across multiple metrics, benefiting from a distributed reasoning paradigm that aligns with the paper’s progressive structure, thereby reducing high-dimensional interaction errors and cumulative error effects in multi-round dialogues.

Results

In the results section, the study evaluated various prompt optimization templates for entity relation extraction, focusing on their performance under a single-instance condition. The findings, illustrated in Figure 4, indicate that the six prompting strategies yielded improved precision, recall, and F1 scores when a limited number of examples were provided, compared to scenarios with no examples. Notably, the TwoStep CoT-fewshot strategy emerged as the most effective, achieving the highest mean F1 score of 0.871, with a 95% confidence interval of [84.1, 90.2], demonstrating statistical robustness against other strategies.

To validate these findings, the researchers conducted three independent replicate experiments for each prompting strategy, calculating the mean, standard deviation, and confidence intervals for the F1 scores. Paired t-tests were employed to assess performance differences, confirming the superiority of the TwoStep CoT-fewshot strategy for entity relation extraction in unstructured medical documents and adverse event reports related to infant incubators. This optimal strategy lays a solid foundation for future knowledge graph construction and risk-based intelligent question answering. The data partitioning and processing statistics are detailed in Table 2, highlighting the distribution of text units across various subsets.

Discussion

In this section, the authors discuss the integration of prompt engineering and large language models (LLMs) to enhance risk management in medical devices, particularly focusing on the extraction of knowledge from standard documents and adverse event reports. They highlight the advantages of prompt engineering as a lightweight, parameter-efficient fine-tuning method that improves model performance without altering parameters, thereby reducing computational costs and mitigating overfitting in scenarios with limited data. The study builds upon existing research by proposing six optimization methods for extracting entity relationships, ultimately contributing to the development of a risk-oriented knowledge graph tailored for medical electrical equipment.

The authors detail their methodology, which includes the collection and processing of Chinese standard documents and adverse event data, employing OCR technology to convert PDF documents into usable formats. They construct a three-layer ontology-based knowledge system that categorizes risks and connects standards to risk elements, facilitating a structured approach to information extraction. The performance of their proposed methods is evaluated against traditional techniques, demonstrating superior outcomes in entity relation extraction and showcasing the adaptability of the Deepseek model in low-resource environments. Furthermore, they address the reliability of LLM-generated content through a three-layer mitigation strategy, emphasizing the importance of expert validation and ethical considerations in AI-assisted decision-making for medical device regulation.

Limitations

The limitations of the study on the proposed framework for infant incubator medical devices highlight several critical areas for improvement. Firstly, the research utilized a limited and homogeneous data sample, which may lead to reporting bias and restrict the model’s generalizability across diverse populations and regions. The current validation is confined to a single medical device, prompting the need for future investigations to include collaborations with hospitals and institutions to test the framework on varied datasets and multiple medical device platforms.

Secondly, the evaluation methodology primarily depended on internally partitioned datasets and expert validation, lacking external benchmark testing. Future efforts will aim to validate the framework’s generalization capabilities using publicly available datasets related to adverse events in medical devices or cross-device standard datasets. Lastly, the study acknowledges inherent limitations of large language models (LLMs) in comprehending technical terminology, exhibiting redundancy in entity and relation extraction, and struggling with the dynamic nature of standard document revisions. Future research will focus on enhancing the model’s fine-grained understanding of technical terms and its adaptability to evolving standards, thereby improving the system’s overall practicality and responsiveness in risk warning scenarios.