DOI: https://doi.org/10.1038/s41746-026-02420-z
PMID: https://pubmed.ncbi.nlm.nih.gov/41731018
تاريخ النشر: 2026-02-23
المؤلف: C. C. Terence Tan وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية والتعليم
نقاش
في قسم النقاش من ورقة البحث، يدعو المؤلفون إلى تعزيز الأطر التنظيمية لمعالجة الفجوات المحددة في تنظيم أنظمة دعم القرار السريري (CDS)، وخاصة تلك التي تستخدم نماذج اللغة الكبيرة (LLMs). يبرزون أن الإرشادات الحالية من إدارة الغذاء والدواء الأمريكية (FDA) وغيرها من الهيئات الدولية تشمل بالفعل أنظمة CDS، لكنهم يؤكدون على الحاجة إلى تنظيمات مصممة لـ “البرمجيات السريرية غير المحددة غير الحتمية” (UNDCS). تشمل هذه الفئة CDS ذات الأغراض العامة التي تعمل في مجالات دلالية مفتوحة، والتي تشكل مخاطر فريدة مثل الأخطاء و”الهلاوس”—عدم الدقة الدلالية المتأصلة في LLMs. يجادل المؤلفون بأنه بينما تدير الأطر التنظيمية التقليدية الأنظمة المحدودة بشكل فعال، فإنها تفشل في التعامل مع الطبيعة الأكثر تعقيدًا وعدم التنبؤ لـ UNDCS.
يقترح المؤلفون عدة استراتيجيات لتخفيف المخاطر لـ UNDCS، بما في ذلك فرق الاختبار لتقليد السيناريوهات الصعبة، وتنفيذ حواجز لتصفية المخرجات غير المناسبة، واستخدام التوليد المعزز بالاسترجاع (RAG) لتأسيس الردود في مصادر موثوقة. كما يقترحون أن النماذج التنظيمية الحالية المدفوعة بالتسميات قد لا تكون مناسبة للبيئة المتطورة بسرعة لتقنيات GenAI. مع تزايد وصول LLMs واستخدامها في السياقات السريرية دون إشراف كافٍ، يدعو المؤلفون إلى نموذج تنظيمي جديد يضمن حماية المستهلك وسلامة المرضى مع تعزيز الابتكار. يجب أن يتكيف هذا النموذج مع التحديات الفريدة التي تطرحها UNDCS، مما يضمن أن يتم محاسبة الشركات المصنعة على الآثار السريرية لتقنياتها.
DOI: https://doi.org/10.1038/s41746-026-02420-z
PMID: https://pubmed.ncbi.nlm.nih.gov/41731018
Publication Date: 2026-02-23
Author(s): C. C. Terence Tan et al.
Primary Topic: Artificial Intelligence in Healthcare and Education
Discussion
In the discussion section of the research paper, the authors advocate for enhanced regulatory frameworks to address identified gaps in the regulation of Clinical Decision Support (CDS) systems, particularly those utilizing large language models (LLMs). They highlight that existing guidelines from the FDA and other international bodies already encompass CDS systems, but emphasize the need for regulations tailored to “unconfined non-deterministic clinical software” (UNDCS). This category includes general-purpose CDS that operate in open-ended semantic spaces, which pose unique risks such as errors and “hallucinations”—semantic inaccuracies inherent to LLMs. The authors argue that while traditional regulatory frameworks effectively manage confined systems, they fall short for the more complex and unpredictable nature of UNDCS.
The authors propose several risk mitigation strategies for UNDCS, including red teaming to simulate challenging scenarios, implementing guardrails to filter inappropriate outputs, and using retrieval-augmented generation (RAG) to ground responses in validated sources. They also suggest that current label-driven regulatory paradigms may not be suitable for the rapidly evolving landscape of GenAI technologies. As LLMs become more accessible and are used in clinical contexts without adequate oversight, the authors call for a new regulatory paradigm that ensures consumer protection and patient safety while fostering innovation. This paradigm should adapt to the unique challenges posed by UNDCS, ensuring that manufacturers are held accountable for the clinical implications of their technologies.