DOI: https://doi.org/10.2196/50274
PMID: https://pubmed.ncbi.nlm.nih.gov/38842929
تاريخ النشر: 2024-06-06
المؤلف: Robert Ball وآخرون
الموضوع الرئيسي: اليقظة الدوائية وردود الفعل السلبية للأدوية
نظرة عامة
يتناول القسم التحديات والتقدم في استخدام الذكاء الاصطناعي (AI) لتقييم ردود الفعل السلبية للأدوية (ADRs) المبلغ عنها إلى إدارة الغذاء والدواء (FDA). على الرغم من جهود إدارة الغذاء والدواء على مدار العقد الماضي لتعزيز كفاءة وصرامة أنشطتها الرقابية من خلال الذكاء الاصطناعي، لا يزال هناك فجوة كبيرة بين تطوير خوارزميات الذكاء الاصطناعي والنشر العملي لها. يؤكد المؤلفون أن موثوقية هذه الخوارزميات أمر حاسم لقبولها من قبل الخبراء البشريين، ويطبقون نظرية انتشار الابتكارات لتحليل قبول خوارزميات الذكاء الاصطناعي المختلفة من قبل مراجعي السلامة.
تسلط التحليل الضوء على أن المعايير التي يستخدمها الأطباء لتقييم ما إذا كان من المحتمل أن يتسبب دواء ما في حدث سلبي (AE) ليست محددة بشكل جيد، مما يعقد إنشاء أنظمة ذكاء اصطناعي عالية الأداء وشفافة وقابلة للتفسير. تسهم هذه الحالة من عدم الوضوح في الشكوك بين مراجعي السلامة بشأن موثوقية الذكاء الاصطناعي. يجادل المؤلفون بأن مجتمع اليقظة الدوائية يجب أن يعزز فهمه للاستدلال السببي والعمليات المعرفية المعنية في ربط الأدوية بالأحداث السلبية. يقترحون اتجاهات بحثية مستقبلية تهدف إلى تحسين قياس عدم اليقين الخوارزمي، وضمان قابلية التكرار الحاسوبية، وتطوير إطار معرفي واضح للاستدلال السببي في التفكير القائم على الحالة، وكلها ضرورية لتعزيز الثقة في تطبيقات الذكاء الاصطناعي لسلامة الأدوية.
مقدمة
في المقدمة، يبرز المؤلفون التحديات التي يواجهها المتخصصون الطبيون في التفكير القائم على الحالة لاتخاذ القرارات السريرية، خاصة في سياق دمج الذكاء الاصطناعي (AI) وتعلم الآلة (ML) في هذه العملية. بينما أظهر الذكاء الاصطناعي وعدًا في التطبيقات السريرية واسعة النطاق، فإن فعاليته تتناقص في الحالات المعقدة والصغيرة حيث تكون الميزات التنبؤية الحرجة غالبًا غير واضحة. يؤكد المؤلفون على أهمية تطوير استراتيجيات للاستفادة من الذكاء الاصطناعي في هذه السيناريوهات الدقيقة، خاصة في تقييم تقارير سلامة الحالة الفردية (ICSRs) المتعلقة بتجارب الأدوية السلبية لدى إدارة الغذاء والدواء.
يناقش البحث دور تقارير سلامة الحالة الفردية في التقاط الأحداث السلبية بعد الموافقة على الأدوية والتعقيدات المعنية في تقييم هذه التقارير، والتي تتطلب فهمًا شاملاً لعوامل سريرية وديموغرافية متنوعة. لتعزيز كفاءة وصرامة تقييمات تقارير سلامة الحالة الفردية، بدأت إدارة الغذاء والدواء دعم الأتمتة، باستخدام معالجة اللغة الطبيعية (NLP) وتعلم الآلة. يهدف المؤلفون إلى مشاركة رؤى من تجارب إدارة الغذاء والدواء، خاصة فيما يتعلق بقبول بعض خوارزميات الذكاء الاصطناعي على حساب أخرى، ويقترحون إطارًا استدلاليًا رسميًا لتقييم تقارير سلامة الحالة الفردية. يختتمون بالدعوة إلى استكشاف أعمق للأطر المعرفية في الاستدلال السببي وتحديد أولويات البحث اللازمة للتطبيق الفعال للذكاء الاصطناعي في تقييمات سلامة الأدوية السريرية.
نقاش
يسلط قسم النقاش في ورقة البحث الضوء على التحديات التي تواجه إدارة الغذاء والدواء في تطبيق معالجة اللغة الطبيعية (NLP) وتعلم الآلة (ML) على تقارير سلامة الحالة الفردية (ICSRs) لتقييم الأحداث السلبية (AEs). تشمل القيود الرئيسية نقص الإبلاغ عن الأحداث السلبية، وعدم دقة بيانات استخدام الأدوية، والاعتماد على حكم الخبراء في تقييمات السببية بسبب عدم كفاية الأساليب الإحصائية الحالية. ركزت جهود إدارة الغذاء والدواء الأولية على أتمتة تحديد الأحداث السلبية النادرة المتعلقة باللقاحات، باستخدام معالجة اللغة الطبيعية لاستخراج المعلومات السريرية ذات الصلة من سرد تقارير سلامة الحالة الفردية. على الرغم من التقدم في تطوير الخوارزميات، لا تزال أداء هذه النماذج غير كافٍ للاستخدام المستقل، مما يتطلب مراجعة من قبل خبراء بشريين.
الثقة في أنظمة الذكاء الاصطناعي أمر حاسم لنجاح تكاملها في سير العمل الخاص باليقظة الدوائية. تؤكد الورقة على أهمية التعاون بين مراجعي السلامة ومطوري الذكاء الاصطناعي لمعالجة تعقيدات تقييم تقارير سلامة الحالة الفردية ولضمان توافق أدوات الذكاء الاصطناعي مع الممارسات الحالية. stems skepticism الأولي من مراجعي السلامة بشأن قدرة الذكاء الاصطناعي على إجراء تقييمات السببية من تعقيد هذه المهام والإدراك بعدم كفاية الذكاء الاصطناعي في تكرار الخبرة البشرية. يشير النقاش أيضًا إلى نظرية انتشار الابتكارات، مقترحًا أن خصائص مثل الميزة النسبية والتوافق تؤثر بشكل كبير على قبول أدوات الذكاء الاصطناعي. بينما أظهرت خوارزمية إزالة التكرار وعدًا وحصلت على بعض القبول، لا يزال تقييم السببية الأكثر تعقيدًا منطقة تحدي لتبني الذكاء الاصطناعي، مما يبرز الحاجة إلى مزيد من التحسين ودمج هذه التقنيات في عمليات مراجعة السلامة.
DOI: https://doi.org/10.2196/50274
PMID: https://pubmed.ncbi.nlm.nih.gov/38842929
Publication Date: 2024-06-06
Author(s): Robert Ball et al.
Primary Topic: Pharmacovigilance and Adverse Drug Reactions
Overview
The section discusses the challenges and advancements in utilizing artificial intelligence (AI) for evaluating adverse drug reactions (ADRs) reported to the FDA. Despite the FDA’s efforts over the past decade to enhance the efficiency and scientific rigor of its surveillance activities through AI, a significant gap persists between the development and practical deployment of AI algorithms. The authors emphasize that the trustworthiness of these algorithms is crucial for their acceptance by human experts, and they apply the Diffusion of Innovations theory to analyze the varying acceptance of different AI algorithms by safety reviewers.
The analysis highlights that the criteria clinicians use to assess whether a drug is likely to cause an adverse event (AE) are not well-defined, complicating the creation of high-performing, transparent, and explainable AI systems. This lack of clarity contributes to skepticism among safety reviewers regarding AI’s reliability. The authors argue that the pharmacovigilance community must enhance its understanding of causal inference and the cognitive processes involved in linking drugs to AEs. They propose future research directions aimed at improving algorithmic uncertainty measurement, ensuring computational reproducibility, and developing a clear cognitive framework for causal inference in case-based reasoning, all of which are essential for fostering trust in AI applications for drug safety.
Introduction
In the introduction, the authors highlight the challenges faced by medical professionals in case-based reasoning for clinical decision-making, particularly in the context of integrating artificial intelligence (AI) and machine learning (ML) into this process. While AI has shown promise in large-scale clinical applications, its effectiveness diminishes in complex, small-scale situations where critical predictive features are often unclear. The authors emphasize the importance of developing strategies to leverage AI in these nuanced scenarios, particularly in the assessment of individual case safety reports (ICSRs) related to adverse drug experiences at the FDA.
The paper discusses the role of ICSRs in capturing adverse events post-drug approval and the complexities involved in evaluating these reports, which require a thorough understanding of various clinical and demographic factors. To enhance the efficiency and scientific rigor of ICSR assessments, the FDA has initiated automation support, utilizing natural language processing (NLP) and ML. The authors aim to share insights from the FDA’s experiences, particularly regarding the acceptance of certain AI algorithms over others, and propose a formal inferential framework for ICSR assessment. They conclude by advocating for a deeper exploration of cognitive frameworks in causal inference and identifying research priorities necessary for the effective application of AI in clinical drug safety assessments.
Discussion
The discussion section of the research paper highlights the challenges faced by the FDA in applying Natural Language Processing (NLP) and Machine Learning (ML) to Individual Case Safety Reports (ICSRs) for assessing adverse events (AEs). Key limitations include underreporting of AEs, inaccuracies in drug usage data, and the reliance on expert judgment for causality assessments due to the inadequacies of existing statistical methods. The FDA’s initial efforts focused on automating the identification of rare vaccine-related AEs, utilizing NLP to extract relevant clinical information from ICSR narratives. Despite advancements in algorithm development, the performance of these models remains insufficient for independent use, necessitating human expert review.
Trust in AI systems is crucial for their successful integration into pharmacovigilance workflows. The paper emphasizes the importance of collaboration between safety reviewers and AI developers to address the complexities of ICSR evaluation and to ensure that AI tools align with existing practices. Initial skepticism from safety reviewers regarding AI’s capability to perform causality assessments stems from the complexity of these tasks and the perceived inadequacy of AI in replicating human expertise. The discussion also references the Diffusion of Innovations Theory, suggesting that attributes such as relative advantage and compatibility significantly influence the acceptance of AI tools. While the deduplication algorithm showed promise and gained some acceptance, the more complex causality assessment remains a challenging area for AI adoption, highlighting the need for further refinement and integration of these technologies into safety review processes.