DOI: https://doi.org/10.1016/j.jbi.2025.104819
PMID: https://pubmed.ncbi.nlm.nih.gov/40250743
تاريخ النشر: 2025-04-16
المؤلف: Abel Corrêa Dias وآخرون
الموضوع الرئيسي: تحليل البيانات الشامل والمراجعات المنهجية
نظرة عامة
يقدم القسم تطوير RoBIn (استدلال خطر التحيز)، وهو نموذج جديد مصمم لأتمتة تقييم خطر التحيز (RoB) في منشورات التجارب السريرية. باستخدام مجموعة بيانات جديدة لفهم القراءة الآلية (MRC) وتقييم RoB، يستخدم RoBIn نهج المهام المزدوجة لاستخراج الأدلة وتصنيف RoB إما كمنخفض أو مرتفع/غير واضح. يتم تقييم النموذج مقابل أحدث الأساليب، محققًا ROC AUC ملحوظ قدره 0.83، مما يدل على أداء متفوق في سيناريوهات مختلفة مقارنة بأساليب التعلم الآلي التقليدية ونماذج اللغة الكبيرة (LLMs).
مجموعة بيانات RoBIn، على الرغم من أنها تشمل التحيزات الأساسية التي حددتها تعاون كوكراين، إلا أنها أصغر وتقدم تحديات بسبب عملية التوصيف الآلي وعدم توازن الفئات، مع وجود هيمنة لحالات RoB المنخفض. يشكل هذا عدم التوازن مخاطر، خاصة في مهام MRC، حيث قد يؤدي إلى إيجابيات خاطئة حيث يتم تصنيف التجارب ذات RoB المرتفع أو غير الواضح بشكل خاطئ كـ RoB منخفض. للتخفيف من هذه القضايا، يقترح المؤلفون استراتيجيات محتملة مثل توليد حالات اصطناعية لمجموعة بيانات متوازنة أو تقليل عدد أنواع التحيز المفرطة التمثيل. بشكل عام، يظهر RoBIn قوة في قدراته التصنيفية، مما يبرز أهمية تقييم RoB الدقيق في إبلاغ قرارات الرعاية الصحية.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على الدور الحاسم للتجارب السريرية العشوائية (RCTs) كمعيار ذهبي للأدلة الطبية الحيوية، مع الاعتراف أيضًا بإمكانية حدوث تحيز في تصميم الدراسة والنشر. زادت جائحة COVID-19 من حدة هذه القضايا، مما أدى إلى زيادة في البحث الطبي الحيوي الذي غالبًا ما أعطى الأولوية للنتائج السريعة على المراجعة الدقيقة من قبل الأقران، مما زاد من خطر عدم الدقة والتفسيرات المنحازة التي تؤثر عليها الأجندات التجارية أو السياسية. يؤكد المؤلفون على أهمية تقييم خطر التحيز (RoB) في التجارب السريرية لضمان موثوقية النتائج ومنع الأدلة المضللة من عرقلة البحث المستقبلي.
لمعالجة التحديات في تقييم RoB، تقدم الورقة مجموعة بيانات استدلال خطر التحيز (RoBIn)، وهي أول مجموعة بيانات متاحة للجمهور تهدف إلى تقييم RoB في RCTs. تم إنشاء هذه المجموعة باستخدام الإشراف البعيد، حيث تم الاستفادة من قواعد البيانات الموجودة لتسمية البيانات من خلال أزواج الأسئلة والأجوبة التي تُعلم أحكام RoB. استخدم المؤلفون نماذج Transformer المتطورة لتحليل مجموعة بيانات RoBIn، مع تنفيذ كل من الأساليب الاستخراجية والتوليدية لتقييم RoB. تشير نتائجهم التجريبية إلى أن هذه النماذج المعتمدة على Transformer لم تؤدِ فقط بشكل جيد في استخراج الأدلة الداعمة ولكنها حققت أيضًا نتائج تنافسية في تصنيف RoB، متجاوزة الأساليب التقليدية ونماذج اللغة الكبيرة.
النتائج
تشير نتائج تجارب مهام MRC إلى أن نماذج RoBIn، وخاصة RoBIn Ext، تتفوق بشكل كبير على جميع نماذج اللغة الكبيرة (LLMs) المختبرة عبر مقاييس مختلفة، بما في ذلك F1 و F BERT ودرجات المطابقة الدقيقة (EM) لجميع أنواع التحيز. يظهر RoBIn Ext أداءً متفوقًا باستمرار، بينما RoBIn Gen، على الرغم من كونه أقل فعالية قليلاً، لا يزال يتجاوز LLMs. من الجدير بالذكر أن الأخطاء في نماذج RoBIn غالبًا ما تنشأ من مشكلات إنهاء الجمل وعدم دقة استبدال الكلمات. في المقابل، تميل LLMs إلى إنتاج استجابات أطول قد تؤثر سلبًا على درجاتها بسبب مقاييس التقييم المستخدمة.
في مهمة استدلال RoB، يتفوق RoBIn Ext في F1 والدقة، بينما يحقق RoBIn Gen أعلى استرجاع. تؤكد التحليلات الإحصائية وجود اختلافات أداء كبيرة بين نماذج RoBIn والخوارزميات الأساسية، حيث يُعتبر RoBIn Ext قويًا بشكل خاص عبر أنواع التحيز المتعددة. تُظهر LLMs، وخاصة Gemma2 في سيناريو القليل من اللقطات، تباينًا في الأداء، حيث تؤدي Llamma بشكل سيء في سيناريو 0-shot. بشكل عام، تظهر نماذج RoBIn أداءً قويًا ومتسقًا، خاصة في اكتشاف التحيزات في التقارير والاختيار وغيرها، بينما تتخلف النماذج التقليدية مثل LR و SVM عن الفعالية، خاصة في تصنيف الحالات الإيجابية. تشير النتائج إلى أن نماذج RoBIn أكثر موثوقية لمهام استدلال RoB مقارنة بالخوارزميات الكلاسيكية.
المناقشة
في قسم المناقشة، توضح الورقة مشهد تقييم جودة التجارب السريرية، مع التأكيد على التمييز بين البحث الأساسي والثانوي. يشمل البحث الأساسي الدراسات الأساسية والسريرية والوبائية التي تهدف إلى إثبات فعالية وسلامة التدخلات الطبية. يجمع البحث الثانوي، بما في ذلك التحليلات التلوية والمراجعات المنهجية، النتائج من الدراسات الأساسية. يعد تقييم خطر التحيز (RoB) أمرًا حيويًا في المراجعات المنهجية، حيث يتم تقييم الدراسات من حيث الصلة والتحيزات المحتملة، مع تحديد خمسة أنواع رئيسية من التحيز: التحيز في الاختيار، الأداء، الكشف، الانسحاب، والتحيز في التقرير. تم تطوير أدوات متنوعة، مثل درجة Jadad وأداة تقييم خطر التحيز المعدلة من كوكراين (RoB 2)، لتسهيل هذا التقييم، على الرغم من أن مفهوم الجودة لا يزال غامضًا إلى حد ما وقابلًا للتفسير.
تسلط الورقة الضوء أيضًا على التقدم في فهم القراءة الآلية (MRC) وتطبيق هياكل التحويل في معالجة اللغة الطبيعية (NLP). تناقش تطور أدوات تقييم RoB الآلي، مشيرة إلى أنه بينما استخدمت الجهود الأولية طرق التعلم الآلي التقليدية، أظهرت الدراسات الأخيرة وعدًا في الاستفادة من نماذج اللغة الكبيرة (LLMs) لهذه المهمة. يحذر المؤلفون من الاعتماد غير النقدي على LLMs بسبب الأخطاء المحتملة وخطر نشر معلومات مضللة في سياقات الرعاية الصحية. تختتم الورقة بتقديم مجموعة بيانات RoBIn، التي تهدف إلى أتمتة تقييم RoB من خلال توفير مورد منظم لتدريب وتقييم نماذج MRC، وبالتالي معالجة قيود مجموعات البيانات والأساليب الحالية.
DOI: https://doi.org/10.1016/j.jbi.2025.104819
PMID: https://pubmed.ncbi.nlm.nih.gov/40250743
Publication Date: 2025-04-16
Author(s): Abel Corrêa Dias et al.
Primary Topic: Meta-analysis and systematic reviews
Overview
The section presents the development of RoBIn (Risk of Bias Inference), a novel model designed to automate the assessment of the Risk of Bias (RoB) in clinical trial publications. Utilizing a new dataset for machine reading comprehension (MRC) and RoB evaluation, RoBIn employs a dual-task approach to extract evidence and classify RoB as either low or high/unclear. The model is benchmarked against state-of-the-art methods, achieving a notable ROC AUC of 0.83, indicating superior performance in various scenarios compared to traditional machine learning and large language models (LLMs).
The RoBIn dataset, while encapsulating essential biases identified by the Cochrane collaboration, is smaller and presents challenges due to its automated annotation process and class imbalance, with a predominance of low RoB instances. This imbalance poses risks, particularly in MRC tasks, as it may lead to false positives where trials with high or unclear RoB are misclassified as low RoB. To mitigate these issues, the authors suggest potential strategies such as generating synthetic instances for a balanced dataset or downsampling overrepresented bias types. Overall, RoBIn demonstrates robustness in its classification capabilities, highlighting the importance of accurate RoB assessment in informing healthcare decisions.
Introduction
The introduction of this research paper highlights the critical role of Randomized Clinical Trials (RCTs) as the gold standard for biomedical evidence, while also acknowledging the potential for bias in study design and publication. The COVID-19 pandemic intensified these issues, leading to a surge in biomedical research that often prioritized rapid findings over rigorous peer review, thereby increasing the risk of inaccuracies and biased interpretations influenced by commercial or political agendas. The authors emphasize the importance of assessing the Risk of Bias (RoB) in clinical trials to ensure the reliability of findings and to prevent misleading evidence from obstructing future research.
To address the challenges in RoB assessment, the paper introduces the Risk of Bias Inference (RoBIn) dataset, the first publicly available dataset aimed at evaluating RoB in RCTs. This dataset was created using distant supervision, where existing databases were leveraged to label data through question-answer pairs that inform RoB judgments. The authors employed state-of-the-art Transformer models to analyze the RoBIn dataset, implementing both extractive and generative approaches for RoB assessment. Their experimental results indicate that these Transformer-based models not only performed well in extracting supporting evidence but also achieved competitive results in RoB classification, surpassing traditional methods and large language models.
Results
The results of the MRC task experiments indicate that the RoBIn models, particularly RoBIn Ext, significantly outperform all tested large language models (LLMs) across various metrics, including F1, F BERT, and exact match (EM) scores for all bias types. RoBIn Ext consistently demonstrates superior performance, while RoBIn Gen, although slightly less effective, still surpasses the LLMs. Notably, errors in RoBIn models often stem from sentence termination issues and word replacement inaccuracies. In contrast, LLMs tend to generate longer responses that can detract from their scores due to the evaluation metrics employed.
In the RoB inference task, RoBIn Ext excels in F1 and precision, while RoBIn Gen achieves the highest recall. Statistical analysis confirms significant performance differences between RoBIn models and baseline algorithms, with RoBIn Ext being particularly robust across multiple bias types. The LLMs, especially Gemma2 in the few-shot scenario, show variability in performance, with Llamma performing poorly in the 0-shot scenario. Overall, RoBIn models exhibit strong and consistent performance, particularly in detecting reporting, selection, and other biases, while traditional models like LR and SVM lag behind in effectiveness, especially in classifying positive instances. The findings suggest that RoBIn models are more reliable for RoB inference tasks compared to classical algorithms.
Discussion
In the discussion section, the paper delineates the landscape of clinical trial quality assessment, emphasizing the distinction between primary and secondary research. Primary research encompasses basic, clinical, and epidemiological studies aimed at establishing the efficacy and safety of medical interventions. Secondary research, including meta-analyses and systematic reviews, synthesizes findings from primary studies. The assessment of risk of bias (RoB) is crucial in systematic reviews, where studies are evaluated for relevance and potential biases, with five primary bias types identified: selection, performance, detection, attrition, and reporting bias. Various tools, such as the Jadad score and the Revised Cochrane Risk of Bias tool (RoB 2), have been developed to facilitate this assessment, although the concept of quality remains somewhat ambiguous and subject to interpretation.
The paper also highlights advancements in machine reading comprehension (MRC) and the application of transformer architectures in natural language processing (NLP). It discusses the evolution of automated RoB assessment tools, noting that while initial efforts utilized traditional machine learning methods, recent studies have shown promise in leveraging large language models (LLMs) for this task. The authors caution against the uncritical adoption of LLMs due to potential inaccuracies and the risk of disseminating misleading information in healthcare contexts. The paper concludes by introducing the RoBIn dataset, which aims to automate RoB assessment by providing a structured resource for training and evaluating MRC models, thereby addressing the limitations of existing datasets and methodologies.