DOI: https://doi.org/10.1136/bmj-2024-082068
PMID: https://pubmed.ncbi.nlm.nih.gov/40268307
تاريخ النشر: 2025-04-23
المؤلف: Chang Xu وآخرون
الموضوع الرئيسي: النزاهة الأكاديمية والانتحال
نظرة عامة
تستعرض هذه الفقرة دراسة جماعية استعادية تهدف إلى فحص آثار التجارب السريرية المسحوبة على نظام الأدلة في الرعاية الصحية. استخدمت الدراسة البحث عن الاقتباسات الأمامية لتتبع تأثير هذه التجارب المسحوبة على الأبحاث والممارسات السريرية اللاحقة.
تشير النتائج إلى أن التجارب المسحوبة تؤثر بشكل كبير على نزاهة نظام الأدلة. على وجه الخصوص، يمكن أن يؤدي تضمين بيانات من التجارب المسحوبة إلى تشويه تقديرات التأثير المجمعة، مما قد يؤدي إلى إرشادات ممارسة سريرية خاطئة وقرارات مضللة من قبل الممارسين الصحيين وصانعي السياسات. يؤكد المؤلفون على ضرورة أن يكون المعنيون – بما في ذلك مولدات الأدلة، والمجمعون، والمستخدمون، وصانعو السياسات – يقظين بشأن “تلوث” قاعدة الأدلة بسبب التجارب المسحوبة.
مقدمة
في مجال الطب القائم على الأدلة، تعتبر نزاهة نظام الأدلة ضرورية لاتخاذ قرارات فعالة. تشمل المكونات الرئيسية لهذا النظام توليد الأدلة وتجميعها، والتي تُعلم إرشادات الممارسة السريرية وتقييمات تكنولوجيا الصحة المستخدمة من قبل الأطباء وصانعي السياسات. تعتبر صحة وموثوقية الأدلة، المستمدة أساسًا من التجارب السريرية العشوائية (RCTs)، ضرورية لتعزيز ممارسات الرعاية الصحية السليمة. تُعتبر التجارب السريرية العشوائية قمة الأدلة بسبب تصميمها، الذي يقلل من التحيزات مثل التداخل بسبب الإشارة. ومع ذلك، فإن موثوقية هذه الأدلة تتعرض للخطر بسبب الزيادة في حالات سحب التجارب، مما يثير مخاوف بشأن نزاهة البيانات والشفافية.
تشكل سحب التجارب السريرية العشوائية مخاطر كبيرة على الطب القائم على الأدلة، حيث يمكن أن يؤدي تضمين التجارب المعيبة في تجميع الأدلة إلى إرشادات سريرية مضللة، وزيادة التكاليف المعرفية، وإلحاق الضرر المحتمل بالمرضى. لذلك، من الضروري التحقيق في عواقب التجارب المسحوبة على إرشادات الممارسة السريرية وقياس مدى التلوث داخل نظام الأدلة. تهدف هذه الدراسة إلى معالجة هذه القضايا الحرجة من خلال تحليل شامل باستخدام البحث عن الاقتباسات الأمامية.
الطرق
تستعرض فقرة “الطرق” الأساليب التجريبية والتحليلية المستخدمة في الدراسة. توضح معايير اختيار المشاركين، والتدخلات المحددة التي تم إدارتها، والأدوات المستخدمة لجمع البيانات. تم إجراء تحليلات إحصائية باستخدام برامج مناسبة لتقييم دلالة النتائج، مما يضمن أن الأساليب تتماشى مع البروتوكولات المعتمدة للموثوقية والصلاحية.
بالإضافة إلى ذلك، تصف الفقرة النماذج الرياضية المطبقة لتفسير البيانات، بما في ذلك أي معادلات أو خوارزميات ذات صلة التي وجهت التحليل. سعى الباحثون إلى تقليل التحيز من خلال العشوائية وتدابير التحكم، مما يعزز من موثوقية النتائج. بشكل عام، كانت الطرق المستخدمة مصممة لاختبار الفرضيات بدقة وتقديم رؤى موثوقة حول الأسئلة البحثية المطروحة.
النتائج
في هذه الدراسة، أسفر بحث شامل في قاعدة بيانات “مراقبة السحب” عن 12,542 سجلًا، تم من خلالها تحديد 1,330 تجربة مسحوبة تفي بمعايير الإدراج بعد مراجعة دقيقة. جمعت هذه التجارب المسحوبة معًا 82,398 اقتباسًا عبر منصات مثل Google Scholar وScopus. ومن الجدير بالذكر أن 847 مراجعة منهجية مع تحليلات تلوية تضمنت هذه التجارب المسحوبة، مما يبرز خطر التلوث الكبير في نظام الأدلة. أظهر عملية استخراج البيانات معدل توافق مرتفع قدره 95.6% بين مجموعات المتطوعين.
كشفت التحليلات عن علاقة غير خطية بين عدد الدراسات في التحليل التلوي وتأثير التجارب المسحوبة، حيث عانت الدراسات الأقل من تأثيرات أكبر. على وجه التحديد، أدى استبعاد التجارب المسحوبة إلى تغيير اتجاه التأثيرات في 8.4% من التحليلات التلوية وغيرت الحجم بأكثر من 50% في 15.7%. علاوة على ذلك، توصلت 3.9% من التحليلات التلوية إلى استنتاجات مختلفة بسبب هذه السحوبات، مما قد يؤثر على 157 إرشادات ممارسة سريرية. كما أشارت النتائج إلى أن التجارب المسحوبة لم تكن في الغالب دراسات متعددة المراكز، وغالبًا ما تفتقر إلى الشفافية في التمويل، وكانت كثيرًا ما غير مسجلة. من المهم أن التحليلات التلوية التي تركز على نتائج الضرر كانت أكثر عرضة للتلوث من تلك التي تركز على الفوائد، مما يبرز الحاجة إلى فحوصات صارمة على حالة الدراسات المدرجة في المراجعات المنهجية لتقليل المخاطر المرتبطة بالتجارب المسحوبة.
المناقشة
استخدمت الدراسة منهجية البحث عن الاقتباسات الأمامية لتقييم تأثير التجارب السريرية العشوائية المسحوبة على المراجعات المنهجية والتحليلات التلوية، وكذلك على إرشادات الممارسة السريرية. تم تحديد مجموعة من التجارب المسحوبة من قاعدة بيانات “مراقبة السحب”، وتم تحليل المراجعات المنهجية التي تضمنت هذه التجارب لتحديد تأثيرها. وجدت الدراسة أن استبعاد التجارب المسحوبة أدى إلى تغييرات كبيرة في نتائج التحليلات التلوية، حيث أظهرت 8.4% من التحليلات تغييرًا في اتجاه التأثير و16.0% تغييرًا في دلالة قيمة P. ومن الجدير بالذكر أن 3.9% من التحليلات التلوية شهدت تغييرات في كل من اتجاه التأثير والدلالة، مما يشير إلى آثار كبيرة على الاستنتاجات المستخلصة من هذه المراجعات.
علاوة على ذلك، كشفت التحقيقات أن 218 تحليلًا تلوياً من 68 مراجعة منهجية تأثرت بشكل كبير بالتجارب المسحوبة، مما أدى إلى تحديد 157 إرشادات ممارسة سريرية تلخص الأدلة من هذه المراجعات الملوثة. وهذا يبرز سلسلة تلوث الأدلة المثيرة للقلق، حيث يمكن أن تؤثر التجارب المسحوبة ليس فقط على المراجعات المنهجية ولكن أيضًا على الإرشادات السريرية التي تُعلم رعاية المرضى. تؤكد النتائج على ضرورة الفحص الدقيق في ممارسات تجميع الأدلة لتقليل تأثير الدراسات المسحوبة على اتخاذ القرارات السريرية والسياسات الصحية العامة.
القيود
في هذه الفقرة، يعترف المؤلفون بكل من نقاط القوة والقيود في دراستهم، التي تهدف إلى تتبع “سلسلة التلوث” للتجارب المسحوبة داخل نظام الأدلة. تعتبر الدراسة بارزة لكونها الأولى من نوعها، حيث تستخدم عمليات بحث أدبي شاملة وتحليل اقتباسات أمامية لجمع التجارب السريرية العشوائية، والمراجعات المنهجية، وإرشادات الممارسة السريرية التي استخدمت الأدلة من هذه التجارب، على الرغم من السحوبات اللاحقة. تعزز إجراءات جمع البيانات والتحليل الدقيقة من مصداقية النتائج، مما يشير إلى نقاط قوة كبيرة في البحث.
ومع ذلك، تم تحديد عدة قيود. من الجدير بالذكر أن غياب مشاركة المرضى أو الجمهور قد يعيق نشر النتائج، وهو ما يخطط المؤلفون لمعالجته من خلال محتوى وسائل التواصل الاجتماعي المتاح باللغتين الصينية والإنجليزية. بالإضافة إلى ذلك، قد يؤدي اعتماد الدراسة على أربعة قواعد بيانات ببليوغرافية إلى تتبع غير مكتمل لإرشادات الممارسة السريرية، خاصة تلك المنشورة بلغات غير مفهرسة أو التي تشير مباشرة إلى التجارب السريرية العشوائية. كما أن التركيز على التحليلات التلوية الزوجية يترك فجوة بشأن تأثير التجارب المسحوبة على التحليلات التلوية الشبكية. علاوة على ذلك، بينما يساعد استخدام “مراقبة السحب” في تحديد التجارب المسحوبة، يعترف المؤلفون بإمكانية فقدان بعض السحوبات والمراجعات المنهجية التي تتضمن مثل هذه التجارب، مما يشير إلى أن التأثير الفعلي للتجارب المسحوبة على المراجعات المنهجية، والتحليلات التلوية، وإرشادات الممارسة السريرية قد يكون أقل من التقدير.
DOI: https://doi.org/10.1136/bmj-2024-082068
PMID: https://pubmed.ncbi.nlm.nih.gov/40268307
Publication Date: 2025-04-23
Author(s): Chang Xu et al.
Primary Topic: Academic integrity and plagiarism
Overview
This section outlines a retrospective cohort study aimed at examining the effects of retracted clinical trials on the healthcare evidence ecosystem. The study employed forward citation searching to trace the influence of these retracted trials on subsequent research and clinical practices.
The findings indicate that retracted trials significantly affect the integrity of the evidence ecosystem. Specifically, the inclusion of data from retracted trials can distort pooled effect estimates, potentially leading to erroneous clinical practice guidelines and misguided decision-making by healthcare practitioners and policymakers. The authors emphasize the necessity for stakeholders—including evidence generators, synthesizers, users, and policymakers—to be vigilant regarding the “contamination” of the evidence base by retracted trials.
Introduction
In the realm of evidence-based medicine, the integrity of the evidence ecosystem is crucial for effective decision-making. Key components of this ecosystem include evidence generation and synthesis, which inform clinical practice guidelines and health technology assessments utilized by clinicians and policymakers. The validity and robustness of the evidence, primarily derived from randomized controlled trials (RCTs), are essential for promoting sound healthcare practices. RCTs are regarded as the pinnacle of evidence due to their design, which minimizes biases such as confounding by indication. However, the reliability of this evidence is compromised by the increasing incidence of retracted trials, which raise concerns about data integrity and transparency.
The retraction of RCTs poses significant risks to evidence-based medicine, as the inclusion of flawed trials in evidence synthesis can lead to misguided clinical guidelines, increased epistemic costs, and potential harm to patients. Therefore, it is imperative to investigate the repercussions of retracted trials on clinical practice guidelines and to quantify the extent of contamination within the evidence ecosystem. This study aims to address these critical issues through a comprehensive analysis utilizing forward citation searching.
Methods
The “Methods” section outlines the experimental and analytical approaches employed in the study. It details the selection criteria for participants, the specific interventions administered, and the tools used for data collection. Statistical analyses were conducted using appropriate software to evaluate the significance of the results, ensuring that the methodologies adhered to established protocols for reliability and validity.
Additionally, the section describes the mathematical models applied to interpret the data, including any relevant equations or algorithms that guided the analysis. The researchers aimed to minimize bias through randomization and control measures, thereby enhancing the robustness of the findings. Overall, the methods employed were designed to rigorously test the hypotheses and provide credible insights into the research questions posed.
Results
In this study, a comprehensive literature search on the Retraction Watch database yielded 12,542 records, from which 1,330 retracted trials were identified as meeting the inclusion criteria after thorough review. These retracted trials collectively garnered 82,398 citations across platforms like Google Scholar and Scopus. Notably, 847 systematic reviews with meta-analyses incorporated these retracted trials, highlighting a significant contamination risk in the evidence ecosystem. The metadata extraction process showed a high agreement rate of 95.6% between volunteer groups.
The analysis revealed a non-linear relationship between the number of studies in a meta-analysis and the impact of retracted trials, with fewer studies experiencing greater effects. Specifically, the exclusion of retracted trials altered the direction of effects in 8.4% of meta-analyses and changed the magnitude by over 50% in 15.7%. Furthermore, 3.9% of meta-analyses reached different conclusions due to these retractions, potentially affecting 157 clinical practice guidelines. The findings also indicated that retracted trials were predominantly not multicenter studies, often lacked transparency in funding, and were frequently unregistered. Importantly, meta-analyses focusing on harm outcomes were more susceptible to contamination than those on benefits, underscoring the need for rigorous checks on the status of included studies in systematic reviews to mitigate the risks associated with retracted trials.
Discussion
The study employed a forward citation searching methodology to assess the impact of retracted randomized controlled trials (RCTs) on systematic reviews and meta-analyses, as well as on clinical practice guidelines. A cohort of retracted trials was identified from the Retraction Watch database, and systematic reviews that included these trials were analyzed to quantify their influence. The study found that the exclusion of retracted trials led to significant changes in the results of meta-analyses, with 8.4% of the analyses showing a change in the direction of effect and 16.0% altering the significance of the P value. Notably, 3.9% of meta-analyses experienced changes in both effect direction and significance, indicating substantial implications for the conclusions drawn from these reviews.
Furthermore, the investigation revealed that 218 meta-analyses from 68 systematic reviews were substantially affected by retracted trials, leading to the identification of 157 clinical practice guidelines that summarized evidence from these contaminated reviews. This highlights a concerning evidence contamination chain, where retracted trials can influence not only systematic reviews but also clinical guidelines that inform patient care. The findings underscore the necessity for rigorous scrutiny in evidence synthesis practices to mitigate the impact of retracted studies on clinical decision-making and public health policies.
Limitations
In this section, the authors acknowledge both the strengths and limitations of their study, which aims to trace the “contamination chain” of retracted trials within the evidence ecosystem. The study is notable for being the first of its kind, employing comprehensive literature searches and forward citation analysis to gather randomized controlled trials, systematic reviews, and clinical practice guidelines that utilized evidence from these trials, despite subsequent retractions. The rigorous data collection and analytic procedures enhance the credibility of the findings, marking significant strengths of the research.
However, several limitations are identified. Notably, the absence of patient or public involvement may hinder the dissemination of findings, which the authors plan to address through accessible social media content in both Chinese and English. Additionally, the study’s reliance on four bibliographic databases may have led to an incomplete tracking of clinical practice guidelines, particularly those published in non-indexed languages or that directly referenced randomized controlled trials. The focus on pair-wise meta-analyses also leaves a gap regarding the effects of retracted trials on network meta-analyses. Furthermore, while the use of Retraction Watch aids in identifying retracted trials, the authors acknowledge the possibility of missing some retractions and systematic reviews that include such trials, suggesting that the actual impact of retracted trials on systematic reviews, meta-analyses, and clinical guidelines may be underestimated.