DOI: https://doi.org/10.1136/bmjopen-2024-084164
PMID: https://pubmed.ncbi.nlm.nih.gov/38471680
تاريخ النشر: 2024-03-01
المؤلف: Jack Wilkinson وآخرون
الموضوع الرئيسي: تحليل البيانات الشامل والمراجعات المنهجية
نظرة عامة
تحدد هذه القسم البروتوكول لتطوير أداة تُسمى INSPECT-SR، تهدف إلى تحديد التجارب العشوائية المضبوطة (RCTs) التي تعاني من مشاكل ضمن المراجعات المنهجية للتدخلات الصحية. تم تصميم الأداة لتعزيز جودة وموثوقية المراجعات المنهجية من خلال توفير نهج منهجي لتقييم نزاهة وصحة المنهجية للتجارب العشوائية المضبوطة المضمنة.
ستشمل عملية التطوير تحديد معايير لتحديد التجارب المقلقة، والتي قد تشمل قضايا تتعلق بتصميم الدراسة، وتقرير البيانات، والامتثال للمعايير الأخلاقية. من خلال تنفيذ INSPECT-SR، يمكن للباحثين والممارسين تقييم صحة مراجعات التدخلات الصحية بشكل أفضل، مما يسهم في اتخاذ قرارات أكثر استنارة في الممارسة السريرية.
مقدمة
تسلط مقدمة ورقة البحث الضوء على الدور الحاسم للتجارب العشوائية المضبوطة (RCTs) في تقييم التدخلات الصحية، مشددة على أن المراجعات المنهجية تجمع الأدلة من هذه التجارب لتحديد الفعالية والسلامة. ومع ذلك، تشير إلى قلق كبير: بعض التجارب العشوائية المضبوطة المضمنة في المراجعات المنهجية قد تكون غير موثوقة ليس فقط بسبب عيوب منهجية ولكن أيضًا لأنها قد تحتوي على بيانات مزيفة أو قد لا تكون قد أُجريت على الإطلاق. تم توضيح هذه المشكلة من خلال حالة الإيفرمكتين لفيروس COVID-19، حيث اقترحت المراجعات المنهجية في البداية فائدة في تقليل الوفيات، لتكشف لاحقًا أن بعض التجارب العشوائية المضبوطة المضمنة كانت تحتوي على بيانات مشكوك فيها.
تشدد الورقة على أن مشكلة التجارب العشوائية المضبوطة غير الموثوقة منتشرة عبر مجالات طبية متنوعة، بما في ذلك الدراسات حول فيتامين K، وحمض الترانيكساميك، والعلاجات النفسية. بينما يتم تقييم التجارب العشوائية المضبوطة عادةً من حيث الصلاحية الداخلية والخارجية، فإن الأطر الحالية للتقييم لا تقيم رسميًا مصداقية الدراسات، مما يؤدي إلى احتمال تجاهل التجارب المنهجية السليمة ولكنها احتيالية. لمعالجة هذه الفجوة، يهدف مشروع INveStigating ProblEmatic Clinical Trials in Systematic Reviews (INSPECT-SR) إلى تطوير أداة لتحديد مثل هذه الدراسات المقلقة ضمن المراجعات المنهجية. تذكر المقدمة أيضًا التطوير المستمر لأداة إضافية، INSPECT-IPD، التي ستركز على مجموعات بيانات المشاركين الفرديين، بينما تتناول البروتوكول الحالي التطوير الأولي لأداة INSPECT-SR، بما في ذلك تطبيقها على عينة من المراجعات المنهجية من مكتبة كوكرين.
طرق
ستتبع عملية تطوير أداة INSPECT-SR منهجية منظمة تتكون من خمس مراحل متميزة، تجمع بين توافق الخبراء مع الأدلة التجريبية. تتضمن المرحلة الأولى إجراء مسح للخبراء لتجميع قائمة شاملة من الفحوصات التي تهدف إلى تحديد التجارب العشوائية المضبوطة المقلقة (RCTs). في المرحلة الثانية، سيتم تقييم جدوى وتأثير هذه الفحوصات ضمن سياق المراجعات المنهجية. تستخدم المرحلة الثالثة مسح دلفي لتحديد أي الفحوصات تحظى بدعم من توافق الخبراء. سيؤدي ذلك إلى اجتماع توافق في المرحلة الرابعة، حيث سيتم الانتهاء من الفحوصات المختارة لتضمينها في أداة مسودة، جنبًا إلى جنب مع قرارات بشأن تنسيقها. أخيرًا، ستتضمن المرحلة الخامسة اختبارًا مستقبليًا لأداة المسودة خلال إنشاء مراجعات صحية منهجية جديدة، مما يسمح بتحسين تدريجي بناءً على ملاحظات المستخدمين.
النتيجة المتوقعة لأداة INSPECT-SR هي تعزيز قدرة الباحثين على تحديد الدراسات المقلقة، وبالتالي حماية المرضى من الآثار السلبية للبيانات المضللة على قراراتهم الصحية.
نقاش
تسلط قسم النقاش في مشروع INSPECT-SR الضوء على الحاجة الملحة لتقييم موثوقية التجارب العشوائية المضبوطة (RCTs) المضمنة في المراجعات المنهجية، حيث غالبًا ما تتجاهل المنهجيات الحالية إمكانية وجود بيانات زائفة. يمكن أن يؤدي هذا التجاهل إلى قيام المراجعات المنهجية بنشر أدلة غير موثوقة عن غير قصد، مما قد يؤثر على سياسة وممارسة الرعاية الصحية. يهدف مشروع INSPECT-SR إلى تطوير أداة تقيم نزاهة الدراسات من خلال عملية توافق شاملة تشمل مجموعة متنوعة من أصحاب المصلحة، بما في ذلك الباحثين، والمنهجيين، وشركاء المرضى. تم تصميم هذا النهج الشامل لضمان قبول واسع ونشر فعال للأداة.
يعترف المشروع بالطبيعة المثيرة للجدل لموثوقية البحث ويؤكد أن أداة INSPECT-SR لن تعمل كتشخيص نهائي للبيانات الاحتيالية ولكن كدليل للمستخدمين لإجراء فحوصات منهجية. من خلال استخدام سلسلة منظمة من التقييمات، تهدف الأداة إلى تعزيز موثوقية المراجعات المنهجية وتحسين نتائج الرعاية الصحية في النهاية. من المتوقع أن تكون النسخة المسودة من الأداة متاحة في أوائل عام 2024، مع النسخة النهائية المتوقعة بحلول أواخر عام 2024، مصحوبة بمواد تدريبية لتسهيل تنفيذها في المراجعات المنهجية.
DOI: https://doi.org/10.1136/bmjopen-2024-084164
PMID: https://pubmed.ncbi.nlm.nih.gov/38471680
Publication Date: 2024-03-01
Author(s): Jack Wilkinson et al.
Primary Topic: Meta-analysis and systematic reviews
Overview
This section outlines the protocol for developing a tool named INSPECT-SR, aimed at identifying problematic randomized controlled trials (RCTs) within systematic reviews of health interventions. The tool is designed to enhance the quality and reliability of systematic reviews by providing a systematic approach to evaluate the integrity and methodological rigor of included RCTs.
The development process will involve defining criteria for identifying problematic trials, which may include issues related to study design, data reporting, and adherence to ethical standards. By implementing INSPECT-SR, researchers and practitioners can better assess the validity of health intervention reviews, ultimately contributing to more informed decision-making in clinical practice.
Introduction
The introduction of the research paper highlights the critical role of randomized controlled trials (RCTs) in evaluating health interventions, emphasizing that systematic reviews synthesize evidence from these trials to determine effectiveness and safety. However, it points out a significant concern: some RCTs included in systematic reviews may be unreliable not solely due to methodological flaws but also because they may contain fabricated data or may not have been conducted at all. This issue has been exemplified by the case of ivermectin for COVID-19, where systematic reviews initially suggested a mortality benefit, only to later reveal that some included RCTs had questionable data integrity.
The paper underscores that the problem of unreliable RCTs is pervasive across various medical fields, including studies on vitamin K, tranexamic acid, and psychological therapies. While RCTs are typically assessed for internal and external validity, the existing appraisal frameworks do not formally evaluate the authenticity of the studies, leading to the potential oversight of methodologically sound yet fraudulent trials. To address this gap, the INveStigating ProblEmatic Clinical Trials in Systematic Reviews (INSPECT-SR) project aims to develop a tool for identifying such problematic studies within systematic reviews. The introduction also mentions the ongoing development of an extension tool, INSPECT-IPD, which will focus on individual participant datasets, while the current protocol details the initial development of the INSPECT-SR tool, including its application to a sample of systematic reviews from the Cochrane library.
Methods
The development of the INSPECT-SR tool will follow a structured methodology comprising five distinct stages, integrating expert consensus with empirical evidence. The first stage involves conducting a survey of experts to compile a comprehensive list of checks aimed at identifying problematic randomized controlled trials (RCTs). In the second stage, the feasibility and impact of these checks will be evaluated within the context of systematic reviews. The third stage employs a Delphi survey to ascertain which checks receive support from expert consensus. This will lead to a consensus meeting in the fourth stage, where selected checks will be finalized for inclusion in a draft tool, alongside decisions regarding its format. Finally, the fifth stage will involve prospective testing of the draft tool during the creation of new health systematic reviews, allowing for iterative refinement based on user feedback.
The anticipated outcome of the INSPECT-SR tool is to enhance researchers’ ability to identify problematic studies, thereby safeguarding patients from the adverse effects of misleading data on their healthcare decisions.
Discussion
The discussion section of the INSPECT-SR project highlights the critical need for assessing the trustworthiness of randomized controlled trials (RCTs) included in systematic reviews, as current methodologies often overlook the potential for false data. This oversight can lead to systematic reviews inadvertently propagating unreliable evidence, which may influence healthcare policy and practice. The INSPECT-SR initiative aims to develop a tool that evaluates the integrity of studies through a comprehensive consensus process involving diverse stakeholders, including researchers, methodologists, and patient partners. This inclusive approach is designed to ensure broad acceptance and effective dissemination of the tool.
The project acknowledges the contentious nature of trustworthiness in research and emphasizes that the INSPECT-SR tool will not serve as a definitive diagnostic for fraudulent data but rather as a guide for users to conduct systematic checks. By employing a structured series of evaluations, the tool aims to enhance the reliability of systematic reviews and ultimately improve healthcare outcomes. The draft version of the tool is expected to be available in early 2024, with the finalized version anticipated by late 2024, accompanied by training materials to facilitate its implementation in systematic reviews.