DOI: https://doi.org/10.1017/rsm.2025.10048
PMID: https://pubmed.ncbi.nlm.nih.gov/41635947
تاريخ النشر: 2025-10-22
المؤلف: Zipporah Iheozor‐Ejiofor وآخرون
الموضوع الرئيسي: تحليل البيانات الشامل والمراجعات المنهجية
نظرة عامة
أداة ROBINS-I تُستخدم على نطاق واسع لتقييم خطر التحيز في الدراسات غير العشوائية للتدخلات (NRSIs) ضمن المراجعات المنهجية. تبحث هذه الدراسة في التزام مؤلفي المراجعات المنهجية بإرشادات ROBINS-I، مما يبرز دورها الحاسم في إبلاغ صانعي القرار حول قيود الأدلة. تم إجراء بحث استشهاد في يناير 2023 حدد 492 مراجعة منهجية نُشرت في الأشهر الستة السابقة والتي استخدمت ROBINS-I لتقييم خطر التحيز. كشفت النتائج أن مراجعة واحدة فقط امتثلت تمامًا لإرشادات ROBINS-I، حيث أفادت 12% فقط من المراجعات بالنتائج على مستوى النتائج، مما يثير مخاوف كبيرة بشأن صحة نتائج ROBINS-I المبلغ عنها وتأثيرها على اتخاذ القرار.
تؤكد الدراسة على ضرورة وجود إرشادات أو تبسيط لأداة ROBINS-I لتعزيز الامتثال بين مؤلفي المراجعات المنهجية. وتقترح أن التدريب الإضافي، مثل الندوات عبر الإنترنت، يمكن أن يحسن الالتزام، على الرغم من أن استعداد المؤلفين لمتابعة مثل هذا التدريب لا يزال غير مؤكد. بالإضافة إلى ذلك، تدعو الأبحاث إلى فحص ما إذا كانت المراجعات المنهجية التي تمتثل تمامًا لـ ROBINS-I تختلف في صحة استنتاجاتها عن تلك التي لا تمتثل، فضلاً عن فهم أفضل لدقة الأحكام المبلغ عنها بشأن خطر التحيز. بشكل عام، فإن التطبيق الحالي والإبلاغ عن ROBINS-I في المراجعات المنهجية لـ NRSIs يطرح تحديات للاستخدام الفعال للأدلة في اتخاذ القرار.
مقدمة
تؤكد مقدمة هذه الورقة البحثية على الدور الحاسم للمراجعات المنهجية في توجيه القرارات السريرية والصحية العامة، لا سيما من خلال طبيعتها الشاملة وغير المتحيزة. جانب أساسي من هذه المراجعات هو تقييم خطر التحيز في الدراسات المساهمة، وهو أمر حيوي بشكل خاص للدراسات غير العشوائية أو الدراسات الملاحظة التي تكون أكثر عرضة للتحيز مقارنة بالتجارب العشوائية. أداة “خطر التحيز في الدراسات غير العشوائية للتدخلات” (ROBINS-I)، التي أيدتها تعاون كوكراين، تعمل كإطار تقييم قائم على المجالات لتقييم مثل هذه الدراسات عبر سبعة مجالات تحيز، بما في ذلك التداخل واختيار المشاركين.
تسلط المقدمة الضوء على التأثير الكبير لأداة ROBINS-I على الطب القائم على الأدلة، مشيرة إلى اعتمادها الواسع وعدد الاقتباسات الكبير من ورقتها الأصلية. كما تناقش التغييرات الإجرائية التي نفذتها مجموعة عمل GRADE، التي تقيم الآن الدراسات غير العشوائية بناءً على مزاياها الفردية بدلاً من الافتراض بتصنيف “يقين منخفض”. ومع ذلك، على الرغم من توفر إرشادات شاملة، هناك اتجاه مقلق لسوء تطبيق أداة ROBINS-I في المراجعات المنهجية، مما قد يهدد موثوقية نتائجها. تهدف هذه المراجعة إلى تقييم الالتزام بإرشادات ROBINS-I في المراجعات المنهجية للدراسات غير العشوائية واستكشاف التحسينات المحتملة في تنفيذها.
طرق
يستعرض قسم “الطرق” التصميم التجريبي والتقنيات التحليلية المستخدمة في الدراسة. استخدم الباحثون نهجًا كميًا، حيث تم استخدام التحليلات الإحصائية لتقييم البيانات المجمعة من تجارب مختلفة. تضمنت المنهجيات المحددة تجارب مختبرية محكومة، حيث تم التلاعب بالمتغيرات بشكل منهجي لملاحظة تأثيراتها على النتائج المعنية.
شملت جمع البيانات استخدام أدوات موحدة لضمان الموثوقية والصلاحية، وتم تحليل النتائج باستخدام أدوات برمجية للتحليل الإحصائي، مثل نماذج الانحدار وANOVA. كما يتناول القسم تحديد حجم العينة، لضمان قوة كافية لاكتشاف التأثيرات الكبيرة، ويصف معايير اختيار المشاركين لتقليل التحيز. بشكل عام، كانت الطرق المستخدمة مصممة بدقة لدعم فرضيات الدراسة وتسهيل إمكانية إعادة الإنتاج.
نتائج
في هذا القسم، يقدم المؤلفون نتائج بحث استشهاد حدد 609 سجلات نُشرت في الأشهر الستة التي سبقت تاريخ البحث. بعد الفحص، استوفت 555 منشورًا معايير الأهلية، ولكن تم استبعاد 63، بشكل أساسي بسبب عدم الامتثال لأداة ROBINS-I (59%) أو لأنها كانت جزءًا من مراجعات منهجية غير مركزة على تأثيرات التدخل (41%). في النهاية، تم تضمين 492 ورقة لاستخراج البيانات، كما هو موضح في مخطط PRISMA (الشكل 1). كان التصميم الدراسي السائد الذي تم تقييمه باستخدام أداة ROBINS-I هو دراسات المجموعات (219 مراجعة)، تليها دراسات محكومة قبل وبعد (65)، ودراسات قبل وبعد (63)، ودراسات حالة-شاهد (49)، وتجارب محكومة شبه عشوائية (41). شملت المراجعات مجموعة متنوعة من الحالات والسكان، مع تركيزات ملحوظة على الأورام (12%)، وأمراض الجهاز الدوري (10%)، وتفاعلات خدمات الصحة (18%).
أظهر رسم خرائط تقييمات ROBINS-I إلى نتائج المراجعة المنهجية أنه من بين 476 مراجعة أبلغت عن نتائج ROBINS-I، ربطت 371 (78%) هذه النتائج بالدراسات الفردية. ومع ذلك، ربطت 57 مراجعة فقط (12%) نتائج ROBINS-I بنتائج محددة، وارتبطت 36 مراجعة فقط (8%) بالتقييمات التي تسهم في التحليلات التلوية. بالإضافة إلى ذلك، قدمت 203 مراجعات (43%) التي عرضت نتائج ROBINS-I حسب الدراسة تحليلات تلوية، بينما لم تبلغ 73 مراجعة (15%) عن أي تحليل تلوى. تسلط هذه النتائج الضوء على التطبيق المتنوع لأداة ROBINS-I عبر تصميمات دراسية مختلفة والتحديات في ربط التقييمات بنتائج محددة في المراجعات المنهجية.
مناقشة
هدفت الدراسة إلى تقييم تطبيق وإبلاغ أداة ROBINS-I في المراجعات المنهجية للدراسات غير العشوائية للتدخل (NRSIs). تم تضمين 492 مراجعة منهجية نُشرت في النصف الثاني من عام 2022، مع نتائج تشير إلى أن 85% امتثلت لمجالات ROBINS-I القياسية، بينما انحرفت 14% عن الأحكام. على الرغم من معدل الإبلاغ العالي لنتائج ROBINS-I (97%)، تم الإبلاغ عن جوانب حاسمة مثل تحديد تجربة مستهدفة وتحديد عوامل التداخل في 1% إلى 20% فقط من المراجعات. من الجدير بالذكر أن 8% فقط من المراجعات ربطت تقييمات ROBINS-I بنتائج دراسات محددة، مما يثير مخاوف بشأن فائدة هذه التقييمات في إبلاغ اتخاذ القرار.
تسلط الدراسة الضوء على تحسين عام في الالتزام بإرشادات ROBINS-I مقارنة بالأبحاث السابقة، ومع ذلك لا تزال هناك فجوات كبيرة، خاصة في الشفافية والتبرير لتقييمات خطر التحيز. يقترح المؤلفون أن تعقيد ROBINS-I قد يعيق الامتثال ويوصون بإرشادات أوضح وتدريب لمؤلفي المراجعات المنهجية. تؤكد النتائج على ضرورة إجراء تقييمات صارمة لخطر التحيز في NRSIs، نظرًا لعرضها للتحيزات، وتدعو إلى مزيد من التحقيق في تأثيرات الامتثال لـ ROBINS-I على صحة استنتاجات المراجعة المنهجية.
DOI: https://doi.org/10.1017/rsm.2025.10048
PMID: https://pubmed.ncbi.nlm.nih.gov/41635947
Publication Date: 2025-10-22
Author(s): Zipporah Iheozor‐Ejiofor et al.
Primary Topic: Meta-analysis and systematic reviews
Overview
The ROBINS-I tool is widely utilized for assessing the risk of bias in non-randomized studies of interventions (NRSIs) within systematic reviews. This study investigates the adherence of systematic review authors to ROBINS-I guidance, highlighting its critical role in informing decision-makers about the evidence’s limitations. A citation search conducted in January 2023 identified 492 systematic reviews published in the preceding six months that employed ROBINS-I for risk-of-bias assessment. The findings revealed that only one review fully complied with ROBINS-I guidance, with a mere 12% of reviews reporting results at the outcome level, raising significant concerns regarding the validity of the reported ROBINS-I results and their implications for decision-making.
The study underscores the necessity for clearer guidance or simplification of the ROBINS-I tool to enhance compliance among systematic review authors. It suggests that further training, such as online webinars, could improve adherence, although the willingness of authors to pursue such training remains uncertain. Additionally, the research calls for an examination of whether systematic reviews that fully comply with ROBINS-I differ in the validity of their conclusions from those that do not, as well as a better understanding of the accuracy of reported risk-of-bias judgments. Overall, the current application and reporting of ROBINS-I in systematic reviews of NRSIs pose challenges for the effective use of evidence in decision-making.
Introduction
The introduction of this research paper emphasizes the critical role of systematic reviews in guiding clinical and public health decisions, particularly through their comprehensive and unbiased nature. A fundamental aspect of these reviews is the assessment of risk of bias in the contributing studies, which is especially vital for non-randomised or observational studies that are more susceptible to bias compared to randomised trials. The ‘risk of bias in non-randomised studies of interventions’ (ROBINS-I) tool, endorsed by the Cochrane Collaboration, serves as a domain-based assessment framework for evaluating such studies across seven bias domains, including confounding and selection of participants.
The introduction highlights the significant impact of the ROBINS-I tool on evidence-based medicine, noting its widespread adoption and the substantial citation count of its original paper. It also discusses the procedural changes implemented by the GRADE working group, which now evaluates non-randomised studies based on their individual merits rather than defaulting to a ‘Low certainty’ classification. However, despite the availability of extensive guidance, there is a concerning trend of misapplication of the ROBINS-I tool in systematic reviews, which may compromise the trustworthiness of their findings. This review aims to assess the adherence to ROBINS-I guidance in systematic reviews of non-randomised studies and explore potential improvements in its implementation.
Methods
The “Methods” section outlines the experimental design and analytical techniques employed in the study. The researchers utilized a quantitative approach, employing statistical analyses to evaluate the data collected from various experiments. Specific methodologies included controlled laboratory experiments, where variables were systematically manipulated to observe their effects on the outcomes of interest.
Data collection involved the use of standardized instruments to ensure reliability and validity, and the results were analyzed using software tools for statistical analysis, such as regression models and ANOVA. The section also details the sample size determination, ensuring adequate power to detect significant effects, and describes the criteria for participant selection to minimize bias. Overall, the methods employed were rigorously designed to support the study’s hypotheses and facilitate reproducibility.
Results
In this section, the authors present the results of a citation search that identified 609 records published in the six months prior to the search date. After screening, 555 publications met the eligibility criteria, but 63 were excluded, primarily due to non-compliance with the ROBINS-I tool (59%) or because they were part of systematic reviews not focused on intervention effects (41%). Ultimately, 492 papers were included for data extraction, as detailed in the PRISMA flowchart (Figure 1). The predominant study design assessed using the ROBINS-I tool was cohort studies (219 reviews), followed by controlled before-and-after studies (65), before-and-after studies (63), case-control studies (49), and quasi-randomized controlled trials (41). The reviews encompassed a variety of conditions and populations, with notable focuses on neoplasms (12%), circulatory system diseases (10%), and health service interactions (18%).
The mapping of ROBINS-I assessments to systematic review outcomes revealed that of the 476 reviews reporting ROBINS-I results, 371 (78%) linked these results to individual studies. However, only 57 reviews (12%) connected ROBINS-I results to specific outcomes, and just 36 reviews (8%) linked assessments to results contributing to meta-analyses. Additionally, 203 reviews (43%) that presented ROBINS-I results by study conducted meta-analyses, while 73 reviews (15%) did not report any meta-analysis. These findings highlight the varied application of the ROBINS-I tool across different study designs and the challenges in linking assessments to specific outcomes in systematic reviews.
Discussion
The study aimed to evaluate the application and reporting of the ROBINS-I tool in systematic reviews of non-randomised studies of intervention (NRSIs). A total of 492 systematic reviews published in the latter half of 2022 were included, with findings indicating that 85% adhered to the standard ROBINS-I domains, while 14% deviated from the judgements. Despite a high reporting rate of ROBINS-I results (97%), critical aspects such as the specification of a target trial and identification of confounding factors were reported in only 1% to 20% of reviews. Notably, only 8% of reviews linked ROBINS-I assessments to specific study outcomes, raising concerns about the utility of these assessments in informing decision-making.
The study highlights a general improvement in adherence to ROBINS-I guidance compared to previous research, yet significant gaps remain, particularly in the transparency and justification of risk-of-bias assessments. The authors suggest that the complexity of ROBINS-I may hinder compliance and recommend clearer guidance and training for systematic review authors. The findings underscore the necessity for rigorous risk-of-bias evaluations in NRSIs, given their susceptibility to biases, and call for further investigation into the implications of ROBINS-I compliance on the validity of systematic review conclusions.