DOI: https://doi.org/10.1186/s12916-025-04199-4
PMID: https://pubmed.ncbi.nlm.nih.gov/40598156
تاريخ النشر: 2025-07-01
المؤلف: Jiayue Xu وآخرون
الموضوع الرئيسي: تحليل البيانات الشامل والمراجعات المنهجية
نظرة عامة
تناقش هذه الفقرة من ورقة البحث أهمية تحليل الحساسية في تقييم متانة النتائج في الدراسات الرصدية، وخاصة تلك التي تستخدم بيانات الرعاية الصحية المجمعة بشكل روتيني (RCD). على الرغم من المخاوف السابقة بشأن إساءة استخدام تحليلات الحساسية، لا يزال هناك نقص في الفهم حول تنفيذها والفجوات بين التحليلات الحساسية والتحليلات الأساسية. أجرى المؤلفون مراجعة منهجية للدراسات الرصدية المنشورة بين يناير 2018 وديسمبر 2020، واستخراج البيانات حول تحليلات الحساسية من 256 دراسة.
كشفت النتائج أن 59.4% من الدراسات أجرت تحليلات حساسية، بوسيط ثلاث تحليلات لكل دراسة. ومن الجدير بالذكر أن 54.2% من الدراسات التي أبلغت عن النتائج أشارت إلى اختلافات كبيرة بين التحليلات الأساسية وتحليلات الحساسية، مع متوسط فرق في حجم التأثير قدره 24% (95% CI 12% إلى 35%). كانت التباينات تُعزى بشكل أساسي إلى اختلافات في تعريفات الدراسات، والتصاميم، والنماذج الإحصائية. ومن المقلق أن نسبة صغيرة فقط من الدراسات اعترفت بتداعيات هذه التباينات، مما يبرز فجوة حاسمة في تقييم التحيزات المحتملة. يستنتج المؤلفون أن هناك تباينًا كبيرًا في إجراء تحليلات الحساسية ويؤكدون على الحاجة إلى تحسينات منهجية في تنفيذها وتفسيرها، خاصة عندما تتباين النتائج عن النتائج الأساسية.
مقدمة
تسلط مقدمة ورقة البحث الضوء على الاعتماد المتزايد على الدراسات الرصدية التي تستخدم بيانات الرعاية الصحية المجمعة بشكل روتيني (RCD) لتقييم آثار علاج الأدوية، وخاصة في السياقات التنظيمية. ومع ذلك، تواجه هذه الدراسات تحديات مثل التصنيف الخاطئ المتغير، والتشويش غير المقاس، وتغييرات العلاج، مما يمكن أن يؤدي إلى تقديرات تأثير متحيزة. أدت المخاوف بشأن صحة النتائج من دراسات RCD إلى التوصية بإجراء تحليلات حساسية لتقييم متانة نتائج البحث. تعتبر هذه التحليلات ضرورية لكل من التجارب السريرية العشوائية (RCTs) والدراسات الرصدية، مع التركيز على تعريفات الدراسات البديلة، والتصاميم، والأساليب التحليلية.
على الرغم من الأهمية المعترف بها لتحليلات الحساسية، توجد فجوات كبيرة في فهم تطبيقها ضمن الدراسات الرصدية التي تستخدم RCD. تشير الأبحاث السابقة إلى أن نسبة كبيرة من الدراسات (18.2%-45.5%) تبلغ عن تقديرات تأثير متباينة عند استخدام تعريفات أو خوارزميات بديلة. علاوة على ذلك، حددت المراجعات المنهجية ممارسات غير كافية في إجراء وتقرير تحليلات الحساسية، خاصة فيما يتعلق بالبيانات المفقودة والتشويش غير المقاس. تهدف هذه الورقة إلى إجراء مراجعة منهجية منهجية للتحقيق في كيفية تطبيق تحليلات الحساسية في الدراسات الرصدية التي تستخدم RCD، مع فحص تكرار التباين بين التحليلات الحساسية والأساسية، وتفسير هذه النتائج. يمكن أن تعزز الرؤى المستفادة من هذه المراجعة تنفيذ وشفافية تحليلات الحساسية، مما يحسن في النهاية موثوقية النتائج في البحث الرصدي.
الطرق
في هذه الدراسة، التي هي جزء من مبادرة بحثية أكبر تركز على الدراسات الرصدية التي تستخدم بيانات العالم الحقيقي (RCD)، قام المؤلفون بتقييم منهجي لتنفيذ تحليلات الحساسية. تم إجراء هذا التقييم وفقًا للإرشادات التي وضعتها العناصر المفضلة للإبلاغ عن المراجعات المنهجية والتحليلات التلوية (PRISMA) 2020. لقد سلطت الأدبيات السابقة الضوء على تحديات مختلفة تتعلق بالتقارير والمنهجية المرتبطة بالدراسات الرصدية التي تستخدم RCD، مما يبرز أهمية هذا التقييم المنهجي لتعزيز صرامة وشفافية مثل هذه المنهجيات البحثية.
النتائج
تشير نتائج هذه الدراسة إلى أنه من بين 256 دراسة مؤهلة، أجرت 152 (59.4%) تحليلات حساسية، مع نسبة كبيرة (90.8%) نشرت في مجلات Q1. كانت النتائج الأساسية التي تم تقييمها هي فعالية الأدوية في 75 دراسة (49.3%) وسلامة في 77 دراسة (50.7%). كشفت التحليلات متعددة المتغيرات أن الدراسات المنشورة في مجلات Q1 وتلك التي لديها بروتوكولات محددة مسبقًا كانت أكثر احتمالًا لإجراء تحليلات حساسية، مع نسب الأرجحية المعدلة (OR) قدرها 4.56 (95% CI 2.25-9.22) و3.20 (95% CI 1.48-6.94)، على التوالي. كان الوسيط لعدد تحليلات الحساسية لكل دراسة هو ثلاث، مع 65.1% تطبق تعريفات دراسات بديلة و55.9% تستخدم أساليب نمذجة بديلة. ومن الجدير بالذكر أن 86.2% من الدراسات أبلغت عن نتيجة واحدة على الأقل لتحليل الحساسية، ومع ذلك، أظهرت 36.6% تباينات في الدلالة الإحصائية بين التحليلات الأساسية وتحليلات الحساسية.
كشفت التحليلات أيضًا أن 54.2% من الدراسات أظهرت اختلافات كبيرة بين النتائج الأساسية ونتائج الحساسية، مع 71 دراسة تظهر تباينات. تشمل العوامل التي تؤثر على هذه التباينات عدد تحليلات الحساسية التي تم إجراؤها، وحجم التأثير، ونوع التحكم، وتأثير المجلة. تشير النتائج إلى أن تحليلات الحساسية غير مستغلة بشكل كافٍ، حيث أهملت أكثر من 40% من الدراسات إجراءها. علاوة على ذلك، اعتمدت الغالبية العظمى من الدراسات على التحليلات الأساسية لاستنتاجاتها دون معالجة كافية لتداعيات التباينات. تؤكد الدراسة على الحاجة إلى تحسين الإرشادات حول إجراء تحليلات الحساسية في الدراسات الرصدية وتوصي بأن يحدد الباحثون بوضوح التحيزات والشكوك المحتملة في تحليلاتهم.
المناقشة
في هذا القسم، يناقش المؤلفون أهمية تحليلات الحساسية في الدراسات الرصدية، وخاصة تلك التي تستخدم بيانات العالم الحقيقي (RCD) لتقييم علاجات الأدوية. يبرزون التحديات التي تطرحها التحيزات المتأصلة في البحث الرصدي، مثل التشويش غير المقاس والمقارنات المتعددة، ويؤكدون أنه بينما تعتبر تحليلات الحساسية ضرورية لتقييم متانة النتائج، هناك نقص في الإرشادات المعمول بها لتنفيذها في هذا السياق. يقترح المؤلفون أربع توصيات رئيسية لإجراء تحليلات الحساسية: (1) النظر في التحيزات والتشويش غير المقاس المحتمل؛ (2) اختيار وتقرير طرق تحليل الحساسية بوضوح؛ (3) تقديم تقديرات التأثير وفواصل الثقة بشكل منهجي؛ و(4) مناقشة التباينات بين التحليلات الأساسية وتحليلات الحساسية، مع تقديم تفسيرات لأي تباينات.
تشير النتائج إلى تباين كبير في عدد وأنواع تحليلات الحساسية التي تم إجراؤها عبر الدراسات، مع تباينات ملحوظة بين نتائج التحليلات الأساسية وتحليلات الحساسية، خاصة عند استخدام تعريفات دراسات بديلة. على الرغم من انتشار هذه التباينات، يلاحظ المؤلفون أن عددًا قليلاً من الدراسات عالجت بشكل كافٍ تداعيات مثل هذه التباينات. يدعون إلى تحسينات منهجية في تنفيذ وتفسير تحليلات الحساسية لتعزيز صحة الاستنتاجات المستخلصة من الدراسات الرصدية، خاصة عندما تتعارض النتائج مع التحليلات الأساسية.
القيود
تقدم الدراسة تقييمًا شاملاً لتحليلات الحساسية في الدراسات الرصدية التي تستخدم بيانات سريرية من العالم الحقيقي (RCD). تسلط الضوء على كل من نقاط القوة والقيود، مشيرة إلى أنها أول تحقيق منهجي من هذا النوع. تعزز المنهجية الصارمة المستخدمة في تحديد الدراسات، واستخراج البيانات، والتحليل، جنبًا إلى جنب مع حجم العينة الكبير، موثوقية النتائج المتعلقة بمنهجية وخصائص تقارير تحليلات الحساسية.
ومع ذلك، فإن الدراسة مقيدة بعدة قيود. أولاً، تعتمد على البيانات المبلغ عنها، مما قد يؤدي إلى تقدير منخفض للتباينات بين التحليلات الأساسية وتحليلات الحساسية بسبب التقارير الانتقائية. بالإضافة إلى ذلك، قد لا تعالج فرضية وجود ارتباط معتدل (0.5) بين التحليلات الأساسية وتحليلات الحساسية بشكل كامل انتهاكات الاستقلالية في حسابات النسبة، على الرغم من أن التحليلات البديلة مع قوى ارتباط مختلفة أسفرت عن نتائج متسقة. يثير النطاق الزمني للدراسة، المحدود بالمنشورات من 2018 إلى 2020، مخاوف بشأن قابلية تعميم النتائج؛ ومع ذلك، أشارت التحقيقات اللاحقة للدراسات المنشورة من 2021 إلى 2024 إلى عدم وجود تغييرات كبيرة في ممارسات تحليل الحساسية. بشكل عام، بينما توفر الدراسة رؤى قيمة، يجب تفسير نتائجها بحذر بسبب هذه القيود.
DOI: https://doi.org/10.1186/s12916-025-04199-4
PMID: https://pubmed.ncbi.nlm.nih.gov/40598156
Publication Date: 2025-07-01
Author(s): Jiayue Xu et al.
Primary Topic: Meta-analysis and systematic reviews
Overview
This research paper section discusses the importance of sensitivity analysis in evaluating the robustness of findings in observational studies, particularly those utilizing routinely collected healthcare data (RCD). Despite previous concerns regarding the misuse of sensitivity analyses, there remains a lack of understanding about their implementation and the discrepancies between sensitivity and primary analyses. The authors conducted a systematic review of observational studies published between January 2018 and December 2020, extracting data on sensitivity analyses from 256 studies.
The results revealed that 59.4% of the studies performed sensitivity analyses, with a median of three analyses per study. Notably, 54.2% of the studies that reported results indicated significant differences between primary and sensitivity analyses, with an average effect size difference of 24% (95% CI 12% to 35%). The inconsistencies were primarily attributed to variations in study definitions, designs, and statistical models. Alarmingly, only a small fraction of studies acknowledged the implications of these discrepancies, highlighting a critical gap in the assessment of potential biases. The authors conclude that there is considerable heterogeneity in the conduct of sensitivity analyses and emphasize the need for systematic improvements in their execution and interpretation, particularly when results diverge from primary findings.
Introduction
The introduction of the research paper highlights the growing reliance on observational studies utilizing routinely collected healthcare data (RCD) to assess drug treatment effects, particularly in regulatory contexts. However, these studies face challenges such as variable misclassification, unmeasured confounding, and treatment changes, which can lead to biased effect estimates. Concerns regarding the validity of findings from RCD studies have prompted the recommendation of sensitivity analyses to evaluate the robustness of research outcomes. These analyses are essential for both randomized controlled trials (RCTs) and observational studies, focusing on alternative study definitions, designs, and analytical methods.
Despite the recognized importance of sensitivity analyses, significant gaps exist in understanding their application within observational studies using RCD. Previous research indicates that a substantial proportion of studies (18.2%-45.5%) report divergent effect estimates when employing alternative definitions or algorithms. Furthermore, systematic reviews have identified inadequate practices in conducting and reporting sensitivity analyses, particularly regarding missing data and unmeasured confounding. This paper aims to conduct a methodological systematic review to investigate how sensitivity analyses are applied in observational studies using RCD, examining the frequency of divergence between sensitivity and primary analyses, and the interpretation of these results. Insights gained from this review could enhance the implementation and transparency of sensitivity analyses, ultimately improving the reliability of findings in observational research.
Methods
In this study, part of a larger research initiative focused on observational studies utilizing Real-World Data (RCD), the authors systematically evaluated the implementation of sensitivity analyses. This evaluation was conducted in accordance with the guidelines set forth by the Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) 2020. Previous literature has highlighted various reporting and methodological challenges associated with observational studies using RCD, underscoring the importance of this systematic assessment to enhance the rigor and transparency of such research methodologies.
Results
The results of this study indicate that out of 256 eligible studies, 152 (59.4%) performed sensitivity analyses, with a significant proportion (90.8%) published in Q1 journals. The primary outcomes assessed were drug effectiveness in 75 studies (49.3%) and safety in 77 studies (50.7%). Multivariate analyses revealed that studies published in Q1 journals and those with pre-specified protocols were more likely to conduct sensitivity analyses, with adjusted odds ratios (OR) of 4.56 (95% CI 2.25-9.22) and 3.20 (95% CI 1.48-6.94), respectively. The median number of sensitivity analyses per study was three, with 65.1% applying alternative study definitions and 55.9% using alternative modeling approaches. Notably, 86.2% of studies reported at least one sensitivity analysis result, yet 36.6% exhibited discrepancies in statistical significance between primary and sensitivity analyses.
The analysis further revealed that 54.2% of studies showed significant differences between primary and sensitivity results, with 71 studies demonstrating inconsistencies. Factors influencing these discrepancies included the number of sensitivity analyses conducted, effect size, control type, and journal impact. The findings suggest that sensitivity analyses are underutilized, with over 40% of studies neglecting to conduct them. Furthermore, the majority of studies relied on primary analyses for conclusions without adequately addressing the implications of inconsistencies. The study emphasizes the need for improved guidance on conducting sensitivity analyses in observational studies and recommends that researchers explicitly identify potential biases and uncertainties in their analyses.
Discussion
In this section, the authors discuss the importance of sensitivity analyses in observational studies, particularly those utilizing real-world data (RCD) to evaluate drug treatments. They highlight the challenges posed by biases inherent in observational research, such as unmeasured confounding and multiple comparisons, and emphasize that while sensitivity analyses are crucial for assessing the robustness of findings, there is a lack of established guidelines for their implementation in this context. The authors propose four key recommendations for conducting sensitivity analyses: (1) consider potential unmeasured confounders and biases; (2) select and report sensitivity analysis methods clearly; (3) present effect estimates and confidence intervals systematically; and (4) discuss discrepancies between primary and sensitivity analyses, providing explanations for any divergences.
The findings indicate significant heterogeneity in the number and types of sensitivity analyses performed across studies, with notable discrepancies between primary and sensitivity analysis results, particularly when alternative study definitions were employed. Despite the prevalence of these divergences, the authors note that few studies adequately addressed the implications of such inconsistencies. They call for systematic improvements in the execution and interpretation of sensitivity analyses to enhance the validity of conclusions drawn from observational studies, especially when findings conflict with primary analyses.
Limitations
The study presents a comprehensive evaluation of sensitivity analyses in observational studies utilizing real-world clinical data (RCD). It highlights both strengths and limitations, noting that it is the first systematic investigation of this nature. The rigorous methodology employed for study identification, data extraction, and analysis, alongside a substantial sample size, enhances the reliability of the findings regarding the methodology and reporting characteristics of sensitivity analyses.
However, the study is constrained by several limitations. Primarily, it relies on reported data, which may lead to an underestimation of inconsistencies between primary and sensitivity analyses due to selective reporting. Additionally, the assumption of a moderate correlation (0.5) between primary and sensitivity analyses may not fully address the independence violations in ratio calculations, although alternative analyses with varying correlation strengths yielded consistent results. The temporal scope of the study, limited to publications from 2018 to 2020, raises concerns about the generalizability of the findings; nonetheless, subsequent investigations of studies published from 2021 to 2024 indicated no significant changes in sensitivity analysis practices. Overall, while the study provides valuable insights, its findings should be interpreted with caution due to these limitations.