DOI: https://doi.org/10.1136/bmj-2023-076851
PMID: https://pubmed.ncbi.nlm.nih.gov/38490665
تاريخ النشر: 2024-03-15
المؤلف: Maya B. Mathur
الموضوع الرئيسي: تحليل البيانات الشامل والمراجعات المنهجية
نظرة عامة
تقدم هذه المقالة طريقة لتقييم متانة التحليلات التلوية ضد انحياز النشر، مع التركيز بشكل خاص على الانحياز الذي يفضل الدراسات المؤكدة – تلك التي تنتج قيم P ذات دلالة إحصائية وتقديرات نقطية مواتية. النهج المقترح، الذي يُطلق عليه تحليل تلوى للدراسات غير المؤكدة، يتضمن فقط الدراسات التي تبلغ عن قيم P غير دالة إحصائياً أو تقديرات نقطية غير مواتية. من خلال تقدير النتيجة التحليلية التلوية في أسوأ سيناريو لانحياز النشر، حيث يتم نشر الدراسات المؤكدة بشكل غير متناسب، يوفر هذا الأسلوب تدبيراً تصحيحياً.
إذا كانت التقديرات الناتجة من التحليل التلوى للدراسات غير المؤكدة تتماشى اتجاهياً مع التقدير غير المصحح وتحافظ على حجم ذي دلالة سريرية، فإن ذلك يشير إلى أن الاستنتاجات المستخلصة من التحليل التلوى الأصلي مقاومة لانحياز النشر المحتمل. لا يكمل هذا النهج التحليلات التلوية التقليدية فحسب، بل يعالج أيضاً التحديات المرتبطة بأحجام العينات الصغيرة، والتوزيعات غير الطبيعية، والتأثيرات غير المتجانسة، وأشكال مختلفة من الإبلاغ الانتقائي، بما في ذلك P-hacking.
النتائج
تناقش هذه الفقرة نهجاً تحليلياً تلوياً يُطلق عليه تحليل تلوى للنتائج غير المؤكدة (MAN)، الذي يركز بشكل حصري على الدراسات غير المؤكدة – تلك التي تنتج قيم P غير دالة إحصائياً أو تقديرات تتعارض مع الاتجاه المرغوب. لا يستخدم هذا الأسلوب تقنيات إحصائية متخصصة؛ بل يقوم بإجراء تحليل تلوى قياسي على الدراسات غير المؤكدة المختارة. يعمل MAN كتحليل حساسية لتقييم كيف يمكن أن تختلف النتائج تحت ظروف انحياز النشر، مع التركيز بشكل خاص على السيناريوهات التي يتم فيها نشر الدراسات المؤكدة (تلك التي تحتوي على قيم P دالة إحصائياً) بشكل غير متناسب مقارنة بالدراسات غير المؤكدة.
تفترض المنهجية سيناريو أسوأ افتراضي لانحياز النشر، حيث يتم تفضيل الدراسات المؤكدة بشكل كبير في عملية النشر. على سبيل المثال، إذا كانت الدراسات المؤكدة أكثر احتمالاً للنشر بثلاث مرات، فإن التحليل سيتطلب وزن الدراسات غير المؤكدة بثلاث مرات بشكل أكبر لمواجهة هذا الانحياز. في الحالات القصوى، إذا كانت الدراسات المؤكدة أكثر احتمالاً للنشر بلا حدود، فإن التحليل سيركز فعلياً فقط على الدراسات غير المؤكدة. يسمح هذا النهج للباحثين بتقدير تأثير انحياز النشر بشكل محافظ دون الحاجة إلى معرفة دقيقة بمدى هذا الانحياز، مما يوفر فهماً أكثر متانة للبيانات الأساسية.
المناقشة
تؤكد فقرة المناقشة في الورقة على الدور الحاسم للأدلة التحليلية التلوية في تشكيل الإرشادات والسياسات السريرية، مع تسليط الضوء على التأثير الضار لانحياز النشر على صحة نتائج التحليل التلوى. يقدم المؤلفون نهجاً جديداً، وهو التحليل التلوى للدراسات غير المؤكدة (MAN)، كتحليل حساسية محافظ لتقييم متانة التحليلات التلوية ضد انحياز النشر وP-hacking. يتضمن هذا الأسلوب إجراء تحليل تلوى قياسي حصرياً على الدراسات التي تنتج نتائج غير دالة إحصائياً أو تقديرات في الاتجاه غير المرغوب، مما يوفر رؤى حول التأثيرات المحتملة لانحياز النشر في أسوأ حالاته.
يدعو المؤلفون إلى التطبيق الروتيني لـ MAN جنباً إلى جنب مع الأساليب التقليدية لتقييم انحياز النشر، مثل مخططات القمع ونماذج الاختيار، التي قد لا تعالج بشكل كافٍ تعقيدات الإبلاغ الانتقائي وتباين التأثيرات. يوضحون التطبيق العملي لـ MAN من خلال إعادة تحليل ثلاث تحليلات تلوية منشورة، مما يظهر فعاليته في كشف متانة النتائج تحت ظروف مختلفة. على الرغم من مزاياه، يعترف المؤلفون بوجود قيود على MAN، بما في ذلك افتراضاته بشأن توزيع النتائج غير المؤكدة وقابليته للتطبيق فقط على التحليلات التلوية التي تحتوي على دراسات غير مؤكدة. بشكل عام، يوصي المؤلفون بدمج MAN في الممارسات التحليلية التلوية القياسية لتعزيز تقييم المتانة في ظل وجود انحياز النشر وP-hacking.
DOI: https://doi.org/10.1136/bmj-2023-076851
PMID: https://pubmed.ncbi.nlm.nih.gov/38490665
Publication Date: 2024-03-15
Author(s): Maya B. Mathur
Primary Topic: Meta-analysis and systematic reviews
Overview
This article presents a method for evaluating the robustness of meta-analyses against publication bias, specifically focusing on the bias favoring affirmative studies—those yielding significant P values and favorable point estimates. The proposed approach, termed a meta-analysis of non-affirmative studies, exclusively incorporates studies that report non-significant P values or unfavorable point estimates. By estimating the meta-analytical outcome under the worst-case scenario of publication bias, where affirmative studies are disproportionately published, the method provides a corrective measure.
If the resulting estimate from the meta-analysis of non-affirmative studies aligns directionally with the uncorrected estimate and maintains a clinically meaningful magnitude, it indicates that the conclusions drawn from the original meta-analysis are resilient to potential publication bias. This approach not only complements traditional meta-analyses but also addresses challenges associated with small sample sizes, non-normal distributions, heterogeneous effects, and various forms of selective reporting, including P-hacking.
Results
The section discusses a meta-analytical approach termed Meta-analysis of Non-Affirmative Results (MAN), which focuses exclusively on non-affirmative studies—those yielding non-significant P-values or estimates contrary to the desired direction. This method does not employ specialized statistical techniques; rather, it conducts a standard meta-analysis on the selected non-affirmative studies. MAN serves as a sensitivity analysis to evaluate how results might vary under conditions of publication bias, specifically addressing scenarios where affirmative studies (those with significant P-values) are disproportionately published compared to non-affirmative studies.
The methodology assumes a hypothetical worst-case scenario of publication bias, where affirmative studies are significantly favored in the publication process. For instance, if affirmative studies are three times more likely to be published, the analysis would require weighting non-affirmative studies three times more heavily to counteract this bias. In extreme cases, if affirmative studies were infinitely more likely to be published, the analysis would effectively focus solely on non-affirmative studies. This approach allows researchers to conservatively estimate the impact of publication bias without needing precise knowledge of its extent, thereby providing a more robust understanding of the underlying data.
Discussion
The discussion section of the paper emphasizes the critical role of meta-analytical evidence in shaping clinical guidelines and policies, while highlighting the detrimental impact of publication bias on the validity of meta-analysis results. The authors introduce a novel approach, the meta-analysis of non-affirmative studies (MAN), as a conservative sensitivity analysis to evaluate the robustness of meta-analyses against publication bias and P-hacking. This method involves conducting a standard meta-analysis exclusively on studies that yield non-significant results or estimates in the undesired direction, thereby providing insights into the potential effects of worst-case publication bias.
The authors advocate for the routine application of MAN alongside traditional methods for assessing publication bias, such as funnel plots and selection models, which may not adequately address the complexities of selective reporting and effect heterogeneity. They illustrate the practical application of MAN through reanalyses of three published meta-analyses, demonstrating its effectiveness in revealing the robustness of findings under various conditions. Despite its advantages, the authors acknowledge limitations of MAN, including its assumptions regarding the distribution of non-affirmative results and its applicability only to meta-analyses containing non-affirmative studies. Overall, the authors recommend integrating MAN into standard meta-analytic practices to enhance the assessment of robustness in the presence of publication bias and P-hacking.