DOI: https://doi.org/10.1016/j.jclinepi.2025.111725
PMID: https://pubmed.ncbi.nlm.nih.gov/39955079
تاريخ النشر: 2025-02-13
المؤلف: Bernardo Sousa‐Pinto وآخرون
الموضوع الرئيسي: تحليل البيانات الشامل والمراجعات المنهجية
نظرة عامة
في هذا القسم، يتناول المؤلفون قيود مقاييس التناقض التقليدية، مثل إحصائيات I² و Q، خاصة في السيناريوهات التي تتضمن دراسات قليلة بأحجام عينات صغيرة أو دراسات متعددة بتقديرات دقيقة. يقترحون مقياسين كميين جديدين – تناقض القرار (DI) وتناقض عبر الدراسات (ASI) – يقيسان التناقض في سياق عتبات القرار (DTs)، التي تُستخدم بشكل متزايد في أطر مثل GRADE Evidence to Decision.
يقيم DI التناقض العام في أحجام التأثير عبر فئات التفسير المحددة بواسطة DTs، بينما يقارن ASI التناقض بين الدراسات المختلفة بالنسبة لهذه الفئات بناءً على التأثيرات المطلقة. يقترح المؤلفون أن DI بنسبة 50% أو أكثر وASI بنسبة 25% أو أكثر تشير إلى وجود تناقض غير مفسر كبير. لتسهيل تطبيق هذه المقاييس، يقدمون حزمة R (metainc) وأداة ويب لحساب DI و ASI، بما في ذلك تحليلات الحساسية لأخذ عدم اليقين في تقييمات التناقض في الاعتبار. ويخلص المؤلفون إلى أن هذه المؤشرات تعزز التقييم الكمي للتناقض، خاصة مع تزايد أهمية DTs في تجميع الأدلة واتخاذ القرارات الصحية.
مقدمة
في مقدمة هذه الورقة البحثية، يناقش المؤلفون طرقًا مختلفة لتقييم التناقض في تجميع الأدلة وتقييمها، مع تسليط الضوء على قيود الأساليب التقليدية مثل الفحص البصري لمخططات الغابة، واختبار Q لكوخران، وإحصائية I². بينما يوفر اختبار Q لكوخران قيمة p لتقييم التباين، فإنه يعاني من ضعف القوة في التحليلات التلوية الصغيرة وقوة مبالغ فيها في التحليلات الأكبر. وبالمثل، يمكن أن تفرط إحصائية I² في تقدير التناقض، خاصة في الدراسات ذات التقديرات الدقيقة، وتتأثر بحجم العينة، مما قد يؤدي إلى نتائج متحيزة في التحليلات التلوية ذات العينات الصغيرة. كلا المقياسين يعتمد على طرق تكرارية، مما يحد من قابليتهما للتطبيق في السياقات البايزية.
كما يشير المؤلفون إلى نهج GRADE، الذي يتضمن معايير متعددة لتقييم التناقض، بما في ذلك قيمة I²، وقيمة p لاختبار Q لكوخران، والفحص البصري لتداخل فترات الثقة، والاختلافات في تقديرات النقاط. ويؤكدون على أهمية السياق في تفسير النتائج، خاصة من خلال استخدام عتبات القرار (DTs) التي تصنف أحجام التأثير. لمعالجة قيود الأساليب الحالية، يقترح المؤلفون مقياسين جديدين مصممين لتقييم التناقض في التحليلات التلوية، قابلين للتطبيق في كل من الأطر البايزية والتكرارية. تهدف هذه المقاييس إلى تعزيز تقييم التناقض من خلال دمج DTs على مستوى النتائج في عملية التقييم.
مناقشة
في هذا القسم، يقدم المؤلفون مؤشرين جديدين لتقييم التناقض في التحليلات التلوية: مؤشر تناقض القرار (DI) ومؤشر تناقض عبر الدراسات (ASI). تم تصميم هذه المؤشرات لتكمل الأساليب الموجودة لتقييم التناقض بدلاً من استبدالها. يقيس DI التناقض العام من منظور اتخاذ القرار من خلال مقارنة توزيع أحجام التأثير (ES) عبر فئات التفسير المحددة، بينما يقيس ASI التناقض بين الدراسات الأولية من خلال مقارنة التوزيعات العينية الملاحظة والمتوقعة عبر هذه الفئات. تتراوح كلا المؤشرين من 0 إلى 1، مع قيم أعلى تشير إلى تناقض أكبر.
كما يناقش المؤلفون مؤشر عدم التجانس، وهو مفهوم أساسي لنهجهم، والذي يقيس الفصل بين مجموعتين. يقدمون صيغًا لحساب DI و ASI، مع التأكيد على قابليتهما للتطبيق في كل من السياقات البايزية والتكرارية. توضح الأمثلة العملية استخدام هذه المؤشرات في تحليلات الحساسية، مما يبرز إمكاناتها في إبلاغ الأحكام حول التناقض في إطار GRADE. ومع ذلك، يعترف المؤلفون بالقيود، بما في ذلك غياب نقاط قطع مقبولة عالميًا لتفسير المؤشرات والحاجة إلى توافق أوسع حول تقييم التناقض في المراجعات المنهجية.
DOI: https://doi.org/10.1016/j.jclinepi.2025.111725
PMID: https://pubmed.ncbi.nlm.nih.gov/39955079
Publication Date: 2025-02-13
Author(s): Bernardo Sousa‐Pinto et al.
Primary Topic: Meta-analysis and systematic reviews
Overview
In this section, the authors address the limitations of traditional inconsistency measures, such as the I² and Q statistics, particularly in scenarios involving few studies with small sample sizes or multiple studies with precise estimates. They propose two new quantitative measures—Decision Inconsistency (DI) and Across-Studies Inconsistency (ASI)—that assess inconsistency in the context of decision thresholds (DTs), which are increasingly utilized in frameworks like GRADE Evidence to Decision.
The DI evaluates the overall inconsistency of effect sizes across interpretation categories defined by DTs, while the ASI compares the inconsistency among different studies relative to these categories based on absolute effects. The authors suggest that a DI of 50% or greater and an ASI of 25% or greater indicate significant unexplained inconsistency. To facilitate the application of these measures, they provide an R package (metainc) and a web tool for computing DI and ASI, including sensitivity analyses to account for uncertainty in inconsistency assessments. The authors conclude that these indices enhance the quantitative evaluation of inconsistency, particularly as DTs become more prominent in evidence synthesis and health decision-making.
Introduction
In the introduction of this research paper, the authors discuss various methods for assessing inconsistency in evidence synthesis and appraisal, highlighting the limitations of traditional approaches such as visual inspection of forest plots, Cochran’s Q test, and the I² statistic. While the Cochran’s Q test provides a p-value for evaluating heterogeneity, it suffers from low power in small meta-analyses and inflated power in larger ones. Similarly, the I² statistic can overestimate inconsistency, particularly in studies with precise estimates, and is influenced by sample size, which may lead to biased results in small-sample meta-analyses. Both measures are based on frequentist methods, limiting their applicability in Bayesian contexts.
The authors also reference the GRADE approach, which incorporates multiple criteria for assessing inconsistency, including the I² value, Cochran’s Q test p-value, visual inspection of confidence interval overlaps, and differences in point estimates. They emphasize the importance of context in interpreting outcomes, particularly through the use of decision thresholds (DTs) that categorize effect sizes. To address the limitations of existing methods, the authors propose two new measures designed to assess inconsistency in meta-analyses, applicable in both Bayesian and frequentist frameworks. These measures aim to enhance the evaluation of inconsistency by incorporating outcome-level DTs into the assessment process.
Discussion
In this section, the authors introduce two novel indices for assessing inconsistency in meta-analyses: the Decision Inconsistency Index (DI) and the Across-Studies Inconsistency Index (ASI). These indices are designed to complement existing methods for evaluating inconsistency rather than replace them. The DI quantifies overall inconsistency from a decision-making perspective by comparing the distribution of effect sizes (ES) across defined interpretation categories, while the ASI measures inconsistency among primary studies by comparing observed and expected sample distributions across these categories. Both indices range from 0 to 1, with higher values indicating greater inconsistency.
The authors also discuss the Dissimilarity Index, a foundational concept for their approach, which measures segregation between two groups. They provide formulas for calculating the DI and ASI, emphasizing their applicability in both Bayesian and frequentist contexts. Practical examples illustrate the use of these indices in sensitivity analyses, highlighting their potential to inform judgments about inconsistency in the GRADE framework. However, the authors acknowledge limitations, including the absence of universally accepted cut-off points for interpreting the indices and the need for broader consensus on assessing inconsistency in systematic reviews.