DOI: https://doi.org/10.1017/rsm.2026.10092
PMID: https://pubmed.ncbi.nlm.nih.gov/42131992
تاريخ النشر: 2026-05-14
المؤلف: Belén Fernández-Castilla وآخرون
الموضوع الرئيسي: تحليل البيانات الشامل والمراجعات المنهجية
نظرة عامة
تناقش هذه القسم تقييم طرق الميتا-تحليل المختلفة المستخدمة لتحليل المحاور الفئوية في التحليلات الميتا، خاصة عندما تكون هناك أحجام تأثير متعددة داخل الدراسات. أجرت الدراسة محاكاة لمقارنة أداء عدة أساليب، بما في ذلك النماذج متعددة المتغيرات، والنماذج ذات الثلاث مستويات، ونماذج التأثيرات المرتبطة مع تقدير التباين القوي (RVE)، من بين أمور أخرى. قامت المحاكاة بتغيير عوامل مثل عدد الدراسات، والنتائج لكل دراسة، وتوزيع أحجام التأثير عبر فئات المحاور.
تشير النتائج الرئيسية إلى أن جميع الطرق أظهرت قوة منخفضة لاكتشاف التأثيرات عندما كانت المحاور تتعلق بخصائص مستوى الدراسة، خاصة تحت توزيعات أحجام التأثير غير المتوازنة بشكل كبير. بينما كانت الطرق المعتمدة على RVE فعالة في التحكم في معدلات الخطأ من النوع الأول، إلا أنها كانت غالبًا متحفظة بشكل مفرط. على العكس، أظهرت النماذج ذات الثلاث مستويات قوة أعلى ولكنها أدت إلى زيادة معدلات الخطأ من النوع الأول. تم تحديد النهج الأمثل لتحقيق توازن بين التحكم في خطأ النوع الأول والقوة على أنه مزيج من النماذج ذات الثلاث مستويات مع RVE. بشكل عام، تؤكد الدراسة على أهمية اختيار الطريقة في تحليلات المحاور ضمن التحليلات الميتا، خاصة في سياق توزيعات أحجام التأثير المتنوعة.
طرق
في هذا القسم، يحدد المؤلفون نماذج الميتا-تحليل التي سيتم تقييمها في دراستهم التجريبية، مع التركيز بشكل خاص على النماذج ذات الثلاث مستويات، ونموذج التأثيرات المرتبطة مع استنتاج تقدير التباين القوي (RVE)، ومزيج من هذه الأساليب. بالإضافة إلى ذلك، سيقومون بتقييم نماذج التأثيرات المرتبطة التي تتضمن RVE وطرق الاستدلال المعتمدة على البوتستراب المستمر الموزون (CWB). لتوضيح هذه المفاهيم، يشير المؤلفون إلى تحليل ميتا بواسطة يان وآخرين الذي درس تأثير تقييم الأقران مقابل تقييم المعلم على النتائج الأكاديمية، مع تسليط الضوء على متغير محور ثنائي يشير إلى ما إذا كان الطلاب قد تلقوا تعليقات من تقييمات الأقران (مشفر كـ 0 لـ “لا” و1 لـ “نعم”). هذه المثال التطبيقي يساعد في توضيح المصطلحات والأساليب المناقشة في سياق نماذج الميتا-تحليل.
نتائج
في تحليل نتائج المحاكاة، استخدمنا تحليلات التباين (ANOVAs) لتحديد تأثير عوامل المحاكاة المختلفة على مقاييس رئيسية مثل التحيز، ومتوسط الخطأ التربيعي (MSE)، وخطأ النوع الأول، والقوة الإحصائية. تم اعتبار العوامل التي لها قيمة إيتا تربيع ($\eta^2$) أكبر من 0.14 مؤثرة. من الجدير بالذكر أن نماذج التأثيرات المرتبطة التي تستخدم تقدير التباين القوي (RVE) والبوتستراب الشرطي (CWB)، سواء مع أو بدون تعديلات خطية مخفضة التحيز، أسفرت عن نتائج متطابقة. وبالتالي، نقدم النتائج حصريًا لهذه الطرق دون تعديلات.
بالنسبة للمقاييس المتعلقة بمعدلات عدم التقارب، وتحليل التحيز الثابت، وMSE، نركز على الطريقة متعددة المتغيرات، والنموذج ذي الثلاث مستويات، ونماذج التأثيرات المرتبطة مع RVE. الطرق الأخرى، وبشكل خاص النماذج ذات الثلاث مستويات مع RVE ونماذج التأثيرات المرتبطة مع كل من RVE وCWB، تؤثر بشكل أساسي على الاستدلال بدلاً من تقديرات التأثير الثابت، وبالتالي لا يتم تضمينها في النتائج المبلغ عنها.
مناقشة
تسلط قسم المناقشة في الورقة الضوء على التقدمات الحاسمة في منهجيات الميتا-تحليل، خاصة عند التعامل مع أحجام تأثير متعددة داخل الدراسات ومتغيرات المحور الثنائي. يؤكد المؤلفون أن الخصائص الإحصائية لهذه الطرق تتأثر بما إذا كانت متغيرات المحور تتعلق بخصائص مستوى الدراسة أو مستوى حجم التأثير. من الجدير بالذكر أنهم يجدون أن التوزيعات غير المتوازنة لأحجام التأثير تؤثر سلبًا على القوة الإحصائية، مع ملاحظة قوة أعلى عندما تتعلق متغيرات المحور بخصائص داخل الدراسة. علاوة على ذلك، يحذرون من أن النماذج متعددة المستويات يمكن أن تضخم معدلات الخطأ من النوع الأول عند تطبيقها على خصائص داخل الدراسة، على الرغم من أنه يمكن التخفيف من ذلك من خلال تقدير التباين القوي (RVE).
تعتبر تداعيات هذه النتائج مهمة للباحثين في الميتا-تحليل التطبيقي، حيث تقدم إرشادات حول اختيار الطرق المناسبة لإجراء تحليلات الميتا-تحليل. يؤكد المؤلفون على أهمية تحليلات المحور في تعزيز الفهم العلمي من خلال الكشف عن كيفية تأثير خصائص الدراسة على أحجام التأثير. كما يحددون فجوة في الأدبيات الحالية بشأن الفعالية المقارنة لطرق مختلفة لمتغيرات المحور الثنائي، خاصة في سياق أحجام التأثير المعتمدة. تهدف هذه الدراسة إلى سد تلك الفجوة من خلال تقييم أداء تقنيات الميتا-تحليل المختلفة، مما يساعد الباحثين في اتخاذ قرارات مستنيرة بشأن أساليبهم التحليلية وتحسين قوة نتائجهم.
DOI: https://doi.org/10.1017/rsm.2026.10092
PMID: https://pubmed.ncbi.nlm.nih.gov/42131992
Publication Date: 2026-05-14
Author(s): Belén Fernández-Castilla et al.
Primary Topic: Meta-analysis and systematic reviews
Overview
This section discusses the evaluation of various meta-regression methods used to analyze categorical moderators in meta-analyses, particularly when multiple effect sizes are present within studies. The study conducted a simulation to compare the performance of several approaches, including multivariate models, three-level models, and correlated-effects models with robust variance estimation (RVE), among others. The simulation manipulated factors such as the number of studies, outcomes per study, and the distribution of effect sizes across moderator categories.
Key findings indicate that all methods demonstrated reduced power to detect effects when moderators pertained to study-level characteristics, especially under highly unbalanced effect size distributions. While RVE-based methods effectively controlled Type I error rates, they were often overly conservative. Conversely, three-level models exhibited higher power but resulted in inflated Type I error rates. The optimal approach for balancing Type I error control and power was identified as a combination of three-level models with RVE. Overall, the study underscores the importance of method selection in moderator analyses within meta-analyses, particularly in the context of varying effect size distributions.
Methods
In this section, the authors outline the meta-regression models to be evaluated in their simulation study, specifically focusing on three-level models, a correlated-effects model with robust variance estimation (RVE) inference, and a combination of these approaches. Additionally, they will assess correlated-effects models that incorporate RVE and continuous weighted bootstrap (CWB) as inferential methods. To elucidate these concepts, the authors reference a meta-analysis by Yan et al. that examined the impact of peer assessment versus teacher assessment on academic outcomes, highlighting a binary moderator variable indicating whether students received feedback from peer assessments (coded as 0 for “No” and 1 for “Yes”). This applied example serves to clarify the terms and methodologies discussed in the context of the meta-regression models.
Results
In the analysis of simulation results, we employed analyses of variance (ANOVAs) to determine the impact of various simulation factors on key metrics such as bias, mean squared error (MSE), Type I error, and statistical power. Factors with an eta squared ($\eta^2$) value greater than 0.14 were considered influential. Notably, the correlated-effects models utilizing robust variance estimation (RVE) and the conditional Wald bootstrap (CWB), both with and without bias-reduced linearization adjustments, yielded identical outcomes. Consequently, we present results exclusively for these methods without adjustments.
For metrics related to non-convergence rates, fixed-effects bias, and MSE, we focus on the multivariate method, the three-level model, and the correlated-effects models with RVE. The other methods, specifically the three-level models with RVE and the correlated-effects models with both RVE and CWB, primarily influence inference rather than the fixed-effect estimates, thus are not included in the reported results.
Discussion
The discussion section of the paper highlights the critical advancements in meta-regression methodologies, particularly when dealing with multiple effect sizes within studies and binary moderator variables. The authors emphasize that the statistical properties of these methods are influenced by whether the moderator variables pertain to study-level or effect size-level characteristics. Notably, they find that imbalanced distributions of effect sizes negatively impact statistical power, with higher power observed when moderator variables relate to within-study characteristics. Furthermore, they caution that multilevel models can inflate Type I error rates when applied to within-study characteristics, although this can be mitigated through robust variance estimation (RVE).
The implications of these findings are significant for applied meta-analysts, as they provide guidance on selecting appropriate methods for conducting meta-regression analyses. The authors underscore the importance of moderator analyses in enhancing scientific understanding by revealing how study characteristics influence effect sizes. They also identify a gap in the existing literature regarding the comparative effectiveness of different methods for binary moderator variables, particularly in the context of dependent effect sizes. This study aims to fill that gap by evaluating the performance of various meta-regression techniques, thereby aiding researchers in making informed decisions about their analytical approaches and improving the robustness of their findings.