DOI: https://doi.org/10.1016/j.metip.2026.100275
تاريخ النشر: 2026-07-25
المؤلف: Giorgia Tosi وآخرون
الموضوع الرئيسي: المنهجيات النفسية والاختبار
نظرة عامة
تناقش هذه الفقرة قيود طرق التجميع التقليدية في الأبحاث النفسية التجريبية، وخاصة الافتراض بأن تأثيرات المتغيرات الأخرى تظل ثابتة عبر العناصر. يمكن أن يؤدي هذا الافتراض إلى استنتاجات إحصائية متحيزة، ولا سيما معدل خطأ النوع الأول المتضخم، بسبب إهمال التباين المحدد بالعناصر. يقدم البحث نماذج تأثير متغيرة تعالج كل من المشاركين والعناصر كعوامل عشوائية، مما يوضح تفوقها على طرق التجميع التقليدية.
لتحديد تضخم التباين المرتبط بطرق التجميع التقليدية، يقترح المؤلفون مقياس تضخم خطأ التجميع القياسي (ASEI). من خلال المحاكاة وتحليل البيانات الحقيقية، يكشف البحث أن تجاهل التباين المحدد بالعناصر في النماذج المجمعة يزيد بشكل كبير من معدلات خطأ النوع الأول، خاصة في العينات الأكبر. تؤكد النتائج على ضرورة دمج التباين العشوائي عبر كل من العناصر والمشاركين لتعزيز صحة الاستنتاجات الإحصائية في الأبحاث النفسية التي تستخدم الاستبيانات والمقاييس.
طرق
في هذه الدراسة، يحاكي المؤلفون أداء اختبار t والنموذج المختلط تحت كل من فرضية العدم (حيث يكون حجم التأثير $b = 0$) وفرضيات بديلة مختلفة (مع أحجام تأثير $b = 0.1, 0.5, 1, 2$). يتم استخدام نموذج توليد البيانات (DGM) لإنشاء عينات المحاكاة، والتي يتم من خلالها تقدير نموذج مختلط خطي. يتم تسجيل القيم p المرتبطة بالتأثير الثابت للحالة عبر 1000 تكرار، مما يسمح بحساب نسبة النتائج المهمة (p < .05). تعمل هذه النسبة كمؤشر على خطأ النوع الأول تحت فرضية العدم والإيجابيات الحقيقية تحت الفرضية البديلة. يتم حساب القيمة التنبؤية الإيجابية (PPV) لتقييم موثوقية النتائج المهمة، والتي تُعرف بـ $PPV = \frac{TP}{TP + FP}$، حيث تمثل TP الإيجابيات الحقيقية وFP تمثل الإيجابيات الكاذبة. بالإضافة إلى ذلك، يتم حساب متوسط استجابات المشاركين للعناصر من Q1 إلى Q6 لتكون المتغير التابع لمقارنة الظروف التجريبية (التشريحية) والضابطة (غير التشريحية). يتم مقارنة النتائج من اختبار t على هذه الاستجابات المتوسطة مع تلك الناتجة عن النموذج المختلط. من الجدير بالذكر أن العنصر Q4 تم عكسه قبل التحليل. تم إجراء جميع التحليلات الإحصائية في R، حيث تم تنفيذ اختبار t باستخدام دالة `t.test` وتم تنفيذ النموذج المختلط عبر دالة `lme4::lmer`. البيانات والبرامج النصية متاحة على إطار العلوم المفتوحة، مع مواد إضافية متاحة على موقع المجلة.
نتائج
تشير نتائج الدراسة إلى وجود تباين ملحوظ بين نهجي اختبار t والنموذج المختلط عند تحليل البيانات الحقيقية. على وجه التحديد، أسفرت كلتا الطريقتين عن اختلافات مهمة في الظروف التجريبية في حالة واحدة فقط من أربع حالات. في التجربة 1، أظهر اختبار t نتيجة مهمة (p < .01) بينما اقترب النموذج المختلط من الأهمية (p < .05)، مع مؤشر خطأ قياسي متوسط صغير (ASEI = 0.03). على العكس، في التجربتين 3 و4، أشار اختبار t إلى الأهمية (p < .05)، بينما لم تصل النماذج المختلطة إلى الأهمية (p > .06)، مما يبرز تحيزًا إيجابيًا في اختبارات t، تم تأكيده من خلال قيم ASEI المتوسطة (0.03 < ASEI < 0.05). أظهرت التجربة 2 تضخمًا أعلى في الخطأ (ASEI = 0.10)، حيث اقترح اختبار t الأهمية (p < .05) بينما لم يفعل النموذج المختلط (p = .25). علاوة على ذلك، كانت النماذج المختلطة تفسر باستمرار تباينًا أكبر من اختبارات t، حيث تراوحت قيم R² الشرطية من 0.49 إلى 0.61 للنماذج المختلطة مقارنة بـ 0.19 إلى 0.44 لاختبارات t. عندما تم تقليل مصطلحات التأثير العشوائي، لوحظت تأثيرات مهمة لميل العناصر العشوائية عبر جميع التجارب، وظهرت ميول المشاركين العشوائية المهمة في التجارب 1 و3 و4. تشير هذه النتائج إلى أن الظروف التجريبية تمارس تأثيرات متباينة عبر الأفراد والعناصر، كما يتضح من الارتباطات القوية (r = 0.977 إلى r = 0.999) بين ميول المشاركين العشوائية واختلافات استجاباتهم المتوسطة عبر الظروف. النتائج التفصيلية متاحة في المواد الإضافية.
مناقشة
تتناول فقرة المناقشة في الورقة الآثار المترتبة على استخدام نماذج التأثيرات المختلطة مقابل طرق التجميع التقليدية في تحليل مقاييس متعددة العناصر، مثل الاختبارات النفسية. يقدم المؤلفون نموذج تقاطع عشوائي لتوضيح كيفية حساب تباين المشاركين والعناصر في التحليل. يؤكدون على أن تجاهل التأثيرات العشوائية يمكن أن يؤدي إلى اختبارات F متحيزة ومعدلات خطأ نوع أول متضخمة، كما أظهرت الدراسات السابقة (Judd et al., 2012; Donnellan et al., 2025). يقدم إدخال مؤشر تضخم خطأ التجميع القياسي (ASEI) تقديرًا لدرجة تضخم الخطأ عند تجاهل التأثيرات العشوائية، مما يكشف أن أحجام العينات الأكبر يمكن أن تزيد بشكل متناقض من معدلات الخطأ عند استخدام النماذج المجمعة.
تشير النتائج إلى أنه بينما تنتج النماذج المختلطة نتائج أكثر موثوقية من خلال حساب التباين عبر العناصر والمشاركين، قد تبدو اختبارات t المجمعة أنها تنتج نتائج أكثر أهمية، على الرغم من موثوقيتها الأقل. تظهر المحاكاة التي تم إجراؤها أنه مع زيادة تباين تأثير المتغير المستقل عبر العناصر، يرتفع التحيز في اختبار t أيضًا، خاصة عندما يظهر المشاركون استجابات مشابهة للتلاعب. يخلص المؤلفون إلى أن النماذج المختلطة لا توفر فقط تقديرًا أكثر دقة للتأثيرات ولكنها أيضًا تخفف من المشكلات المتعلقة بخطأ القياس والتحيز، مما يعزز صحة النتائج في الأبحاث النفسية. تؤكد المناقشة على أهمية مراعاة التباين المحدد بالعناصر في كل من تصميم وتحليل الدراسات النفسية لتحسين دقة الاستنتاجات.
DOI: https://doi.org/10.1016/j.metip.2026.100275
Publication Date: 2026-07-25
Author(s): Giorgia Tosi et al.
Primary Topic: Psychometric Methodologies and Testing
Overview
The section discusses the limitations of traditional aggregation methods in experimental psychological research, particularly the assumption that effects of other variables remain constant across items. This assumption can lead to biased statistical inferences, notably an inflated Type I error rate, due to the neglect of item-specific variability. The paper introduces effect-variant models that treat both participants and items as random factors, demonstrating their superiority over conventional aggregation approaches.
To quantify the variance inflation associated with traditional aggregation methods, the authors propose the Aggregation Standard Error Inflation (ASEI) metric. Through simulations and analyses of real data, the study reveals that ignoring item-specific variability in aggregated models significantly increases Type I error rates, especially in larger samples. The findings underscore the necessity of incorporating random variability across both items and participants to enhance the validity of statistical inferences in psychological research utilizing questionnaires and scales.
Methods
In this study, the authors simulate the performance of the t-test and mixed model under both the null hypothesis (where the effect size $b = 0$) and various alternative hypotheses (with effect sizes $b = 0.1, 0.5, 1, 2$). A data generation model (DGM) is utilized to create simulation samples, from which a linear mixed model is estimated. The p-values associated with the fixed effect of the condition are recorded across 1000 repetitions, allowing for the calculation of the proportion of significant results (p < .05). This proportion serves as an indicator of Type I error under the null hypothesis and true positives under the alternative hypothesis. The Positive Predictive Value (PPV) is computed to assess the reliability of significant results, defined as $PPV = \frac{TP}{TP + FP}$, where TP represents true positives and FP represents false positives. Additionally, participants' responses to items Q1 to Q6 are averaged to serve as the dependent variable for comparing the experimental (anatomical) and control (nonanatomical) conditions. The results from the t-test on these averaged responses are compared with those from the mixed model. Notably, item Q4 was reversed prior to analysis. All statistical analyses were conducted in R, with the t-test executed using the `t.test` function and the mixed model implemented via the `lme4::lmer` function. Data and scripts are accessible on the Open Science Framework, with supplemental materials available on the journal's website.
Results
The results of the study indicate a notable discrepancy between the t-test and mixed model approaches when analyzing real data. Specifically, both methods yielded significant differences in experimental conditions in only one out of four cases. In Experiment 1, the t-test showed a significant result (p < .01) while the mixed model approached significance (p < .05), with a small Average Standard Error Index (ASEI = 0.03). Conversely, in Experiments 3 and 4, the t-test indicated significance (p < .05), while the mixed models did not reach significance (p > .06), highlighting a positive bias in the t-tests, corroborated by medium ASEI values (0.03 < ASEI < 0.05). Experiment 2 exhibited a higher error inflation (ASEI = 0.10), where the t-test suggested significance (p < .05) while the mixed model did not (p = .25). Furthermore, mixed models consistently explained more variance than t-tests, with conditional R² values ranging from 0.49 to 0.61 for mixed models compared to 0.19 to 0.44 for t-tests. When random effect terms were reduced, significant effects of item random slopes were observed across all experiments, and significant participant random slopes emerged in Experiments 1, 3, and 4. These findings imply that the experimental conditions exert varying effects across individuals and items, as evidenced by strong correlations (r = 0.977 to r = 0.999) between participants' random slopes and their mean response differences across conditions. Detailed results are available in the supplemental materials.
Discussion
The discussion section of the paper elaborates on the implications of using mixed-effects models versus traditional aggregation methods in analyzing multi-item measures, such as psychological tests. The authors present a random intercept model to illustrate how participant and item variability can be accounted for in the analysis. They emphasize that ignoring random effects can lead to biased F-tests and inflated Type I error rates, as demonstrated by previous studies (Judd et al., 2012; Donnellan et al., 2025). The introduction of the Aggregation Standard Error Inflation (ASEI) index quantifies the degree of error inflation when random effects are disregarded, revealing that larger sample sizes can paradoxically increase error rates when using aggregated models.
The findings indicate that while mixed models yield more reliable results by accounting for variability across items and participants, aggregated t-tests may appear to produce more significant results, albeit with lower trustworthiness. The simulations conducted show that as the variability of the independent variable effect across items increases, the bias in the t-test also rises, particularly when participants exhibit similar responses to the manipulation. The authors conclude that mixed models not only provide a more accurate estimation of effects but also mitigate issues related to measurement error and bias, thus enhancing the validity of findings in psychological research. The discussion underscores the importance of considering item-specific variability in both the design and analysis of psychological studies to improve inferential accuracy.