DOI: https://doi.org/10.1080/10618600.2024.2344612
تاريخ النشر: 2024-04-22
المؤلف: Weihao Li وآخرون
الموضوع الرئيسي: طرق إحصائية في التجارب السريرية
نظرة عامة
يؤكد قسم ورقة البحث على أهمية استخدام مخططات المتبقيات لتشخيص النموذج في تحليل الانحدار، مدعومًا بأدلة تجريبية من دراسة استدلال بصري. يجادل المؤلفون بأن الاختبارات الإحصائية التقليدية لتقييم ملاءمة النموذج حساسة بشكل مفرط، مما يؤدي غالبًا إلى استنتاجات مبكرة حول أداء النموذج غير الكافي. من خلال استخدام بروتوكول الترتيب، الذي يضع مخططات المتبقيات في سياق مع مخططات العدم، يظهر البحث أن التقييمات البصرية يمكن أن توفر تقييمات أكثر موثوقية لملاءمة النموذج، خاصة في تحديد المشكلات مثل عدم الخطية وعدم تجانس التباين.
تكشف النتائج أن الاختبارات التقليدية تميل إلى رفض الفرضية الصفرية بشكل متكرر أكثر من المقيمين البشريين، حتى عندما لا تكون الانحرافات عن المتبقيات الجيدة ذات دلالة بصرية. وهذا يشير إلى أنه بينما قد تكشف الاختبارات التقليدية عن تأثيرات طفيفة، فإنها غالبًا ما تفعل ذلك بشكل غير ضروري، مما قد يعقد التحليلات اللاحقة. يدعو المؤلفون إلى تغيير في الممارسة نحو تقديم مخططات المتبقيات ضمن سياق الترتيب، مما يسمح بتصفية أفضل للميزات البصرية غير ذات الصلة ويعزز دقة التقييمات. بالإضافة إلى ذلك، يبرز البحث الإمكانية لتقييم مخططات المتبقيات تلقائيًا من خلال التقدم في رؤية الكمبيوتر، مع الإشارة أيضًا إلى أن الاختبار البصري تم تنفيذه بشكل مقارن مع الاختبارات التقليدية عبر مختلف الانحرافات عن المتبقيات الجيدة، على الرغم من بعض الفروق المتعلقة بتوزيعات القيم الملائمة.
مقدمة
تؤكد مقدمة الورقة على الدور الحاسم لتشخيص النموذج في التحليل الإحصائي، لا سيما في الانحدار الخطي. تبرز أهمية فحص المتبقيات—الاختلافات بين القيم المرصودة والمتوقعة—حيث تكشف عن عدم كفاية ملاءمة النموذج. يتم مناقشة طرق مختلفة لتقييم المتبقيات، بما في ذلك الفحوصات البصرية من خلال الرسوم البيانية، ومخططات الاحتمال الطبيعي، ومخططات التشتت، بالإضافة إلى اختبارات الملاءمة الرسمية مثل اختبار شابيرو-ويلك. تشير وجود الانحراف، أو تعدد الأشكال، أو القيم الشاذة في المتبقيات إلى احتمال وجود أخطاء في تحديد النموذج، مثل الحاجة إلى مصطلحات غير خطية إضافية أو وجود عدم تجانس التباين، مما ينتهك فرضية استقلال الأخطاء.
يشير المؤلفون إلى وجود فجوة في الأدلة التجريبية التي تدعم الحكمة التقليدية بأن مخططات المتبقيات ضرورية لتشخيص النموذج. يجادلون بأن التفسيرات الذاتية لهذه المخططات يمكن أن تؤدي إلى أحكام خاطئة، حيث قد يدرك الأفراد أنماطًا ناتجة فقط عن العشوائية أو الضوضاء. لمعالجة ذلك، تدعو الورقة إلى استخدام بروتوكول الترتيب، الذي يسمح بمقارنة أكثر موضوعية للأنماط المرصودة مقابل مخططات العدم. تم التحقق من صحة هذه الطريقة كفعالة في تقييم مخططات المتبقيات، لا سيما عندما تكون الاختبارات التقليدية غير كافية. تمهد المقدمة الطريق للأقسام اللاحقة، التي ستستكشف الأطر النظرية والتجريبية لتقييم تشخيصات المتبقيات والآثار المترتبة على الممارسة الإحصائية.
طرق
كان التصميم التجريبي يهدف إلى مقارنة اختبار الفرضيات التقليدي مع الاستدلال البصري في تشخيصات الانحدار الخطي عبر ثلاث فترات لجمع البيانات. ركزت الفترتان الأوليان على جمع البيانات المتعلقة بعدم الخطية وعدم تجانس التباين، بينما كانت الفترة الثالثة تقيم بشكل أساسي استجابات البشر لمجموعات العدم لتقدير قيم p البصرية. تم تجنيد المشاركين من منصة جمع الحشود Prolific، حيث قاموا بتقييم كتل من 20 مجموعة، كل منها تتكون من مخطط بيانات واحد و19 مخطط عدم تم إنشاؤها عبر تقنية دوران المتبقيات. تم محاكاة مخططات البيانات من نموذجين محددين، وتم تكليف المشاركين بتحديد المخططات التي بدت الأكثر تميزًا، مع تقديم أسباب لاختياراتهم، وتقييم الفروق المدركة.
تم جمع ما مجموعه 7974 تقييمًا من 443 مشاركًا، تضمنت 1152 مجموعة فريدة. شمل التجربة عوامل مختلفة، بما في ذلك أربعة مستويات من الهيكل غير الخطي، وثلاثة مستويات من عدم تجانس التباين، وتم التحكم في قوة الإشارة من خلال تباين الخطأ ($\sigma$) لعدم الخطية ومعامل النسبة ($b$) لعدم تجانس التباين. بالإضافة إلى ذلك، تضمن التصميم ثلاثة أحجام عينة ($n$) وأربعة توزيعات للقيم الملائمة، مما يضمن تحليلًا شاملاً لعملية الاستدلال البصري في تشخيصات الانحدار.
نتائج
يقدم قسم النتائج بيانات تم جمعها من 1,152 مجموعة، مما أسفر عن 7,974 تقييمًا من 443 مشاركًا. تتعلق حوالي نصف هذه التقييمات بنموذجين يركزان على عدم الخطية وعدم تجانس التباين، مع مشاركة متسقة عبر ثلاث فترات جمع. تم إخضاع المشاركين لمجموعتين من اختبارات الانتباه لضمان سلامة البيانات، مما أسفر عن استبعاد 11 فقط من 454 مشاركًا لعدم كفاية الجهد. لتقدير الدلالة الإحصائية، تم إجراء 720 تقييمًا لـ 36 مجموعة عدم، على الرغم من أنه لم يتم تضمينها في التحليل النهائي.
تم اشتقاق البيانات، المتاحة في حزمة R “visage”، من مجموعات استنادًا إلى أربعة توزيعات للقيم الملائمة—موحد، طبيعي، منحرف، ومتفرد—تتوافق مع توزيعات المتنبئين الخاصة بها. من الجدير بالذكر أن التوزيع الموحد تلقى أكبر عدد من التقييمات، حيث تم تقييم كل مجموعة من قبل 11 مشاركًا، مقارنة بـ 5 للآخرين. تركز التحليلات اللاحقة (الأقسام 5.1-5.4) حصريًا على التوزيع الموحد، مما يشمل ما مجموعه 3,069 تقييمًا، لتسهيل مقارنة أداء الاختبارات التقليدية والبصرية في ظل ظروف مثالية. تستكشف القسم 5.5 المزيد من التأثير المحتمل لتغيير توزيع القيم الملائمة على النتائج.
مناقشة
في قسم المناقشة، يبرز البحث أهمية مخططات المتبقيات في تشخيص عدم تحديد النموذج، مع التركيز بشكل خاص على عدم الخطية وعدم تجانس التباين. يؤكد كوك ووايزبرغ (1999) أن الانحرافات عن الأنماط المتوقعة في مخططات المتبقيات يمكن أن تشير إلى مشكلات مثل المصطلحات متعددة الحدود من الدرجة الأعلى المفقودة أو تباين الخطأ غير الثابت. يوضح المؤلفون هذه المفاهيم بأمثلة، بما في ذلك مخطط متبقيات “على شكل S” يشير إلى عدم الخطية وشكل “فراشة” يقترح عدم تجانس التباين. يشيرون إلى أن الاختبارات التقليدية مثل اختبارات وايت وبريوش-باغان يمكن أن تكشف عن هذه المشكلات، لكنها قد تظهر أيضًا حساسية لأنواع أخرى من الانحرافات، مما يؤدي إلى أخطاء محتملة من النوع الثالث.
تناقش الورقة أيضًا بروتوكول الترتيب كطريقة اختبار بصرية للتخفيف من الإفراط في تفسير مخططات المتبقيات. تتضمن هذه الطريقة مقارنة المخطط المرصود مع مجموعة من مخططات العدم التي تم إنشاؤها بموجب الفرضية الصفرية، مما يسمح بتقييم أكثر قوة لملاءمة النموذج. يجادل المؤلفون بأنه بينما قد تكون الاختبارات التقليدية أكثر حساسية، فإن الاختبارات البصرية توفر نهجًا عمليًا لتحديد عيوب النموذج دون تحديد طبيعة الانحراف مسبقًا. تشير النتائج إلى أن الاختبارات البصرية يمكن أن تكمل الطرق التقليدية، لا سيما في السيناريوهات التي قد تفشل فيها الاختبارات التقليدية في الكشف عن مشكلات دقيقة، مما يعزز أهمية تحليل المتبقيات في تشخيصات الانحدار.
القيود
تنشأ قيود بروتوكول الترتيب بشكل أساسي من اعتماده على الحكم البشري، الذي يمكن أن يختلف بناءً على القدرات الإدراكية الفردية والمهارات البصرية. بينما يمكن أن تؤدي التقييمات من عدة أفراد إلى نتائج قوية وعالية الجودة، فإن تعقيد تصميم المخطط وقوة الإشارة تحدد عدد المشاركين المطلوبين للحصول على نتائج موثوقة. يخفف البروتوكول بشكل فعال من الذاتية في تفسير الأنماط من خلال مقارنة المخططات مع سحوبات من نموذج العدم، على غرار مقارنة إحصائية الاختبار مع توزيعها العيني. لتقليل التحيز، من الضروري القضاء على عناصر المخطط المضللة المحتملة مثل تسميات المحاور والأساطير.
بروتوكول الترتيب متاح وفعال من حيث التكلفة، لا سيما مع حزمة R nullabor، وقد شهد اعتمادًا واسع النطاق كما يتضح من معدلات تنزيل البرمجيات والاستشهادات. بالنسبة لتحليل مخططات المتبقيات، يُوصى بأن تكون مجموعة الترتيب هي المخطط الأولي الافتراضي، مما يسمح بتسليط الضوء على البيانات ضمن مخططات العدم. في السيناريوهات التي تتطلب اختبارًا صارمًا، يُنصح باستخدام خدمات جمع الحشود، كما هو موضح في دراسات التعبير الجيني. بينما يتطلب هذا النهج جهدًا إضافيًا، إلا أنه يظل اقتصاديًا مقارنة بالتكاليف الإجمالية للتجارب العلمية. قد تشمل التطورات المستقبلية نماذج رؤية الكمبيوتر لأتمتة تقييم مخططات المتبقيات. ركزت الدراسة على بيانات محاكاة ومخططات المتبقيات مقابل القيم الملائمة المستخدمة بشكل شائع، متوقعة أن سلوك الاختبارات التقليدية والبصرية سيتماشى عبر تشخيصات المتبقيات المختلفة. ومع ذلك، قد تكون الاختبارات التقليدية أكثر حساسية للانحرافات الطفيفة عن الفرضية الصفرية، بينما يتفوق نهج الترتيب في تحديد الأنماط غير المتوقعة غير المتعلقة بالنموذج.
DOI: https://doi.org/10.1080/10618600.2024.2344612
Publication Date: 2024-04-22
Author(s): Weihao Li et al.
Primary Topic: Statistical Methods in Clinical Trials
Overview
The research paper section emphasizes the importance of using residual plots for model diagnostics in regression analysis, supported by experimental evidence from a visual inference study. The authors argue that conventional statistical tests for assessing model fit are overly sensitive, often leading to premature conclusions about inadequate model performance. By employing the lineup protocol, which contextualizes residual plots alongside null plots, the study demonstrates that visual assessments can provide more reliable evaluations of model fit, particularly in identifying issues like nonlinearity and heteroscedasticity.
The findings reveal that conventional tests tend to reject the null hypothesis more frequently than human evaluators, even when the departures from good residuals are not visually significant. This suggests that while conventional tests may detect minor effects, they often do so unnecessarily, potentially complicating downstream analyses. The authors advocate for a shift in practice towards presenting residual plots within a lineup context, which allows for better filtering of irrelevant visual features and enhances the accuracy of assessments. Additionally, the study highlights the potential for automated residual plot evaluation through advancements in computer vision, while also noting that the visual test performed comparably to conventional tests across various departures from good residuals, albeit with some nuances related to fitted value distributions.
Introduction
The introduction of the paper emphasizes the critical role of model diagnostics in statistical analysis, particularly in linear regression. It highlights the importance of examining residuals—differences between observed and predicted values—as they reveal inadequacies in model fit. Various methods for assessing residuals are discussed, including visual inspections through histograms, normal probability plots, and scatterplots, as well as formal goodness-of-fit tests like the Shapiro-Wilk test. The presence of skewness, multimodality, or outliers in residuals signals potential model mis-specifications, such as the need for additional nonlinear terms or the presence of heteroscedasticity, which violates the independence assumption of errors.
The authors note a gap in empirical evidence supporting the conventional wisdom that residual plots are essential for model diagnostics. They argue that subjective interpretations of these plots can lead to misjudgments, as individuals may perceive patterns that are merely due to randomness or noise. To address this, the paper advocates for the use of the lineup protocol, which allows for a more objective comparison of observed patterns against null plots. This method has been validated as effective in assessing residual plots, particularly when conventional tests are inadequate. The introduction sets the stage for the subsequent sections, which will explore the theoretical and experimental frameworks for evaluating residual diagnostics and the implications for statistical practice.
Methods
The experimental design aimed to compare conventional hypothesis testing with visual inference in linear regression diagnostics across three data collection periods. The first two periods focused on gathering data related to nonlinearity and heteroscedasticity, while the third period primarily assessed human responses to null lineups to estimate visual p-values. Participants, recruited from the Prolific crowd-sourcing platform, evaluated blocks of 20 lineups, each consisting of one data plot and 19 null plots generated via the residual rotation technique. The data plots were simulated from two specified models, and participants were tasked with identifying plots that appeared most distinct, providing reasoning for their selections, and rating the perceived differences.
In total, 7974 evaluations were collected from 443 participants, involving 1152 unique lineups. The experiment incorporated various factors, including four levels of nonlinear structure, three levels of heteroscedasticity, and controlled signal strength through error variance ($\sigma$) for nonlinearity and a ratio parameter ($b$) for heteroscedasticity. Additionally, the design included three sample sizes ($n$) and four fitted value distributions, ensuring a comprehensive analysis of the visual inference process in regression diagnostics.
Results
The results section reports on data collected from 1,152 lineups, yielding 7,974 evaluations from 443 participants. Approximately half of these evaluations pertained to two models focusing on non-linearity and heteroscedasticity, with consistent participation across three collection periods. Participants were subjected to two attention check lineups to ensure data integrity, resulting in the exclusion of only 11 out of 454 participants for insufficient effort. For statistical significance estimation, 720 evaluations of 36 null lineups were conducted, although these were not included in the final analysis.
The data, which is available in the R package “visage,” was derived from lineups based on four fitted value distributions—uniform, normal, skewed, and discrete—corresponding to their predictor distributions. Notably, the uniform distribution received the most evaluations, with each lineup assessed by 11 participants, compared to 5 for the others. The subsequent analyses (Sections 5.1-5.4) focus exclusively on the uniform distribution, encompassing a total of 3,069 evaluations, to facilitate a comparison of conventional and visual test performance under optimal conditions. Section 5.5 further explores the potential impact of varying the fitted value distribution on the results.
Discussion
In the discussion section, the paper highlights the significance of residual plots in diagnosing model misspecification, particularly focusing on non-linearity and heteroscedasticity. Cook and Weisberg (1999) emphasize that deviations from expected patterns in residual plots can indicate issues such as omitted higher-order polynomial terms or non-constant error variance. The authors illustrate these concepts with examples, including an “S-shaped” residual plot indicating non-linearity and a “butterfly” shape suggesting heteroscedasticity. They note that conventional tests like the White and Breusch-Pagan tests can detect these issues, but they may also exhibit sensitivity to other types of departures, leading to potential Type III errors.
The paper further discusses the lineup protocol as a visual testing method to mitigate over-interpretation of residual plots. This method involves comparing the observed plot against a set of null plots generated under the null hypothesis, allowing for a more robust assessment of model fit. The authors argue that while conventional tests may be more sensitive, visual tests provide a practical approach to identifying model defects without pre-specifying the nature of the departure. The findings suggest that visual tests can complement traditional methods, particularly in scenarios where conventional tests may fail to detect subtle issues, thus reinforcing the importance of residual analysis in regression diagnostics.
Limitations
The limitations of the lineup protocol primarily stem from its dependence on human judgment, which can vary based on individual perceptual abilities and visual skills. While evaluations from multiple individuals can yield robust and high-quality outcomes, the complexity of the plot design and the strength of the signal dictate the number of participants required for reliable results. The protocol effectively mitigates subjectivity in pattern interpretation by comparing plots against draws from a null model, akin to comparing a test statistic with its sampling distribution. To minimize bias, it is crucial to eliminate potentially misleading plot elements such as axis labels and legends.
The lineup protocol is accessible and cost-effective, particularly with the R package nullabor, and has seen widespread adoption as evidenced by software download rates and citations. For residual plot analysis, it is recommended that the lineup serve as the default initial plot, allowing data to be contextualized within null plots. In scenarios requiring rigorous testing, utilizing crowd-sourcing services is advised, as demonstrated in gene expression studies. While this approach necessitates additional effort, it remains economically feasible compared to the overall costs of scientific experimentation. Future developments may include computer vision models to automate the evaluation of residual plots. The study focused on simulated data and commonly used residual versus fitted value plots, anticipating that the behavior of conventional and visual tests would align across various residual diagnostics. However, conventional tests may be more sensitive to minor deviations from the null hypothesis, while the lineup approach excels in identifying unexpected patterns unrelated to the model.