DOI: https://doi.org/10.1371/journal.pone.0342286
PMID: https://pubmed.ncbi.nlm.nih.gov/42636249
تاريخ النشر: 2026-08-24
المؤلف: Ye Liang وآخرون
الموضوع الرئيسي: طرق إحصائية واستدلال
نظرة عامة
في هذه الدراسة، قام المؤلفون بتقييم نقدي لمعايير الحد الأدنى لحجم العينة المغلقة لتطوير نماذج التنبؤ اللوجستي، وبشكل خاص إطار عمل رايلي كما تم تنفيذه في حزمة pmsampsize. من خلال محاكاة مونت كارلو، قارنوا حجم العينة الموصى به، المرموز له بـ \( n_{\text{Riley}} \)، مع حجم العينة المطلوب المحدد تجريبيًا، \( n_{\text{req}} \)، والذي يعتمد على استقرار ميل المعايرة على مقياس اللوغيت تحت أخذ عينات متكررة. تنوعت المحاكاة عبر سيناريوهات متعددة، بما في ذلك توزيعات المتنبئين المختلفة، وكثافات الإشارة، ومعدلات الانتشار، ومستويات التمييز المستهدف (قيم AUC تتراوح من 0.70 إلى 0.90).
كشفت النتائج أنه بينما اقترب \( n_{\text{Riley}} \) من \( n_{\text{req}} \) عند مستويات التمييز المعتدلة، فإنه قلل بشكل متزايد من حجم العينة اللازم مع تحسن التمييز، خاصة عند هدف AUC يبلغ 0.90. كانت هذه التقليل مرتبطًا بظهور سلوك يشبه الفصل في سياقات التمييز العالي، والذي يتميز بمخاطر ملائمة متطرفة ومتنبئين خطيين، مما ساهم في التفاؤل الملحوظ للصيغة. يوصي المؤلفون بأنه بينما تظل pmsampsize أداة مفيدة لسيناريوهات التمييز المعتدل، يجب على التطبيقات ذات التمييز العالي دمج التشخيصات العددية والتخطيط القائم على المحاكاة لضمان استقرار المعايرة، والنظر في طرق مثل التقدير المعاق أو التقدير المخفض للتحيز لتعزيز تطوير النموذج والتحقق منه.
مقدمة
تناقش مقدمة ورقة البحث أهمية نماذج التنبؤ السريرية في تقدير المخاطر الصحية الفردية بناءً على بيانات المرضى التي يتم جمعها بشكل روتيني. يتم تسليط الضوء على الانحدار اللوجستي كطريقة شائعة لنمذجة النتائج الثنائية بسبب قابليته للتفسير وسهولة دمجه في سير العمل السريري. ومع ذلك، يؤكد المؤلفون أنه بينما يعتبر التمييز (القدرة على ترتيب المرضى) مهمًا، فإن المعايرة (دقة تقديرات المخاطر) أمر حاسم للاستخدام السريري. يمكن أن تؤدي عدم المعايرة إلى أخطاء علاجية كبيرة، حتى في النماذج التي تحتوي على مقاييس تمييز عالية، مثل المساحة تحت المنحنى (AUC).
تنتقد الورقة طرق التخطيط التقليدية لحجم العينة، وخاصة قاعدة الأحداث لكل متغير (EPV)، التي ثبت أنها غير كافية لضمان تطوير نموذج موثوق. بدلاً من ذلك، تدعو إلى معايير حجم العينة المستندة إلى الأداء التي تأخذ في الاعتبار عدد المتنبئين، وحجم العينة الكلي، ونسبة الأحداث لتقليل خطأ التنبؤ. تهدف الدراسة إلى تقييم الحد الأدنى لحجم العينة للتطوير لنماذج التنبؤ بالنتائج الثنائية، مع التركيز على استقرار ميل المعايرة تحت أخذ عينات متكررة. تقدم مفهوم $n_{\text{Riley}}$، حجم العينة الموصى به بناءً على معايير مغلقة، وتقارنه بحجم العينة المطلوب المحدد بواسطة المحاكاة، $n_{\text{req}}$، لتقييم كفاية التوصيات الحالية في سياقات التمييز العالي. تمهد المقدمة الطريق لتحليل شامل لتخطيط حجم العينة في نمذجة التنبؤ السريري، مع التأكيد على الحاجة إلى معايرة قوية لتجنب الأخطاء السريرية.
الطرق
تحدد قسم “الطرق” الإجراءات التجريبية والتحليلية المستخدمة في الدراسة. توضح معايير اختيار المشاركين، والتدخلات المحددة التي تم إدارتها، والأدوات المستخدمة لجمع البيانات. تشمل المنهجية كل من الأساليب الكمية والنوعية، مما يضمن تحليلًا شاملاً للأسئلة البحثية المطروحة.
تم إجراء التحليلات الإحصائية باستخدام البرمجيات المناسبة، مع تحديد مستويات الدلالة عند p < 0.05. يصف القسم أيضًا البروتوكولات لضمان موثوقية وصلاحية القياسات، بما في ذلك أي معايرة للأدوات وتدريب الأفراد المشاركين في جمع البيانات. بشكل عام، تم تصميم الطرق المستخدمة لاختبار الفرضيات بدقة وتقديم نتائج قوية.
النتائج
تكشف نتائج هذه الدراسة عن تباين كبير بين أحجام العينات المطلوبة للتطوير ($n_{req}$) وأحجام العينات المرجعية ($n_{Riley}$) المقترحة من قبل رايلي وآخرين، خاصة مع زيادة التمييز المستهدف (AUC). بينما تتماشى المرجعية عن كثب مع حجم العينة المطلوب عند مستويات التمييز المعتدلة، فإنها تقلل بشكل متزايد من حجم العينة اللازم عند مستويات التمييز العالية، مما يؤدي إلى انحراف منهجي ($n_{req} – n_{Riley}$). من الجدير بالذكر أنه على الرغم من عدم ملاحظة أي فشل واضح في المحسن عند $n = n_{Riley}$، إلا أن التحليل أشار إلى أن السلوكيات غير المنتظمة الشبيهة بالفصل وسلوكيات المخاطر الملائمة المتطرفة أصبحت شائعة مع زيادة التمييز، مما يشير إلى أن الافتراضات المستندة إلى الاحتمالية التي تدعم صيغة حجم العينة قد تكون مضغوطة تحت هذه الظروف.
أكدت التحليلات الثانوية أن التغيرات في توزيعات المتنبئين وكثافة الإشارة لم تغير بشكل جوهري التباين الملحوظ بين $n_{req}$ و $n_{Riley}$. تؤكد النتائج على الحاجة إلى الحذر عند الاعتماد فقط على توصيات حجم العينة المغلقة في سيناريوهات التمييز العالي. تدعو الدراسة إلى نهج من خطوتين: أولاً، استخدام حساب $n_{Riley}$ كنقطة انطلاق، تليها اختبار ضغط محاكاة مستهدف لتقييم استقرار ميول المعايرة ووجود عدم انتظام عددي. يهدف هذا النهج إلى ضمان أن يكون تخطيط حجم العينة قويًا ويعكس الظروف الفعلية للنمذجة المتوقعة في الممارسة العملية.
المناقشة
في هذه الدراسة، تم استخدام محاكاة مونت كارلو لتقييم الخصائص التشغيلية لمعايير الحد الأدنى لحجم العينة للتطوير لنماذج التنبؤ بالنتائج الثنائية، كما اقترحها رايلي وآخرون. كانت الأبحاث تهدف إلى مقارنة حجم العينة الموصى به المستند إلى الصيغة، المرموز له بـ \( n_{\text{Riley}} \)، مع حجم العينة المطلوب المحدد تجريبيًا، \( n_{\text{req}} \). تم تعريف الأخير من خلال أهداف استقرار المعايرة تحت أخذ عينات متكررة من آلية توليد بيانات معروفة. تم هيكلة سيناريوهات المحاكاة حول أربعة عوامل تصميم: توزيع المتنبئين، كثافة الإشارة، التمييز المستهدف، والانتشار، مع التركيز على كيفية اختلاف التباينات بين \( n_{\text{Riley}} \) و \( n_{\text{req}} \) مع زيادة التمييز.
استخدمت الدراسة ثلاث آليات لتوليد البيانات (DGMs) للمتنبئين المرشحين—طبيعي، مائل، وثنائي—لتقييم حساسية توصيات حجم العينة للاختلافات عن الهياكل الغاوسية. أشارت النتائج إلى أن توزيع المعلومات التنبؤية عبر المتنبئين (كثافة الإشارة) يؤثر بشكل كبير على حجم العينة المطلوب، حتى عندما يظل البعد الاسمي للنموذج ثابتًا. على وجه الخصوص، تم إجراء معايرة دقيقة لمعلمات السيناريو لتحقيق أهداف محددة مسبقًا لانتشار الأحداث والتمييز، مما يضمن أن أي اختلافات ملحوظة في متطلبات حجم العينة يمكن أن تُعزى إلى التخصيص الفعال للمعلومات بدلاً من تعقيد النموذج أو عدم التحديد. تؤكد النتائج على أهمية مراعاة كل من المعايرة التجريبية وآليات توليد البيانات الأساسية عند تحديد أحجام العينات المثلى لنماذج التنبؤ الثنائية.
القيود
تسلط قيود هذه الدراسة الضوء على عدة عوامل حاسمة قد تؤثر على قابلية تعميم النتائج. أولاً، كانت تصميم المحاكاة مقيدًا بعدد ثابت من معلمات المتنبئين المرشحين ($p = 10$) ومجموعة محدودة من طبقات الانتشار المحددة مسبقًا وأهداف التمييز. هذا الاختيار التصميمي، على الرغم من تسهيله لتقييم منضبط للاختلافات كدالة للتمييز، لا يضمن أن يحدث انحراف مشابه مع قيم $p$ أكبر أو في سيناريوهات تمييز أكثر تطرفًا. قد يختلف سلوك التقريبات المستندة إلى الاحتمالية وظهور عدم الانتظام بشكل كبير عندما يزداد $p$ بالنسبة لعدد الأحداث، حتى مع بقاء منطقة الهدف تحت المنحنى (AUC) ثابتة.
ثانيًا، قامت الدراسة بتوليد المتنبئين تحت فرضية الاستقلال، والتي، على الرغم من كونها مفيدة لعزل تأثير التمييز، تحد من قابلية تطبيق النتائج على السيناريوهات الواقعية حيث تكون ارتباطات المتنبئين شائعة. توضح النتائج نمطًا يعتمد على التمييز ولكنها لا تثبت أن التمييز هو المحدد الوحيد لأداء الصيغة. بالإضافة إلى ذلك، قامت المحاكاة بفحص ثلاث عائلات توزيع متنبئين فقط، والتي قد لا تمثل بشكل كافٍ تعقيدات مجموعات المتنبئين السريرية، مثل الذيل الأثقل أو الهياكل المختلطة. كما أن شبكة التمييز المقيدة (أهداف AUC من 0.70 إلى 0.90) تفشل أيضًا في استكشاف مستويات تمييز أعلى، حيث قد تكون عدم الانتظام العددي أكثر وضوحًا. أخيرًا، استخدمت استراتيجية التحقق نظام تقييم مثالي قد لا يعكس التغيرات التي يتم مواجهتها في التطبيقات العملية، حيث اعتمدت على مجموعة تحقق ثابتة تحتوي فقط على المتغيرات. لم تتناول الدراسة تعقيدات النمذجة المختلفة التي غالبًا ما تكون موجودة في الممارسة، مثل التأثيرات غير الخطية، أو البيانات المفقودة، أو التوقفات الإعلامية، والتي قد تؤثر على أداء النموذج ومتطلبات حجم العينة. وبالتالي، يجب أن تُعتبر النتائج كتصوير لسلوك إطار عمل رايلي/pmsampsize تحت ظروف مضبوطة، مما يتطلب مزيدًا من البحث لاستكشاف آثار التعقيدات الإضافية النموذجية في نمذجة التنبؤ التطبيقية.
DOI: https://doi.org/10.1371/journal.pone.0342286
PMID: https://pubmed.ncbi.nlm.nih.gov/42636249
Publication Date: 2026-08-24
Author(s): Ye Liang et al.
Primary Topic: Statistical Methods and Inference
Overview
In this study, the authors critically evaluated the closed-form minimum sample size criteria for developing logistic prediction models, specifically the Riley framework as implemented in the pmsampsize package. Through a Monte Carlo simulation, they compared the recommended sample size, denoted as \( n_{\text{Riley}} \), with an empirically defined required sample size, \( n_{\text{req}} \), which is based on the stability of the logit-scale calibration slope under repeated sampling. The simulations varied across multiple scenarios, including different predictor distributions, signal densities, prevalence rates, and target discrimination levels (AUC values ranging from 0.70 to 0.90).
The findings revealed that while \( n_{\text{Riley}} \) closely approximated \( n_{\text{req}} \) at moderate discrimination levels, it increasingly underestimated the necessary sample size as discrimination improved, particularly at an AUC target of 0.90. This underestimation was linked to the emergence of separation-like behavior in high-discrimination contexts, characterized by extreme fitted risks and linear predictors, which contributed to the observed optimism of the formula. The authors recommend that while pmsampsize remains a useful tool for moderate discrimination scenarios, high-discrimination applications should incorporate numerical diagnostics and simulation-based planning to ensure calibration stability, and consider methods such as penalized or bias-reduced estimation to enhance model development and validation.
Introduction
The introduction of the research paper discusses the significance of clinical prediction models in estimating individual health risks based on routinely collected patient data. Logistic regression is highlighted as a prevalent method for modeling binary outcomes due to its interpretability and ease of integration into clinical workflows. However, the authors emphasize that while discrimination (the ability to rank patients) is important, calibration (the accuracy of risk estimates) is crucial for clinical utility. Miscalibration can lead to significant therapeutic errors, even in models with high discrimination metrics, such as the area under the curve (AUC).
The paper critiques traditional sample size planning methods, particularly the events-per-variable (EPV) heuristic, which has been shown to be inadequate for ensuring reliable model development. Instead, it advocates for performance-based sample size criteria that consider the number of predictors, total sample size, and event fraction to minimize prediction error. The study aims to evaluate the minimum development sample size for binary-outcome prediction models, focusing on calibration-slope stability under repeated sampling. It introduces the concept of $n_{\text{Riley}}$, the recommended sample size based on closed-form criteria, and compares it to a simulation-defined required sample size, $n_{\text{req}}$, to assess the adequacy of existing recommendations in high-discrimination contexts. The introduction sets the stage for a comprehensive analysis of sample size planning in clinical prediction modeling, emphasizing the need for robust calibration to avoid clinical misjudgments.
Methods
The “Methods” section outlines the experimental and analytical procedures employed in the study. It details the selection criteria for participants, the specific interventions administered, and the tools used for data collection. The methodology includes both quantitative and qualitative approaches, ensuring a comprehensive analysis of the research questions posed.
Statistical analyses were performed using appropriate software, with significance levels set at p < 0.05. The section also describes the protocols for ensuring the reliability and validity of the measurements, including any calibration of instruments and the training of personnel involved in data collection. Overall, the methods employed are designed to rigorously test the hypotheses and provide robust findings.
Results
The results of this study reveal a significant discrepancy between the required sample sizes for development ($n_{req}$) and the benchmark sample sizes ($n_{Riley}$) proposed by Riley et al., particularly as the target discrimination (AUC) increases. While the benchmark aligns closely with the required sample size at moderate discrimination levels, it increasingly underestimates the necessary sample size at high discrimination levels, leading to a systematic divergence ($n_{req} – n_{Riley}$). Notably, although no outright optimizer failures were observed at $n = n_{Riley}$, the analysis indicated that separation-like irregularities and extreme fitted-risk behaviors became prevalent as discrimination increased, suggesting that the likelihood-based assumptions underpinning the sample size formula may be strained under these conditions.
Secondary analyses confirmed that variations in predictor distributions and signal density did not materially alter the observed discrepancy between $n_{req}$ and $n_{Riley}$. The findings emphasize the need for caution when relying solely on closed-form sample size recommendations in high-discrimination scenarios. The study advocates for a two-step approach: first, using the $n_{Riley}$ calculation as a starting point, followed by a targeted simulation stress test to evaluate the stability of calibration slopes and the presence of numerical irregularities. This approach aims to ensure that sample size planning is robust and reflective of the actual modeling conditions anticipated in practice.
Discussion
In this study, a Monte Carlo simulation was employed to assess the operating characteristics of minimum development sample size criteria for binary-outcome prediction models, as proposed by Riley et al. The research aimed to compare the formula-based recommended sample size, denoted as \( n_{\text{Riley}} \), with an empirically determined required sample size, \( n_{\text{req}} \). The latter was defined by calibration-stability targets under repeated sampling from a known data-generating mechanism. The simulation scenarios were structured around four design factors: predictor distribution, signal density, target discrimination, and prevalence, with a focus on how discrepancies between \( n_{\text{Riley}} \) and \( n_{\text{req}} \) vary with increasing discrimination.
The study utilized three data-generating mechanisms (DGMs) for candidate predictors—normal, skewed, and binary—to evaluate the sensitivity of sample size recommendations to deviations from Gaussian structures. The findings indicated that the distribution of prognostic information across predictors (signal density) significantly influences the required sample size, even when the nominal model dimension remains fixed. Specifically, the calibration of scenario parameters was meticulously conducted to achieve predefined targets for event prevalence and discrimination, ensuring that any observed differences in sample size requirements could be attributed to the effective allocation of information rather than model complexity or misspecification. The results underscore the importance of considering both empirical calibration and the underlying data-generating mechanisms when determining optimal sample sizes for binary prediction models.
Limitations
The limitations of this study highlight several critical factors that may affect the generalizability of the findings. Firstly, the simulation design was constrained to a fixed number of candidate predictor parameters ($p = 10$) and a limited set of prespecified prevalence strata and discrimination targets. This design choice, while facilitating a controlled assessment of discrepancies as a function of discrimination, does not guarantee that similar divergence will occur with larger $p$ values or in more extreme discrimination scenarios. The behavior of likelihood-based approximations and the occurrence of irregularities may vary significantly when $p$ increases relative to the number of events, even with a constant target area under the curve (AUC).
Secondly, the study generated predictors under an independence assumption, which, although useful for isolating the impact of discrimination, limits the applicability of results to real-world scenarios where predictor correlations are prevalent. The findings illustrate a discrimination-dependent pattern but do not establish discrimination as the sole determinant of formula performance. Additionally, the simulation examined only three predictor distribution families, which may not adequately represent the complexities of clinical predictor sets, such as heavier tails or mixed structures. The restricted discrimination grid (AUC targets of 0.70 to 0.90) also fails to explore higher discrimination levels, where numerical irregularities might be more pronounced. Lastly, the validation strategy employed an idealized evaluation regime that may not reflect the variability encountered in practical applications, as it relied on a fixed covariate-only validation set. The study did not address various modeling complexities often present in practice, such as nonlinear effects, missing data, or informative censoring, which could influence model performance and sample size requirements. Thus, the results should be viewed as characterizing the behavior of the Riley/pmsampsize framework under controlled conditions, necessitating further research to explore the effects of additional complexities typical in applied prediction modeling.