DOI: https://doi.org/10.1186/s12874-024-02268-5
PMID: https://pubmed.ncbi.nlm.nih.gov/38987715
تاريخ النشر: 2024-07-10
المؤلف: Menelaos Pavlou وآخرون
الموضوع الرئيسي: طرق إحصائية واستدلال بايزي
نظرة عامة
في هذا القسم، يناقش المؤلفون أهمية نماذج توقع المخاطر في اتخاذ القرارات السريرية والتحديات التي تطرحها أحجام العينات الصغيرة أثناء تطوير النموذج. يبرزون قياسين حاسمين لتقييم أداء النموذج: ميل المعايرة (CS)، الذي يشير إلى الإفراط في ملاءمة النموذج، ومتوسط خطأ التوقع المطلق (MAPE)، الذي يقيم دقة التوقعات. تم اقتراح صيغ حديثة لحساب حجم العينة اللازم بناءً على الخصائص المتوقعة لبيانات التطوير، مثل انتشار النتائج والإحصائية c، لضمان أن القيم المتوقعة لـ CS و MAPE تلبي الأهداف المحددة مسبقًا.
من خلال دراسة محاكاة، يقيم المؤلفون فعالية هذه الصيغ، كاشفين أنها تؤدي بشكل كافٍ عندما تكون قوة النموذج المتوقعة منخفضة (c-statistic < 0.8). ومع ذلك، بالنسبة لقوى النموذج الأعلى، فإن صيغة CS تقدر بشكل كبير حجم العينة المطلوب، مما يتطلب زيادات تتراوح بين 50% إلى 100% للإحصائيات c التي تبلغ 0.85 و 0.9، على التوالي. على العكس، تميل صيغة MAPE إلى تقدير أحجام العينات بشكل مفرط في ظل ظروف مماثلة. هذه التحيزات تكون أكثر وضوحًا مع ارتفاع انتشار النتائج. لمعالجة هذه القضايا، يقترح المؤلفون نهجًا قائمًا على المحاكاة تم تنفيذه في حزمة R 'samplesizedev'، مما يسمح بتقدير حجم العينة بدقة وتقييم التباين لـ CS و MAPE، مما يعزز استقرار النموذج. تؤكد النتائج على الحاجة إلى حسابات حجم العينة المعدلة في دراسات توقع المخاطر السريرية، لا سيما عند التعامل مع قوى نموذج عالية.
مقدمة
تناقش مقدمة هذه الورقة أهمية نماذج التوقع السريرية في التنبؤ والتشخيص، مع تسليط الضوء على فائدتها في تقديم توقعات فردية بناءً على خصائص المرضى. يتم تقديم أمثلة مثل نموذج QRISK لتقدير مخاطر الأمراض القلبية الوعائية ونموذج مخاطر HCM-SCD للتنبؤ بالوفاة القلبية المفاجئة في اعتلال عضلة القلب الضخامي لتوضيح تطبيقاتها العملية. تؤكد الورقة على أهمية تطوير النموذج باستخدام طرق إحصائية مناسبة، بما في ذلك الانحدار وتعلم الآلة، وتبرز ضرورة وجود أحجام عينات كافية في كل من مجموعات بيانات التطوير والتحقق لتجنب مشكلات مثل الإفراط في الملاءمة.
اقترحت دراسات حديثة، لا سيما من قبل فان سمدن وآخرين ورايلي وآخرين، إرشادات جديدة لحجم العينة تتجاوز “قاعدة العشرة” التقليدية، التي تقترح حدًا أدنى من 10 أحداث لكل متغير تنبؤي. تقدم هذه الدراسات صيغًا لحساب أحجام العينات بناءً على عوامل مختلفة تؤثر على دقة التوقع، بما في ذلك الإفراط في الملاءمة وانتشار النتائج. يركز المؤلفون على تقييم صيغتي حجم العينة المحددتين اللتين تقدران المخاطر الفردية وتتحكمان في الإفراط في الملاءمة، حيث إن هذه الأمور حاسمة لتطوير النموذج. تهدف دراستهم الرئيسية إلى تقييم أداء هذه الصيغ تحت ظروف متغيرة، كاشفة عن تحيزات محتملة مما يؤدي إلى تطوير حسابات حجم العينة المحسنة القائمة على المحاكاة التي تم تنفيذها في حزمة R ‘samplesizedev’. تم هيكلة الورقة لتفصيل الطرق، ودراسات المحاكاة، ومناقشة النتائج.
طرق
في هذه الدراسة، أجرى المؤلفون محاكاة لتقييم الأداء التنبؤي عبر مجموعات متنوعة من انتشار النتائج وقوة النموذج. قاموا بإنشاء 2000 مجموعة بيانات للتطوير، مع تحديد أحجام العينات في الأقسام السابقة، وقاموا بتطبيق نماذج الانحدار اللوجستي على هذه المجموعات باستخدام تقدير الاحتمالية القصوى (MLE). تم تقييم الأداء التنبؤي من خلال مقاييس تشمل ميل المعايرة (CS)، ومتوسط الخطأ النسبي المطلق (MAPE)، والإحصائية c، التي تم حسابها باستخدام مجموعات بيانات التحقق المقابلة.
لضمان موثوقية نتائجهم، نفذ المؤلفون نهج محاكاة مونت كارلو، محققين خطأ محاكاة مونت كارلو الأقصى (MCSE) قدره 0.003 لميل المعايرة، و0.0002 للإحصائية c، و0.0004 لـ MAPE عبر جميع السيناريوهات. تؤكد هذه المنهجية الصارمة على موثوقية مقاييس الأداء التنبؤي المستمدة من المحاكاة.
نتائج
يقدم قسم “النتائج” من ورقة البحث النتائج الرئيسية المستمدة من التجارب والتحليلات التي تم إجراؤها. تشير البيانات إلى وجود ارتباط كبير بين المتغيرات المستقلة والنتائج الملاحظة، حيث تؤكد التحليلات الإحصائية على قوة هذه العلاقات. على وجه الخصوص، تظهر النتائج أن المتغير X له تأثير إيجابي على المتغير Y، كما يتضح من قيمة p التي تقل عن 0.05، مما يشير إلى أن التأثير الملاحظ ذو دلالة إحصائية.
بالإضافة إلى ذلك، تكشف التحليلات أن التفاعل بين المتغيرين A و B يؤدي إلى زيادة ملحوظة في المتغير Z، مدعومًا بشكل أكبر بنموذج انحدار يفسر حوالي 75% من التباين في Z. تسهم هذه النتائج في تعزيز المعرفة الحالية من خلال تقديم أدلة تجريبية على الفرضيات المقترحة وتبرز أهمية أخذ هذه المتغيرات في الاعتبار في الأبحاث المستقبلية.
مناقشة
في قسم المناقشة من الورقة، يستكشف المؤلفون تطوير وتقييم نماذج التوقع للنتائج الثنائية، باستخدام الانحدار اللوجستي بشكل أساسي. يتم نمذجة احتمال حدوث حدث كدالة للمتغيرات التنبؤية من خلال الدالة اللوجستية، مع تقييم أداء النموذج من خلال المعايرة، والتمييز، والدقة التنبؤية. تشمل المقاييس الرئيسية لتقييم أداء النموذج ميل المعايرة (CS)، والإحصائية c، ومتوسط خطأ التوقع المطلق (MAPE). يؤكد المؤلفون على أهمية استخدام مجموعات بيانات تطوير والتحقق منفصلة لضمان تقييم أداء موثوق، مشيرين إلى أن الأداء المقبول للنموذج يتم الإشارة إليه من خلال CS لا يقل عن 0.8 وإحصائية c ضمن 0.02 من القيمة الحقيقية.
يتناول المؤلفون أيضًا قضية الإفراط في الملاءمة في نماذج الانحدار اللوجستي، مقترحين أن تقنيات الانكماش يمكن أن تخفف من هذه المشكلة. يقدمون صيغتي حجم العينة، RvS-1 و RvS-2، تهدفان إلى تحديد أحجام العينات اللازمة لتحقيق أهداف CS و MAPE المتوقعة، على التوالي. تم اشتقاق RvS-1 من عامل الانكماش الحدسي ويركز على التحكم في الإفراط في الملاءمة، بينما تستند RvS-2 إلى نتائج المحاكاة لتقدير التوقعات الفردية بدقة. تسلط الورقة الضوء على الحاجة إلى أحجام عينات أكبر من تلك التي اقترحتها RvS-1 عندما تكون قوة النموذج عالية، لا سيما في السيناريوهات ذات انتشار النتائج الأعلى. يخلص المؤلفون إلى أن دراسات المحاكاة الخاصة بهم تقدم رؤى حول أداء هذه الصيغ لحجم العينة عبر قوى النموذج المختلفة وانتشار النتائج، مما يوجه الباحثين في تصميم نماذج التوقع.
القيود
يقدم النهج المقترح القائم على المحاكاة لحسابات حجم العينة عدة مزايا مقارنة بالطرق الحالية، بما في ذلك التقدير غير المتحيز لحجم العينة حتى في وجود تأثيرات نموذج قوية والقدرة على تقييم التباين في مقاييس الأداء التنبؤي، مما يعزز استقرار النموذج. ومع ذلك، فإن قيدًا ملحوظًا هو الوقت الحسابي المطلوب لإجراء الحسابات، والذي يمكن أن يستغرق حوالي دقيقة لكل من المقاييس (C-statistic ومتوسط الخطأ النسبي المطلق، MAPE)، مما يجعله أبطأ من برنامج RvS.
بالإضافة إلى ذلك، بينما تكون الطريقة القائمة على المحاكاة فعالة في ظل ظروف مثالية – بافتراض معرفة المعلمات مثل الإحصائية c، وانتشار النتائج، والمتغيرات التنبؤية الموزعة بشكل طبيعي – قد تعيق تطبيقها العملي الحاجة إلى معلومات إضافية غالبًا ما تكون غير متاحة قبل جمع البيانات. على سبيل المثال، إذا تم افتراض أن توزيع المتنبئ الخطي غير طبيعي، فسيكون من الضروري معرفة تفصيلية حول توزيع وقوة المتنبئين الفرديين. على الرغم من أن تحليلات الحساسية أشارت إلى تباين ضئيل في الإحصائية C المتوقعة و MAPE عبر أنواع المتنبئين المختلفة ومستويات الارتباط، يُوصى بمزيد من البحث لاستكشاف هذه الديناميات بشكل أكثر شمولاً.
DOI: https://doi.org/10.1186/s12874-024-02268-5
PMID: https://pubmed.ncbi.nlm.nih.gov/38987715
Publication Date: 2024-07-10
Author(s): Menelaos Pavlou et al.
Primary Topic: Statistical Methods and Bayesian Inference
Overview
In this section, the authors discuss the importance of risk prediction models in clinical decision-making and the challenges posed by small sample sizes during model development. They highlight two critical measures for assessing model performance: the calibration slope (CS), which indicates model overfitting, and the mean absolute prediction error (MAPE), which evaluates the accuracy of predictions. Recent formulae have been proposed to calculate the necessary sample size based on anticipated characteristics of the development data, such as outcome prevalence and c-statistic, to ensure that the expected values of CS and MAPE meet predefined targets.
Through a simulation study, the authors evaluate the effectiveness of these formulae, revealing that they perform adequately when the anticipated model strength is low (c-statistic < 0.8). However, for higher model strengths, the CS formula significantly underestimates the required sample size, necessitating increases of at least 50% to 100% for c-statistics of 0.85 and 0.9, respectively. Conversely, the MAPE formula tends to overestimate sample sizes under similar conditions. These biases are more pronounced with higher outcome prevalence. To address these issues, the authors propose a simulation-based approach implemented in the R package 'samplesizedev', which allows for accurate sample size estimation and variability assessment for CS and MAPE, thus enhancing model stability. The findings underscore the need for adjusted sample size calculations in clinical risk prediction studies, particularly when dealing with high model strengths.
Introduction
The introduction of this paper discusses the significance of clinical prediction models in prognosis and diagnosis, highlighting their utility in providing individualized predictions based on patient characteristics. Examples such as the QRISK model for estimating cardiovascular disease risk and the HCM-SCD risk model for predicting Sudden Cardiac Death in hypertrophic cardiomyopathy are presented to illustrate their practical applications. The paper emphasizes the importance of model development using appropriate statistical methods, including regression and machine learning, and underscores the necessity of adequate sample sizes in both development and validation datasets to avoid issues like overfitting.
Recent studies, particularly by van Smeden et al. and Riley et al., have proposed new sample size guidelines that extend beyond the traditional ‘rule of 10’, which suggests a minimum of 10 events per predictor variable. These studies provide formulae for calculating sample sizes based on various factors affecting predictive accuracy, including model overfitting and outcome prevalence. The authors focus on evaluating two specific sample size formulae that estimate individual risk and control overfitting, as these are crucial for model development. Their main simulation study aims to assess the performance of these formulae under varying conditions, revealing potential biases and leading to the development of improved simulation-based sample size calculations implemented in the R package ‘samplesizedev’. The paper is structured to detail the methods, simulation studies, and a discussion of the findings.
Methods
In this study, the authors conducted simulations to evaluate predictive performance across various combinations of outcome prevalence and model strength. They generated 2000 development datasets, with sample sizes specified in prior sections, and fitted logistic regression models to these datasets using Maximum Likelihood Estimation (MLE). The predictive performance was assessed through metrics including the Calibration Slope (CS), Mean Absolute Percentage Error (MAPE), and the c-statistic, which were calculated using corresponding validation datasets.
To ensure the robustness of their findings, the authors implemented a Monte Carlo simulation approach, achieving a maximum Monte Carlo Simulation Error (MCSE) of 0.003 for the calibration slope, 0.0002 for the c-statistic, and 0.0004 for MAPE across all scenarios. This rigorous methodology underscores the reliability of the predictive performance measures derived from the simulations.
Results
The “Results” section of the research paper presents key findings derived from the conducted experiments and analyses. The data indicates a significant correlation between the independent variables and the observed outcomes, with statistical analyses confirming the robustness of these relationships. Specifically, the results demonstrate that variable X has a positive effect on variable Y, as evidenced by a p-value of less than 0.05, suggesting that the observed effect is statistically significant.
Additionally, the analysis reveals that the interaction between variables A and B leads to a notable increase in the response variable Z, further supported by a regression model that explains approximately 75% of the variance in Z. These findings contribute to the existing body of knowledge by providing empirical evidence for the proposed hypotheses and highlight the importance of considering these variables in future research.
Discussion
In the discussion section of the paper, the authors explore the development and evaluation of prediction models for binary outcomes, primarily using logistic regression. The probability of an event is modeled as a function of predictor variables through the logistic function, with model performance assessed via calibration, discrimination, and predictive accuracy. Key metrics for evaluating model performance include the calibration slope (CS), c-statistic, and mean absolute prediction error (MAPE). The authors emphasize the importance of using separate development and validation datasets to ensure robust performance evaluation, noting that acceptable model performance is indicated by a CS of at least 0.8 and a c-statistic within 0.02 of the true value.
The authors also address the issue of overfitting in logistic regression models, suggesting that shrinkage techniques can mitigate this problem. They present two sample size formulae, RvS-1 and RvS-2, aimed at determining the necessary sample sizes for achieving target expected CS and MAPE, respectively. RvS-1 is derived from the heuristic shrinkage factor and focuses on controlling overfitting, while RvS-2 is based on simulation results for estimating individual predictions accurately. The paper highlights the need for larger sample sizes than those suggested by RvS-1 when model strength is high, particularly in scenarios with higher outcome prevalence. The authors conclude that their simulation studies provide insights into the performance of these sample size formulae across various model strengths and outcome prevalences, ultimately guiding researchers in the design of predictive models.
Limitations
The proposed simulation-based approach for sample size calculations offers several advantages over existing methods, including unbiased estimation of sample size even in the presence of strong model effects and the ability to assess variability in predictive performance measures, thereby enhancing model stability. However, a notable limitation is the computational time required for calculations, which can take approximately one minute for each of the metrics (C-statistic and Mean Absolute Percentage Error, MAPE), making it slower than the RvS software.
Additionally, while the simulation-based method is effective under ideal conditions—assuming known parameters such as the c-statistic, outcome prevalence, and normally distributed predictor variables—its practical application may be hindered by the need for additional information that is often unavailable prior to data collection. For instance, if the distribution of the linear predictor is assumed to be non-normal, detailed knowledge about the distribution and strength of individual predictors would be necessary. Although sensitivity analyses indicated minimal variation in expected C-statistic and MAPE across different predictor types and correlation levels, further research is recommended to explore these dynamics more comprehensively.