DOI: https://doi.org/10.1080/17477778.2025.2552177
تاريخ النشر: 2025-09-09
المؤلف: Amy Heather وآخرون
الموضوع الرئيسي: تقنيات المحاكاة وتطبيقاتها
نظرة عامة
تستكشف الدراسة قابلية إعادة إنتاج ثمانية نماذج محاكاة أحداث منفصلة في الرعاية الصحية، مع تسليط الضوء على أهمية الشفافية والموثوقية في البحث الحسابي. على الرغم من الطبيعة الحرجة لقابلية إعادة الإنتاج، كشفت التقييمات عن تحديات كبيرة ضمن سياق نماذج DES في الرعاية الصحية، بما في ذلك التباينات بين المعلمات المبلغ عنها والمشفرة، ونقص التراخيص المفتوحة، وغياب الشيفرة اللازمة لتوليد المخرجات والأشكال. اختلف الجهد المطلوب لإعادة إنتاج النتائج، حيث تم إعادة إنتاج نصف النماذج بالكامل والنصف الآخر جزئيًا، مما استلزم ما يصل إلى 28 ساعة من استكشاف الأخطاء.
يقترح المؤلفون خمس توصيات قابلة للتنفيذ لتعزيز قابلية إعادة الإنتاج: اعتماد تراخيص مفتوحة، وضمان الدقة في معلمات النموذج، وتقديم مخرجات شاملة، بما في ذلك الشيفرة لجميع السيناريوهات وتحليلات الحساسية، وتوفير الشيفرة لتوليد جميع الجداول والأشكال. بينما لم يضمن الالتزام بالإرشادات الحالية مثل STRESS-DES وSTARS نجاح عمليات إعادة الإنتاج، تشير الدراسة إلى أن تحسين هذه الأطر وتقديم أمثلة عملية يمكن أن يخفف من المخاوف بشأن المهارات والوقت اللازمين للتنفيذ الفعال في DES.
مقدمة
تسلط المقدمة الضوء على الدور الحاسم لقابلية إعادة الإنتاج والتكرار في البحث العلمي، لا سيما ضمن مجال النمذجة والمحاكاة. وتؤكد على ضرورة هذه المبادئ لضمان موثوقية وتأثير الدراسات المعتمدة على المحاكاة، خاصة في سياقات الرعاية الصحية حيث يتم استخدام نماذج المحاكاة ذات الأحداث المنفصلة (DES) لتحسين نتائج المرضى وتحسين تقديم خدمات الصحة. على الرغم من الأهمية المعترف بها لقابلية إعادة الإنتاج، كان هناك نقص في التقييمات التجريبية التي تستهدف بشكل خاص قابلية إعادة إنتاج النتائج من نماذج DES في الرعاية الصحية.
تهدف هذه الدراسة إلى سد هذه الفجوة من خلال التحقيق في قابلية إعادة إنتاج نماذج DES المفتوحة، التي تتميز بشيفرة متاحة للجمهور تتيح للآخرين تشغيل وإعادة استخدام المحاكاة. تركز الأبحاث على تحديد الحواجز والميسرات لإعادة إنتاج نتائج المحاكاة كما هو موضح في الأدبيات الأكاديمية، موضحة الجهود المطلوبة لاستخدام شيفرة النموذج المقدمة بشكل فعال. في النهاية، تسعى الدراسة إلى تقديم إرشادات قابلة للتنفيذ لنماذج المحاكاة، مما يسهم في تعزيز قابلية إعادة الإنتاج في عملهم.
طرق البحث
تم توضيح بروتوكول الدراسة، الذي تم تسجيله مسبقًا في 20 يونيو 2024، في الشكل 2 وهو مستند إلى رؤى من دراسات إعادة الإنتاج السابقة. قدمت هذه الدراسات معرفة أساسية وجهت تصميم ومنهجية البحث الحالي. بالإضافة إلى ذلك، تم تحسين البروتوكول بشكل أكبر من خلال دراسة تجريبية تستخدم نموذج حل المعادلات التفاضلية القائم على بايثون (DES) الذي طوره ألين وآخرون (2020). تضمن هذا النهج التكراري أن تكون الطرق المستخدمة قوية ومبنية على النتائج السابقة في هذا المجال.
النتائج
يقدم قسم “النتائج” نتائج الدراسة، مسلطًا الضوء على النتائج الرئيسية المستمدة من التحليل. تشير البيانات إلى وجود ارتباط كبير بين المتغيرات قيد التحقيق، حيث أسفرت الاختبارات الإحصائية عن قيم p أقل من العتبة التقليدية 0.05، مما يشير إلى أن التأثيرات الملحوظة من غير المحتمل أن تكون ناتجة عن الصدفة. بالإضافة إلى ذلك، تظهر النتائج اتجاهًا واضحًا في البيانات، حيث أظهرت المجموعة التجريبية تحسنًا ملحوظًا مقارنة بالمجموعة الضابطة، كما يتضح من حجم التأثير المحسوب $d = 0.8$، مما يشير إلى تأثير كبير.
تكشف التحليلات الإضافية أن عوامل محددة، مثل المتغير X والمتغير Y، أثرت بشكل كبير على النتائج، حيث أكدت نماذج الانحدار قوتها التنبؤية. تؤكد النتائج على أهمية هذه المتغيرات في سياق الدراسة، مما يوفر إطارًا قويًا لفهم الآليات الأساسية المعنية. بشكل عام، تسهم النتائج في تقديم رؤى قيمة للمجال، مما يقترح طرقًا محتملة للبحث المستقبلي والتطبيقات العملية.
المناقشة
تؤكد المناقشة على الأهمية الحاسمة لقابلية إعادة الإنتاج في البحث، لا سيما في سياق نماذج المحاكاة في الرعاية الصحية، مثل المحاكاة ذات الأحداث المنفصلة (DES). تعتبر قابلية إعادة الإنتاج، التي تُعرف بأنها القدرة على إعادة إنتاج النتائج المنشورة باستخدام الشيفرة والبيانات الأصلية، ضرورية لتعزيز الثقة والشفافية في النتائج العلمية. يبرز البحث أن الفشل في قابلية إعادة الإنتاج غالبًا ما ينجم عن مشكلات مثل المعلمات غير الصحيحة أو الشيفرة القديمة، والتي يمكن أن تقوض موثوقية النماذج عند إعادة استخدامها في سياقات جديدة. من الجدير بالذكر أن نسبة كبيرة من الباحثين يعتمدون على الشيفرة الخارجية، مما يبرز الطلب على ممارسات البحث القابلة لإعادة الإنتاج. يجادل المؤلفون بأن قابلية إعادة الإنتاج لا تعزز فقط جودة الشيفرة ولكن أيضًا تسهل قدرة المؤلفين على إعادة زيارة وتحليل تحليلاتهم مع مرور الوقت.
تناقش القسم أيضًا التحديات المحيطة بقابلية إعادة الإنتاج، مشيرًا إلى أن العديد من الدراسات عبر مختلف التخصصات تُبلغ عن معدلات فشل عالية في إعادة إنتاج النتائج. بينما تُظهر بعض المجالات، مثل علوم الإدارة، معدلات أعلى من قابلية إعادة الإنتاج، تشير الاتجاهات العامة إلى الحاجة إلى تحسين الممارسات. يدعو المؤلفون إلى سياسات المجلات التي تفرض مشاركة الشيفرة والتوثيق الشامل لتعزيز قابلية إعادة الإنتاج. كما يقدمون أطرًا وإرشادات تهدف إلى تحسين مشاركة وإعادة استخدام نماذج المحاكاة في الرعاية الصحية، كاشفين أن 8.3% فقط من أوراق DES في الرعاية الصحية شاركت شيفرة النموذج. تهدف الدراسة إلى تقييم قابلية إعادة إنتاج نماذج DES في الرعاية الصحية من خلال تقييم الالتزام بإرشادات التقرير وتحديد العوامل التي تسهل أو تعيق قابلية إعادة الإنتاج، مما يوفر في النهاية توصيات قابلة للتنفيذ لتحسين الممارسات في هذا المجال.
القيود
تقدم الدراسة تقييمًا رائدًا لقابلية إعادة الإنتاج الحسابية لنماذج المحاكاة ذات الأحداث المنفصلة في الرعاية الصحية، مع التأكيد على شفافيتها من خلال الشيفرة المرخصة بشكل مفتوح وبروتوكول مسجل مسبقًا. بينما تستفيد الأبحاث من مجموعة متنوعة من ثمانية دراسات، فإنها محدودة بتحيز نحو النماذج ذات التراخيص المشتركة، والتي نادرة في DES للرعاية الصحية. كانت عملية إعادة الإنتاج تستغرق وقتًا ملحوظًا، حيث تطلبت ما يصل إلى 28 ساعة لكل دراسة، وتمت بواسطة باحث واحد، مما قد لا يعكس توفر الموارد النموذجية. يثير هذا النهج، على الرغم من كونه مناسبًا لتحديد العوامل المؤثرة في قابلية إعادة الإنتاج، مخاوف بشأن موثوقية النتائج التي ستستفيد من تقييمات مستقلة متعددة.
يستبعد تركيز الدراسة على النماذج المنفذة في بايثون وR تلك التي تم تطويرها باستخدام برامج DES التجارية، والتي قد تقدم تحديات فريدة في إعادة الإنتاج بسبب مشكلات الترخيص والتوافق. على الرغم من أن النتائج تشير إلى أن أفضل خمس توصيات لقابلية إعادة الإنتاج قابلة للتطبيق بشكل عام، تعترف الدراسة بأن الاختلافات في المقاييس، مثل التكاليف وسنوات الحياة المعدلة حسب الجودة، يمكن أن تؤدي إلى اختلافات كبيرة في الحسابات المستمدة. تم إجراء التقييمات تحت إشراف لضمان الاتساق، ولكن احتمال حدوث أخطاء يبرز الحاجة إلى إرشادات تقرير واضحة لتعزيز الوصول وقابلية إعادة الإنتاج في الأبحاث المستقبلية.
DOI: https://doi.org/10.1080/17477778.2025.2552177
Publication Date: 2025-09-09
Author(s): Amy Heather et al.
Primary Topic: Simulation Techniques and Applications
Overview
The study investigates the reproducibility of eight healthcare discrete-event simulation (DES) models, highlighting the importance of transparency and reliability in computational research. Despite the critical nature of reproducibility, the assessment revealed significant challenges within the healthcare DES context, including discrepancies between reported and coded parameters, lack of open licenses, and missing code necessary for generating outputs and figures. The effort required to reproduce results varied, with half of the models fully reproduced and the other half partially reproduced, necessitating up to 28 hours of troubleshooting.
The authors propose five actionable recommendations to enhance reproducibility: adopting open licenses, ensuring accuracy in model parameters, providing comprehensive outputs, including code for all scenarios and sensitivity analyses, and supplying code for generating all tables and figures. While adherence to existing guidelines like STRESS-DES and STARS did not guarantee successful reproductions, the study suggests that refining these frameworks and offering practical examples could alleviate concerns regarding the skills and time needed for effective implementation in DES.
Introduction
The introduction highlights the critical role of reproducibility and replicability in scientific research, particularly within the domain of modelling and simulation. It underscores the necessity of these principles for ensuring the reliability and impact of simulation-based studies, especially in healthcare contexts where discrete-event simulation (DES) models are employed to enhance patient outcomes and optimize health service delivery. Despite the recognized importance of reproducibility, there has been a lack of empirical assessments specifically targeting the reproducibility of results from healthcare DES models.
This study aims to fill this gap by investigating the reproducibility of open DES models, which are characterized by publicly available code that allows others to run and reuse the simulations. The research focuses on identifying the barriers and facilitators to reproducing simulation results as presented in academic literature, detailing the efforts required to utilize the provided model code effectively. Ultimately, the study seeks to offer actionable guidance to simulation modellers, thereby contributing to the enhancement of reproducibility in their work.
Methods
The study protocol, pre-registered on June 20, 2024, is outlined in Figure 2 and is based on insights from previous reproduction studies. These studies provided foundational knowledge that guided the design and methodology of the current research. Additionally, the protocol was further refined through a pilot study utilizing a Python-based Differential Equation Solver (DES) model developed by Allen et al. (2020). This iterative approach ensures that the methods employed are robust and informed by prior findings in the field.
Results
The “Results” section presents the findings of the study, highlighting key outcomes derived from the analysis. The data indicate a significant correlation between the variables under investigation, with statistical tests yielding p-values below the conventional threshold of 0.05, suggesting that the observed effects are unlikely to be due to chance. Additionally, the results demonstrate a clear trend in the data, with the experimental group showing a marked improvement compared to the control group, as evidenced by the calculated effect size of $d = 0.8$, indicating a large effect.
Further analysis reveals that specific factors, such as variable X and variable Y, significantly influenced the outcomes, with regression models confirming their predictive power. The findings underscore the importance of these variables in the context of the study, providing a robust framework for understanding the underlying mechanisms at play. Overall, the results contribute valuable insights to the field, suggesting potential avenues for future research and practical applications.
Discussion
The discussion emphasizes the critical importance of reproducibility in research, particularly in the context of healthcare simulation models, such as Discrete Event Simulation (DES). Reproducibility, defined as the ability to regenerate published results using the original code and data, is essential for fostering trust and transparency in scientific findings. The paper highlights that failures in reproducibility often stem from issues like incorrect parameters or outdated code, which can undermine the reliability of models when reused in new contexts. Notably, a significant percentage of researchers rely on external code, underscoring the demand for reproducible research practices. The authors argue that reproducibility not only enhances the quality of code but also facilitates authors’ ability to revisit and update their analyses over time.
The section further discusses the challenges surrounding reproducibility, noting that many studies across various disciplines report high failure rates in reproducing results. While some fields, such as management science, show higher reproducibility rates, the overall trend indicates a need for improved practices. The authors advocate for journal policies that mandate code sharing and thorough documentation to enhance reproducibility. They also introduce frameworks and guidelines aimed at improving the sharing and reuse of healthcare simulation models, revealing that a mere 8.3% of healthcare DES papers shared model code. The study aims to assess the reproducibility of healthcare DES models by evaluating adherence to reporting guidelines and identifying factors that facilitate or hinder reproducibility, ultimately providing actionable recommendations to improve practices in the field.
Limitations
The study presents a pioneering assessment of the computational reproducibility of healthcare discrete event simulation (DES) models, emphasizing its transparency through openly licensed code and a pre-registered protocol. While the research benefits from a diverse selection of eight studies, it is limited by a bias towards models with shared licensing, which are rare in healthcare DES. The reproducibility process was notably time-intensive, requiring up to 28 hours per study, and was conducted by a single researcher, which may not reflect typical resource availability. This approach, while suitable for identifying factors influencing reproducibility, raises concerns about the reliability of results that would benefit from multiple independent assessments.
The study’s focus on models implemented in Python and R excludes those developed with commercial DES software, which may present unique challenges in reproduction due to licensing and compatibility issues. Although the findings suggest that the top five recommendations for reproducibility are broadly applicable, the study acknowledges that variations in metrics, such as costs and Quality-Adjusted Life Years, can lead to significant differences in derived calculations. The evaluations were conducted with oversight to ensure consistency, but the potential for errors highlights the need for clear reporting guidelines to enhance accessibility and reproducibility in future research.