التلاعب بالنظام: تقييم التسرب في تدخل لعبة فيديو للتخطيط للرعاية المتقدمة باستخدام الشبكات الاجتماعية للأطباء
Gaming the system: evaluating spillover in a video game intervention for advance care planning using physician social networks

المجلة: Health Services and Outcomes Research Methodology
DOI: https://doi.org/10.1007/s10742-025-00370-9
PMID: https://pubmed.ncbi.nlm.nih.gov/42079568
تاريخ النشر: 2026-01-13
المؤلف: Carly A. Bobak وآخرون
الموضوع الرئيسي: أنظمة الرعاية الصحية والتكنولوجيا

نظرة عامة

تناقش قسم ورقة البحث التحديات التي تطرحها آثار التسرب في التجارب العشوائية المجمعة ذات التصميم المتدرج (SW-CRTs)، لا سيما في سياق دراسة تقييم تدخل لعبة الفيديو الذي يهدف إلى زيادة فواتير التخطيط للرعاية المتقدمة (ACP) بين الأطباء في المستشفيات. أظهر التحليل الأولي عدم وجود تأثير مباشر كبير للتدخل (OR 0.96، 95% CI 0.88-1.06، p = 0.42). ومع ذلك، عند الأخذ في الاعتبار الشبكات الاجتماعية للأطباء المستمدة من اللقاءات المشتركة مع المرضى، بدا أن تأثير التدخل إيجابي ولكنه لا يزال غير ذي دلالة إحصائية (OR 1.08، 95% CI 0.94-1.24، p = 0.26). ومن الجدير بالذكر أن آثار التسرب من الأقران الذين تلقوا التدخل كانت مرتبطة بقوة بزيادة فواتير ACP (OR 1.20، 95% CI 1.13-1.27، p < 0.001). أظهر تحليل إضافي باستخدام نموذج كما تم العلاج الذي شمل الاتصالات داخل المستشفى تأثيرًا قويًا وذو دلالة إحصائية للتدخل (OR 1.11، 95% CI 1.03-1.20، p = 0.006). وجدت الدراسة تفاعلًا إيجابيًا بين التأثيرات المباشرة للتدخل وآثار التسرب (OR 1.01، 95% CI 1.00-1.02، p = 0.03)، مما يشير إلى أن التدخلات تكون أكثر فعالية في الشبكات المتصلة بشكل كبير. أكدت نتائج المحاكاة أن تجاهل آثار التسرب يسبب انحيازًا في التقديرات نحو الصفر، بينما توفر النماذج المعدلة للشبكة مقدرات غير متحيزة. تؤكد النتائج على ضرورة دمج هياكل الشبكات الاجتماعية في تحليلات SW-CRT لالتقاط التأثيرات المباشرة وغير المباشرة للتدخلات بدقة، مما يعزز في النهاية الاستدلال السببي وقابلية تعميم النتائج في أبحاث الرعاية الصحية.

مقدمة

تناقش مقدمة ورقة البحث التجربة العشوائية المجمعة ذات التصميم المتدرج (SW-CRT)، وهو تصميم دراسة طولية اكتسب شهرة لتقييم تقديم الخدمات وتدخلات السياسة. على عكس التجارب العشوائية المجمعة التقليدية، تتضمن SW-CRTs انتقالًا متسلسلًا للمجموعات من السيطرة إلى التدخل، مما يسمح لكل مجموعة بتوفير بيانات تحت كلا الشرطين. هذا التصميم مفيد بشكل خاص في السيناريوهات الواقعية حيث قد تعيق القيود اللوجستية العشوائية على مستوى الأفراد. تشير الورقة إلى دراسة تدخل التهاب الكبد في غامبيا كمثال مبكر على SW-CRT، مما يظهر قابليته للتكيف مع التحديات المعقدة في التنفيذ.

على الرغم من مزاياه، يواجه تصميم SW-CRT تحديات كبيرة، لا سيما فيما يتعلق بالتداخل بسبب هيكله الزمني. مع انتقال المجموعات إلى مرحلة التدخل بمرور الوقت، قد تعكس البيانات المجمعة تحت ظروف السيطرة أوقات تقويم سابقة، مما قد يؤدي إلى خلط تأثيرات التدخل مع الاتجاهات الزمنية. بالإضافة إلى ذلك، قد لا تأخذ الإطار التحليلي القياسي القائم على نماذج الانحدار الخطي العام في الاعتبار بشكل كافٍ التداخلات المعقدة داخل المجموعة أو التأثيرات الزمنية المتغيرة، مما يؤدي إلى تقديرات متحيزة لتأثير العلاج. تسلط الورقة الضوء على خطر التلوث بين المجموعات، حيث يمكن أن تؤثر التعرض للتدخل بشكل غير مقصود على بيانات السيطرة، مما يعقد تقدير تأثيرات العلاج. لمعالجة هذه القضايا، يقترح المؤلفون إطارًا منهجيًا قائمًا على الشبكة يتضمن مقاييس التعرض العلائقية، مما يمكّن من تقدير كل من التأثيرات المباشرة وغير المباشرة للتدخل في وجود تلوث التسرب. يهدف هذا النهج إلى تقديم تقديرات أكثر دقة لتأثيرات التدخل، لا سيما في إعدادات الرعاية الصحية حيث تكون المجموعات مترابطة.

طرق

في هذا القسم، يناقش المؤلفون تحسينات على منهجية التلوث القائمة على الشبكة، مع التركيز بشكل خاص على تأثيرات الجرعة والاستجابة والتباين الزمني. يسمح الإطار بنمذجة شدة التدخل من خلال المتغير \( NI_{ijt} \)، الذي يمثل عدد اللقاءات التي يملكها المريض مع الأطباء المعرضين للتدخل. يؤدي هذا النهج إلى صياغة استجابة للجرعة؛ ومع ذلك، يحذر المؤلفون من أن الشرط على المتغيرات بعد العشوائية مثل \( NI_{ijt} \) قد يقدم انحيازًا في التفسيرات السببية.

بالإضافة إلى ذلك، تستوعب المنهجية التغيرات الزمنية من خلال السماح للمعلمات \( \beta_1، \beta_2، \) و \( \beta_3 \) بالتغير مع مرور الوقت، المشار إليها بـ \( \beta_{1t}، \beta_{2t}، \beta_{3t} \). تتيح هذه المرونة اختبار تأثيرات التدخل أو التسرب المحددة حسب الخطوة. يشير المؤلفون إلى أن هذه التمديدات الخطية توفر تقريبات من الدرجة الأولى قابلة للإدارة، والتي يمكن تطويرها لاحقًا إلى نماذج انتشار غير خطية أو قائمة على العتبة. يتم تقديم مزيد من التفاصيل حول قابلية تطبيق هذه التمديدات في القسم A.2 من الملحق التكميلي.

نتائج

أظهرت النتائج من تجربة سريرية عشوائية مجمعة ذات تصميم متدرج تهدف إلى تقييم فعالية تدخل لعبة الفيديو للأطباء في تعزيز محادثات التخطيط للرعاية المتقدمة (ACP) عدم وجود زيادة كبيرة في تكرار فواتير ACP. شملت التجربة 163 طبيبًا في 35 مستشفى أمريكيًا، وأبلغت عن نسبة احتمالات مجمعة (OR) تبلغ 0.96 (95% CI 0.88-1.06، p = 0.42)، مما يشير إلى أن التدخل لم يحقق تأثيره المقصود. ومن الجدير بالذكر أن التحليلات الثانوية أظهرت تباينًا في تأثير التدخل، مع زيادات أولية في فواتير ACP خلال الخطوات الثلاث الأولى من التجربة، تليها انخفاضات في المراحل اللاحقة، قد تتأثر بتأثيرات جائحة COVID-19 المتغيرة عبر مواقع مختلفة.

في دراسة محاكاة مكملة، تم تقييم استراتيجيتين نمذجة: نموذج متدرج ساذج يتجاهل هيكل الشبكة ونموذج معدل للشبكة يأخذ في الاعتبار تسرب الأطباء. أنتج النموذج الساذج تقديرات متحيزة لتأثير التدخل مع زيادة التسرب، مع تقديرات ناقصة تصل إلى 98% تحت ظروف تسرب سلبية قوية. على العكس، أظهر النموذج المعدل للشبكة قوة، حيث استعاد بدقة التأثيرات الحقيقية للتدخل والتسرب مع حد أدنى من الانحياز عبر سيناريوهات مختلفة. حافظ هذا النموذج على قوة عالية وراقب معدلات الخطأ من النوع الأول، حتى تحت ظروف التعرض غير المحددة، مما يبرز فعاليته في معالجة التلوث المتعلق بالشبكة في تحليلات التجارب السريرية.

مناقشة

في هذا القسم، يناقش المؤلفون تنفيذ وتحليل تجربة عشوائية مجمعة ذات تصميم متدرج (SW-CRT) تهدف إلى تقييم تدخل تعليمي قائم على لعبة الفيديو يهدف إلى تعزيز محادثات التخطيط للرعاية المتقدمة (ACP) بين المرضى الذين تم إدخالهم إلى المستشفى. تتضمن التجربة المستشفيات كوحدات عشوائية، مع الأطباء في هذه المستشفيات كمواضيع تتلقى التدخل. يتضمن النموذج متغيرات على مستوى المريض ($X_{ijt}$) ومتغيرات على مستوى المستشفى ($Z_j$) لأخذ في الاعتبار التباينات في مزيج حالات المرضى وخصائص المستشفى. يعتمد تحديد تأثير التدخل ($\beta_1$) على فرضية الاتجاهات المتوازية الشرطية، والتي يتم تخفيفها لاستيعاب تعقيدات تصميم SW-CRT.

يمتد المؤلفون إطار SW-CRT ليأخذ في الاعتبار التلوث المحتمل من خلال شبكات الأطباء، حيث قد يحدث التعرض للتدخل قبل الحالة الرسمية للتدخل في المستشفى. يقومون بإنشاء مصفوفة مجاورة موزونة ($A_t$) لتمثيل العلاقات بين الأطباء بناءً على اللقاءات المشتركة مع المرضى، مما يسمح بتقدير آثار التسرب. يتم تحسين النموذج بشكل أكبر لتقدير كل من التأثيرات المباشرة وغير المباشرة للتدخل، مما يكشف أن التعرض للتسرب يؤثر بشكل كبير على نتائج فواتير ACP. تشير النتائج إلى أنه بينما قد تتضاءل التأثيرات المباشرة للتدخل في وجود التسرب، يلعب انتشار سلوكيات التدخل عبر الشبكة دورًا حاسمًا في تشكيل ممارسات الأطباء عبر المستشفيات.

القيود

تسلط القيود المفروضة على الإطار المقترح لتحليلات التصميم المتدرج الضوء على تركيزه على مصدر واحد من الانحياز، وهو تسرب الشبكة، مع الاعتراف بالتأثير المحتمل لعوامل إضافية مثل التداخل المتغير مع الزمن، وتأثيرات العلاج غير المتجانسة، وعدم توازن المتغيرات. يمكن أن تعزز الأبحاث المستقبلية النموذج من خلال دمج التداخل الشبكي مع مقدرات قوية، كما اقترحت الدراسات السابقة (Abadie 2005؛ Athey وImbens 2022؛ Callaway وSant’Anna 2021؛ Sant’Anna وZhao 2020). تفترض الصياغة الحالية تأثيرات تسرب إضافية وتأثيرات زمنية ثابتة؛ ومع ذلك، فإن دمج الآليات غير الخطية والمعتمدة على الزمن أمر ضروري، حيث قد تختلف تأثيرات العلاج مع مدة التعرض، مما قد يؤدي إلى استنتاجات متحيزة إذا لم يتم أخذها في الاعتبار (Kenny et al. 2022؛ Maleyeff et al. 2023).

بالإضافة إلى ذلك، قد لا تكون نتائج دراسة الحالة، المشتقة من تدخل سلوكي بين الأطباء خلال جائحة COVID-19، قابلة للتطبيق على إعدادات أخرى. قد يؤدي الاعتماد على بيانات الفواتير لاستنتاج الشبكات المهنية، بينما تم التحقق منها في الأبحاث السابقة (Barnett et al. 2011؛ O’Malley et al. 2025)، إلى تجاهل التعاون غير الرسمي أو العابر، مما قد يؤدي إلى تقديرات ناقصة لآثار التسرب. أخيرًا، على الرغم من أن النموذج يلتقط بعض التغيرات في أنماط التعاون من خلال الشبكات المحدثة زمنياً، إلا أنه لا يعالج بشكل كامل التطور المستمر لشبكات الأطباء في العالم الحقيقي، مما يشير إلى الحاجة إلى نماذج مستقبلية لتضمين التغيرات الديناميكية في الشبكة بشكل صريح.

Journal: Health Services and Outcomes Research Methodology
DOI: https://doi.org/10.1007/s10742-025-00370-9
PMID: https://pubmed.ncbi.nlm.nih.gov/42079568
Publication Date: 2026-01-13
Author(s): Carly A. Bobak et al.
Primary Topic: Healthcare Systems and Technology

Overview

The research paper section discusses the challenges posed by spillover effects in stepped-wedge cluster-randomized trials (SW-CRTs), particularly in the context of a study evaluating a video-game intervention aimed at increasing Advance Care Planning (ACP) billing among hospitalists. The initial analysis revealed no significant direct intervention effect (OR 0.96, 95% CI 0.88-1.06, p = 0.42). However, when accounting for physician social networks derived from shared-patient encounters, the intervention’s effect appeared positive but still not statistically significant (OR 1.08, 95% CI 0.94-1.24, p = 0.26). Notably, spillover effects from peers who received the intervention were strongly associated with increased ACP billing (OR 1.20, 95% CI 1.13-1.27, p < 0.001). Further analysis using an as-treated model that included within-hospital connections indicated a strengthened and statistically significant intervention effect (OR 1.11, 95% CI 1.03-1.20, p = 0.006). The study found a positive interaction between direct intervention effects and spillover (OR 1.01, 95% CI 1.00-1.02, p = 0.03), suggesting that interventions are more effective in highly connected networks. Simulation results confirmed that neglecting spillover effects biases estimates toward the null, while network-adjusted models provide unbiased estimators. The findings emphasize the necessity of incorporating social network structures in SW-CRT analyses to accurately capture both direct and indirect effects of interventions, ultimately enhancing causal inference and the generalizability of results in healthcare research.

Introduction

The introduction of the research paper discusses the stepped wedge cluster randomized trial (SW-CRT), a longitudinal study design that has gained prominence for evaluating service delivery and policy interventions. Unlike traditional parallel cluster randomized trials, SW-CRTs involve a sequential crossover of clusters from control to intervention, allowing each cluster to provide data under both conditions. This design is particularly useful in real-world scenarios where logistical constraints may impede individual-level randomization. The paper cites the Gambia hepatitis intervention study as an early example of SW-CRT, demonstrating its adaptability to complex implementation challenges.

Despite its advantages, the SW-CRT design faces significant challenges, particularly concerning confounding due to its temporal structure. As clusters transition to the intervention phase over time, data collected under control conditions may reflect earlier calendar times, potentially conflating intervention effects with secular trends. Additionally, the standard analytical framework based on generalized linear regression models may not adequately account for complex within-cluster correlations or varying temporal effects, leading to biased treatment effect estimates. The paper highlights the risk of contamination between clusters, where exposure to the intervention can inadvertently influence control data, further complicating the estimation of treatment effects. To address these issues, the authors propose a network-based methodological framework that incorporates relational exposure measures, enabling the estimation of both direct and indirect intervention effects in the presence of spillover contamination. This approach aims to provide more accurate estimates of intervention effects, particularly in healthcare settings where clusters are interconnected.

Methods

In this section, the authors discuss enhancements to the network-based contamination methodology, specifically addressing dose-response effects and temporal heterogeneity. The framework allows for the modeling of intervention intensity through the variable \( NI_{ijt} \), which represents the number of encounters a patient has with intervention-exposed physicians. This approach leads to a dose-response formulation; however, the authors caution that conditioning on post-randomization variables like \( NI_{ijt} \) may introduce bias in causal interpretations.

Additionally, the methodology accommodates temporal variations by allowing the parameters \( \beta_1, \beta_2, \) and \( \beta_3 \) to change over time, denoted as \( \beta_{1t}, \beta_{2t}, \beta_{3t} \). This flexibility enables the testing of step-specific intervention or spillover effects. The authors note that these linear extensions provide manageable first-order approximations, which can be further developed into nonlinear or threshold-based diffusion models. Further details regarding the applicability of these extensions are provided in Section A.2 of the Supplemental Appendix.

Results

The results from a stepped wedge cluster-randomized clinical trial aimed at assessing the effectiveness of a video game intervention for hospitalists in promoting Advance Care Planning (ACP) conversations revealed no significant increase in ACP billing frequency. The trial, which included 163 hospitalists across 35 U.S. hospitals, reported a pooled odds ratio (OR) of 0.96 (95% CI 0.88-1.06, p = 0.42), indicating that the intervention did not achieve its intended effect. Notably, secondary analyses showed variability in the intervention’s impact, with initial increases in ACP billing during the first three steps of the trial, followed by declines in the latter stages, potentially influenced by the varying effects of the COVID-19 pandemic across different sites.

In a complementary simulation study, two modeling strategies were evaluated: a naïve stepped-wedge model that disregarded network structure and a network-adjusted model that accounted for physician spillover. The naïve model produced biased estimates of the intervention effect as spillover increased, with underestimations of up to 98% under strong negative spillover conditions. Conversely, the network-adjusted model demonstrated robustness, accurately recovering the true intervention and spillover effects with minimal bias across various scenarios. This model maintained high power and controlled type I error rates, even under misspecified exposure conditions, highlighting its effectiveness in addressing network-related contamination in clinical trial analyses.

Discussion

In this section, the authors discuss the implementation and analysis of a stepped-wedge cluster randomized trial (SW-CRT) designed to evaluate a video game-based educational intervention aimed at promoting Advance Care Planning (ACP) conversations among hospitalized patients. The trial involves hospitals as units of randomization, with physicians at these hospitals as the subjects receiving the intervention. The model incorporates patient-level covariates ($X_{ijt}$) and hospital-level covariates ($Z_j$) to account for variations in patient case-mix and hospital characteristics. The identification of the intervention effect ($\beta_1$) relies on a conditional parallel trends assumption, which is relaxed to accommodate the complexities of the SW-CRT design.

The authors extend the SW-CRT framework to account for potential contamination through physician networks, where exposure to the intervention may occur prior to a hospital’s official intervention status. They construct a weighted adjacency matrix ($A_t$) to represent the relationships between physicians based on shared patient encounters, allowing for the quantification of spillover effects. The model is further refined to estimate both direct and indirect effects of the intervention, revealing that spillover exposure significantly influences ACP billing outcomes. The findings suggest that while direct intervention effects may diminish in the presence of spillover, the network-mediated diffusion of intervention behaviors plays a crucial role in shaping physician practices across hospitals.

Limitations

The limitations of the proposed framework for stepped-wedge analyses highlight its focus on a single source of bias, specifically network spillover, while acknowledging the potential influence of additional factors such as time-varying confounding, heterogeneous treatment effects, and covariate imbalance. Future research could enhance the model by integrating network interference with robust estimators, as suggested by previous studies (Abadie 2005; Athey and Imbens 2022; Callaway and Sant’Anna 2021; Sant’Anna and Zhao 2020). The current formulation assumes additive spillover effects and static exposure-time effects; however, incorporating nonlinear and time-dependent mechanisms is essential, as treatment effects may vary with exposure duration, which can lead to biased inferences if not accounted for (Kenny et al. 2022; Maleyeff et al. 2023).

Additionally, the case study’s findings, derived from a behavioral intervention among hospitalists during the COVID-19 pandemic, may not be applicable to other settings. The reliance on billing data to infer professional networks, while validated in prior research (Barnett et al. 2011; O’Malley et al. 2025), may overlook informal or transient collaborations, potentially underestimating spillover effects. Lastly, although the model captures some changes in collaboration patterns through time-updated networks, it does not fully address the continuous evolution of real-world physician networks, suggesting a need for future models to explicitly incorporate dynamic network changes.