DOI: https://doi.org/10.2196/50275
PMID: https://pubmed.ncbi.nlm.nih.gov/39133915
تاريخ النشر: 2024-08-12
المؤلف: Michael S. Businelle وآخرون
الموضوع الرئيسي: مواضيع بحث الصحة النفسية
نظرة عامة
**نظرة عامة**
التقييم اللحظي البيئي (EMA) هو منهجية تسهل جمع البيانات في الوقت الحقيقي حول سلوكيات وتجارب المشاركين في بيئاتهم الطبيعية. على الرغم من مزاياها، فإن التبليغ الذاتي المتكرر المطلوب من قبل EMA يمكن أن يكون مرهقًا، مما قد يؤثر على الامتثال، وهو أمر حاسم لجمع البيانات بدقة. هدفت هذه الدراسة إلى تحديد عوامل التصميم المثلى لـ EMAs المعتمدة على الهواتف الذكية التي من شأنها تعزيز معدلات الإنجاز، باستخدام تصميم عاملي مع خمسة عوامل رئيسية: عدد الأسئلة في كل استبيان، عدد EMAs في اليوم، جدول التنبيه لـ EMA، نوع الدفع، ونوع مقياس الاستجابة.
شملت الدراسة 411 مشاركًا، أكملوا EMAs على مدار 28 يومًا. أظهرت النتائج أن المشاركين أكملوا متوسط 83.8% من EMAs المجدولة، دون وجود تأثيرات رئيسية أو تفاعلات ملحوظة بين عوامل التصميم على معدلات الامتثال. ومع ذلك، كشفت التحليلات الديموغرافية أن البالغين الأكبر سنًا، والأفراد الذين ليس لديهم تاريخ من مشاكل تعاطي المواد، والذين ليس لديهم اكتئاب حالي كانوا يميلون إلى تحقيق معدلات إنجاز أعلى. تشير النتائج إلى أنه على الرغم من أن عوامل التصميم التي تم فحصها لم تؤثر بشكل كبير على إنجاز EMA، فإن تخصيص بروتوكولات EMA للسلوكيات أو الفئات السكانية المحددة التي يتم دراستها قد يعزز الامتثال. وهذا يبرز أهمية تحقيق التوازن بين الحاجة لجمع بيانات مفصلة والعبء المحتمل على المشاركين.
مقدمة
تتناول مقدمة هذه الورقة البحثية التقييم اللحظي البيئي (EMA)، وهو منهجية لجمع البيانات في الوقت الحقيقي حول سلوكيات وتجارب المشاركين في بيئاتهم الطبيعية. تم استخدام EMA على نطاق واسع في علم السلوك للتحقيق في عوامل نفسية وبيئية مختلفة تؤثر على سلوكيات مثل التدخين، وتعاطي المواد، والنوم. تستخدم المنهجية استراتيجيات أخذ عينات تعتمد إما على الوقت أو الحدث، ولكل منها مزايا مميزة، بما في ذلك تقليل تحيز الاسترجاع والقدرة على تحليل الاتجاهات السلوكية في السياق. ومع ذلك، فإن التبليغ الذاتي المتكرر المطلوب من قبل EMA يمكن أن يؤدي إلى عبء على المشاركين وبيانات مفقودة، مما قد يهدد صلاحية النتائج.
تسلط الورقة الضوء على الدراسات السابقة التي استكشفت تأثير ميزات تصميم EMA على امتثال المشاركين، كاشفة عن نتائج مختلطة بشأن العلاقة بين تكرار أخذ العينات، وعدد العناصر، ومعدلات الامتثال. تشير التحليلات التراكمية إلى أن عوامل مثل مدة الدراسة، والخصائص الديموغرافية للمشاركين، وعناصر تصميم EMA تؤثر بشكل كبير على الامتثال، ومع ذلك، فإن التناقضات في التقارير تعيق إنشاء ممارسات أفضل واضحة. لمعالجة هذه الفجوات، تستخدم الدراسة الحالية تصميمًا عامليًا لتقييم منهجي لمختلف ميزات EMA – مثل عدد العناصر، وتكرار التنبيهات، وطرق التعويض، ومقاييس الاستجابة – بهدف تحديد الظروف المثلى لتعزيز الامتثال في EMAs المعتمدة على الهواتف الذكية. تأخذ الدراسة أيضًا في الاعتبار العوامل الديموغرافية والمتغيرات الزمنية لفهم تأثيراتها على معدلات إنجاز EMA على مدار 28 يومًا.
طرق البحث
في هذه الدراسة، تم استخدام الإحصائيات الوصفية لتلخيص الخصائص الديموغرافية للمشاركين وتفاعلهم مع تطبيق الهاتف الذكي المصمم للتقييم اللحظي البيئي (EMA). كانت المتغيرات الناتجة الرئيسية هي نسبة EMAs المكتملة خلال فترتين دراسيتين مدتهما 14 يومًا، تم حسابها عن طريق قسمة عدد EMAs المكتملة على إجمالي EMAs الممكنة (28 أو 56، اعتمادًا على تكرار EMA اليومي) وضربها في 100. تم إنشاء درجتين للامتثال لكل مشارك لتعكس الطبيعة الشخصية لاستجابات EMA. تم استخدام الانحدار الخطي متعدد المستويات لتحليل العلاقة بين عوامل التصميم المختلفة وامتثال EMA، مع تعديل عدة خصائص على مستوى الشخص، بما في ذلك الخصائص الديموغرافية وتاريخ الصحة النفسية.
شمل التحليل ترميز التأثير لخمس عوامل تصميم رئيسية: نوع دفع EMA، عدد EMAs في اليوم، عدد العناصر في كل EMA، جدول التنبيه، ومقياس استجابة EMA. سمح النموذج بتفاعلات بين هذه العوامل وشمل الوقت كمتغير مصاحب. تم تحديد حجم عينة يبلغ 416 كافياً لاكتشاف اختلافات ذات دلالة في معدلات إنجاز EMA، مع تحليل القوة الذي يشير إلى فرصة بنسبة 81% لاكتشاف فرق قدره 12 نقطة مئوية في معدلات الإنجاز. على مدار فترة 28 يومًا، حقق المشاركون معدل إنجاز إجمالي لـ EMA بلغ 83.8%. ومع ذلك، لم يتم العثور على تأثيرات رئيسية أو تفاعلات ملحوظة بشأن عوامل التصميم التي تؤثر على إنجاز EMA. حصل المشاركون على متوسط 102 دولار، مع تباين الأرباح بناءً على عدد EMAs المكتملة يوميًا.
النتائج
تحققت الدراسة في تأثير ميزات تصميم التقييم اللحظي البيئي (EMA) المختلفة على امتثال المشاركين، كاشفة أن عوامل مثل تكرار EMA (2 مقابل 4 في اليوم)، عدد العناصر (15 مقابل 25)، نوع التنبيه (ثابت مقابل عشوائي)، هيكل الدفع (دفع ثابت مقابل نسبة من الإنجازات)، ونوع الاستجابة (شريط منزلق مقابل مقياس ليكرت) لم تؤثر بشكل كبير على معدلات الإنجاز. يتماشى هذا مع النتائج المختلطة في الأبحاث السابقة، حيث أشارت بعض الدراسات إلى عدم وجود ارتباط بين عوامل التصميم والامتثال، بينما اقترحت دراسات أخرى أن عددًا أقل من التنبيهات قد يعزز الالتزام. من الجدير بالذكر أن العوامل الديموغرافية مثل العمر، وتاريخ تعاطي المواد، وأعراض الاكتئاب الحالية تم تحديدها كمؤشرات مهمة لإنجاز EMA، حيث أظهر البالغون الأكبر سنًا والذين ليس لديهم تاريخ من تعاطي المواد معدلات امتثال أعلى.
بالإضافة إلى ذلك، وجدت الدراسة أن الامتثال لـ EMA كان عمومًا أعلى في أيام الأسبوع وأثناء التقييمات المسائية، مما يشير إلى التوقيت الأمثل لتفاعل المشاركين. كانت قابلية استخدام تطبيق EMA، كما تم قياسها بواسطة مقياس قابلية الاستخدام للنظام (SUS)، مرتبطة أيضًا بشكل إيجابي بمعدلات الإنجاز، مما يشير إلى أن ثقة المستخدم وسهولة الاستخدام أمران حاسمان للالتزام. تشير هذه النتائج إلى أنه على الرغم من أن ميزات التصميم قد لا تؤثر بشكل مباشر على الامتثال، فإن تخصيص تنبيهات EMA لجدول المشاركين الفردي وضمان قابلية استخدام التطبيق العالية قد يعزز تفاعل المشاركين في دراسات EMA.
المناقشة
في هذه الدراسة، تم تجنيد 411 مشاركًا عبر إعلانات فيسبوك لتقييم تأثير عوامل تصميم التقييم اللحظي البيئي (EMA) المختلفة على معدلات الامتثال على مدار 28 يومًا. كان مطلوبًا من المشاركين تلبية معايير أهلية محددة، بما في ذلك العمر، والقدرة على القراءة، وتوافق الهواتف الذكية، وتم توزيعهم عشوائيًا في واحدة من 32 مجموعة تجريبية بناءً على خمسة أبعاد تصميم EMA: عدد العناصر، التكرار، نوع الدفع، توقيت التنبيه، ونوع مقياس الاستجابة. وجدت الدراسة أن المشاركين أظهروا معدلات امتثال عالية، حيث أكملوا متوسط 84.5% من EMAs في أيام الأسبوع و82.6% في عطلات نهاية الأسبوع، مع تأثر معدلات الإنجاز بعوامل ديموغرافية مثل العمر وحالة الصحة النفسية.
كشفت النتائج أنه على الرغم من أن عوامل التصميم التي تم فحصها لم تؤثر بشكل كبير على معدلات إنجاز EMA، فإن المشاركين الأصغر سنًا، والذين يعانون من الاكتئاب الحالي، والأفراد الذين لديهم تاريخ من تعاطي المواد كانوا أقل امتثالًا. تؤكد الدراسة على أهمية تحقيق التوازن بين الحاجة لجمع بيانات مفصلة في الوقت الحقيقي وعبء المشاركين، مقترحة أن بروتوكولات EMA يجب أن تكون مصممة لتناسب السلوكيات والفئات السكانية المحددة قيد التحقيق. ستستكشف التحليلات المستقبلية إمكانية تبادل مقاييس الاستجابة والقيمة التنبؤية للبيانات المجمعة من خلال تصميمات EMA المختلفة، مما يساهم في تحسين منهجيات EMA في البحث.
القيود
تقدم الدراسة عدة نقاط قوة، بما في ذلك تصميمها العشوائي المستقبلي وعينة كبيرة على مستوى البلاد من جميع الولايات الأمريكية تقريبًا. ومع ذلك، تؤثر القيود الملحوظة على إمكانية تعميم النتائج. تتكون العينة في الغالب من إناث بيض غير هسبانيين، مما قد لا يعكس تنوع السكان الأوسع. على الرغم من ذلك، لم تجد الدراسة أي اختلافات كبيرة في معدلات إنجاز التقييم اللحظي البيئي (EMA) بناءً على الجنس أو العرق. بالإضافة إلى ذلك، كانت توافقية تطبيق Insight محدودة على أجهزة Android خلال فترة جمع البيانات، على الرغم من أن Android كان له حصة سوقية كبيرة تبلغ 71.8% اعتبارًا من عام 2022.
تنشأ قيود إضافية من طرق التجنيد، حيث قد يختلف المشاركون المستمدون من دراسات تعتمد على الهواتف الذكية عن السكان العامين، لا سيما في راحتهم مع التكنولوجيا. كما أفادت الدراسة بوجود انتشار مرتفع بين المشاركين الذين يعانون من القلق أو الاكتئاب، مما يتماشى مع الاتجاهات التي لوحظت خلال جائحة COVID-19. ومن المثير للاهتمام، أن أيًا من العوامل التي تم فحصها لم تؤثر على امتثال EMA، مما يشير إلى أن التباينات في عوامل التصميم (مثل عدد الأسئلة) قد لا تكون كافية للتأثير بشكل كبير على معدلات الإنجاز. يمكن أن تستكشف الأبحاث المستقبلية اختلافات أكبر في معايير EMA لفهم تأثيراتها على الامتثال بشكل أفضل، حيث تم تصميم دراسة الحالية خصيصًا لتقييم قبول جداول EMA لإمكانية دمجها في التدخلات التكيفية في الوقت المناسب المعتمدة على الهواتف الذكية (JITAI).
DOI: https://doi.org/10.2196/50275
PMID: https://pubmed.ncbi.nlm.nih.gov/39133915
Publication Date: 2024-08-12
Author(s): Michael S. Businelle et al.
Primary Topic: Mental Health Research Topics
Overview
**Overview**
Ecological momentary assessment (EMA) is a methodology that facilitates the collection of real-time data on participants’ behaviors and experiences in their natural environments. Despite its advantages, the frequent self-reporting required by EMA can be burdensome, potentially affecting compliance, which is crucial for accurate data collection. This study aimed to identify optimal design factors for smartphone-based EMAs that would enhance completion rates, employing a factorial design with five key factors: the number of questions per survey, the number of EMAs per day, the EMA prompting schedule, payment type, and response scale type.
The study involved 411 participants, who completed EMAs over a 28-day period. Results showed that participants completed an average of 83.8% of scheduled EMAs, with no significant main effects or interactions among the design factors on compliance rates. However, demographic analyses revealed that older adults, individuals without a history of substance use problems, and those without current depression tended to have higher completion rates. The findings suggest that while the examined design factors did not significantly influence EMA completion, tailoring EMA protocols to the specific behaviors or populations being studied may enhance compliance. This highlights the importance of balancing the need for detailed data collection with the potential burden on participants.
Introduction
The introduction of this research paper discusses Ecological Momentary Assessment (EMA), a methodology for collecting real-time data on participants’ behaviors and experiences in their natural environments. EMA has been widely utilized in behavioral science to investigate various psychological and environmental factors influencing behaviors such as smoking, substance use, and sleep. The methodology employs either time-based or event-based sampling strategies, each with distinct advantages, including reduced recall bias and the ability to analyze behavioral trends in context. However, the frequent self-reporting required by EMA can lead to participant burden and missing data, which may compromise the validity of findings.
The paper highlights previous studies that have explored the impact of EMA design features on participant compliance, revealing mixed results regarding the relationship between sampling frequency, item count, and compliance rates. Meta-analyses indicate that factors such as study duration, participant demographics, and EMA design elements significantly influence compliance, yet inconsistencies in reporting hinder the establishment of clear best practices. To address these gaps, the current study employs a factorial design to systematically evaluate various EMA features—such as the number of items, frequency of prompts, compensation methods, and response scales—aiming to identify optimal conditions for enhancing compliance in smartphone-based EMAs. The study also considers demographic factors and temporal variables to further understand their effects on EMA completion rates over a 28-day period.
Methods
In this study, descriptive statistics were employed to summarize participant demographics and their engagement with a smartphone app designed for ecological momentary assessment (EMA). The primary outcome variable was the percentage of completed EMAs during two 14-day study periods, calculated by dividing the number of completed EMAs by the total possible EMAs (28 or 56, depending on the daily EMA frequency) and multiplying by 100. Two compliance scores were generated for each participant to reflect the within-person nature of the EMA responses. Multilevel linear regression was utilized to analyze the relationship between various design factors and EMA compliance, adjusting for several person-level characteristics, including demographics and mental health history.
The analysis included effect coding for five main design factors: EMA payment type, number of EMAs per day, number of items per EMA, prompt schedule, and EMA response scale. The model allowed for interactions among these factors and included time as a covariate. A sample size of 416 was determined to be sufficient for detecting meaningful differences in EMA completion rates, with power analyses indicating an 81% chance to detect a 12-percentage point difference in completion rates. Over the 28-day period, participants achieved an overall EMA completion rate of 83.8%. However, no significant main effects or interactions were found regarding the design factors influencing EMA completion. Participants earned an average of $102, with earnings varying based on the number of EMAs completed per day.
Results
The study investigated the influence of various Ecological Momentary Assessment (EMA) design features on participant compliance, revealing that factors such as EMA frequency (2 vs. 4 per day), number of items (15 vs. 25), prompt type (fixed vs. random), payment structure (fixed payment vs. percentage of completions), and response type (slider vs. Likert scale) did not significantly affect completion rates. This aligns with mixed findings in prior research, where some studies indicated no correlation between design factors and compliance, while others suggested that fewer prompts could enhance adherence. Notably, demographic factors such as age, substance use history, and current depressive symptoms were identified as significant predictors of EMA completion, with older adults and those without a history of substance use demonstrating higher compliance rates.
Additionally, the study found that EMA compliance was generally higher on weekdays and during evening assessments, suggesting optimal timing for participant engagement. The perceived usability of the EMA app, as measured by the System Usability Scale (SUS), was also positively correlated with completion rates, indicating that user confidence and ease of use are critical for adherence. These findings imply that while design features may not directly influence compliance, tailoring EMA prompts to individual schedules and ensuring high app usability could enhance participant engagement in EMA studies.
Discussion
In this study, 411 participants were recruited via Facebook advertisements to assess the impact of various ecological momentary assessment (EMA) design factors on compliance rates over a 28-day period. Participants were required to meet specific eligibility criteria, including age, literacy, and smartphone compatibility, and were randomized into one of 32 experimental groups based on five EMA design dimensions: number of items, frequency, payment type, prompt timing, and response scale type. The study found that participants demonstrated high compliance rates, completing an average of 84.5% of EMAs on weekdays and 82.6% on weekends, with completion rates influenced by demographic factors such as age and mental health status.
The findings revealed that while the examined design factors did not significantly affect EMA completion rates, younger participants, those with current depression, and individuals with a history of substance use were less compliant. The study emphasizes the importance of balancing the need for detailed, real-time data collection with participant burden, suggesting that EMA protocols should be tailored to the specific behaviors and populations under investigation. Future analyses will explore the interchangeability of response scales and the predictive value of data collected through different EMA designs, contributing to the optimization of EMA methodologies in research.
Limitations
The study presents several strengths, including its prospective, randomized design and a large, nationwide sample from nearly all U.S. states. However, notable limitations affect the generalizability of the findings. The sample predominantly consisted of non-Hispanic White females, which may not reflect the diversity of the broader population. Despite this, the study found no significant differences in Ecological Momentary Assessment (EMA) completion rates based on sex or race. Additionally, the Insight app’s compatibility was limited to Android devices during the data collection period, although Android held a substantial market share of 71.8% as of 2022.
Further limitations arise from the recruitment methods, as participants drawn from remote smartphone-based studies and Facebook may differ from the general population, particularly in their comfort with technology. The study also reported a high prevalence of participants experiencing anxiety or depression, aligning with trends observed during the COVID-19 pandemic. Interestingly, none of the examined factors influenced EMA compliance, suggesting that the variations in design factors (e.g., the number of questions) may not have been substantial enough to impact completion rates significantly. Future research could explore larger differences in EMA parameters to better understand their effects on compliance, as the current study’s design was specifically tailored to evaluate the acceptability of EMA schedules for potential integration into smartphone-based Just-In-Time Adaptive Interventions (JITAI).