DOI: https://doi.org/10.1007/s40271-024-00672-z
PMID: https://pubmed.ncbi.nlm.nih.gov/38363501
تاريخ النشر: 2024-02-16
المؤلف: Nicola B. Campoamor وآخرون
الموضوع الرئيسي: التقييم الاقتصادي والبيئي
نظرة عامة
تناقش هذه الفقرة الدور الحاسم للاختبار المسبق في تصميم تجارب الاختيار المنفصل (DCEs)، والتي تُستخدم عادةً لتقييم تفضيلات المرضى وصانعي القرار في الرعاية الصحية. يتضمن الاختبار المسبق التفاعل مع ممثلين من السكان المستهدفين لتعزيز قابلية القراءة، والعرض، وهيكل أداة التفضيل، مما يحسن من صحة، وموثوقية، وملاءمة الاستطلاع. يبرز المؤلفون أنه على الرغم من أهمية الاختبار المسبق، إلا أن هناك نقصًا في الممارسات المثلى الموثقة والأمثلة التطبيقية في الأدبيات.
تهدف الورقة إلى تعريف الاختبار المسبق في سياق DCEs، وتقديم دليل عملي مع نموذج مناقشة مقابلة للاختبار المسبق للباحثين، وتوضيح هذه المفاهيم من خلال دراسة حالة تركز على التوازن بين الخصوصية الشخصية والفائدة المجتمعية في علم الأنساب الجيني الاستقصائي (IGG). يستنتج المؤلفون أنه من خلال تقديم إرشادات منظمة وتطبيقها من خلال نموذج، يمكن لعملهم أن يسهم في إنشاء ممارسات جيدة في الاختبار المسبق، مما يعزز في النهاية جودة وفائدة أبحاث التفضيل لصانعي القرار.
مقدمة
تناقش مقدمة الورقة الاستخدام المتزايد لتجارب الاختيار المنفصل (DCEs) في أبحاث الصحة لتقييم تفضيلات المرضى والمساهمين. يُعزى هذا النمو إلى أساس نظري قوي، وممارسات بحثية راسخة، وزيادة الاهتمام من صانعي القرار. يؤكد المؤلفون على أهمية ضمان جودة وصحة DCEs، حيث تعتمد مصداقية النتائج بشكل كبير على عملية التصميم. تشمل مؤشرات الجودة الرئيسية الصحة، والموثوقية، والتوافق مع أسئلة البحث، وتركيز المريض، وقابلية الفهم، وكلها تتطلب عملية تصميم صارمة تشمل تجميع الأدلة، واستشارة الخبراء، ومشاركة المساهمين، والاختبار المسبق، واختبار الطيار.
على الرغم من توفر إرشادات حول جوانب مختلفة من تصميم DCE، إلا أن الأدبيات تفتقر إلى منهجيات شاملة للاختبار المسبق لـ DCEs. غالبًا ما تقدم الدراسات الحالية رؤى محدودة حول أساليبها في الاختبار المسبق، مما يبرز الحاجة إلى إجراءات موحدة. تهدف هذه الورقة إلى معالجة هذه الفجوة من خلال تعريف الاختبار المسبق في سياق DCE، وتقديم دليل عملي ونموذج مناقشة مقابلة للباحثين، وتوضيح تطبيق هذه الموارد من خلال دراسة حالة على أداة DCE التي تقيم التوازنات بين الخصوصية الشخصية والفوائد المجتمعية في علم الأنساب الجيني الاستقصائي (IGG).
النتائج
في قسم النتائج، تُبلغ الدراسة عن الاختبار المسبق لتجربة اختيار منفصل (DCE) تشمل 17 مقابلة مع مجموعة متنوعة من المشاركين في الولايات المتحدة. كشفت المقابلات، التي استغرقت في المتوسط 50 دقيقة، عن تحديات كبيرة في فهم المشاركين للسمات والمستويات المعروضة في DCE. لتعزيز الفهم، أعاد فريق البحث صياغة السمات لتشمل فوائد ذات مغزى وقام بتشفير الألوان للمستويات لتسهيل المقارنة، مما أدى إلى إكمال المهام بشكل أسرع وزيادة اليقين في اختيارات المشاركين.
بالإضافة إلى ذلك، تم استبدال فيديو تعليمي أولي بوصف موجز للمصطلحات ذات الصلة وأسئلة فهم، مما أدى إلى تحسين الفهم بين المشاركين. أدت عملية الاختبار المسبق التكرارية إلى تعديلات متنوعة، بما في ذلك إعادة ترتيب وإعادة صياغة السمات، وإسقاط سمة “تحديد البقايا غير المعروفة” لصالح “تركيز الضحية”، وإدراج خيار الانسحاب للمشاركين المعارضين لاستخدام IGG. كانت هذه التغييرات مستندة إلى ملاحظات المشاركين، مما عزز في النهاية وضوح وملاءمة DCE.
المناقشة
في هذا القسم، يناقش المؤلفون الدور الحاسم للاختبار المسبق في تطوير تجارب الاختيار المنفصل (DCEs)، مؤكدين على أهميته في تعزيز صحة الاستطلاع ومشاركة المشاركين. يتضمن الاختبار المسبق تحديد وتصحيح المشكلات داخل أدوات الاستطلاع من خلال طلب الملاحظات من أعضاء السكان المستهدفين. يبرز المؤلفون مجموعة متنوعة من منهجيات الاختبار المسبق، بما في ذلك المقابلات المعرفية، والمناقشات، والترميز السلوكي، ومنهجيات التصميم المشترك، كل منها يهدف إلى تحسين الوضوح، والهيكل، والجودة العامة للاستطلاع. يقترحون تعريفًا جديدًا للاختبار المسبق خصيصًا لـ DCEs، مؤكدين على طبيعته التكرارية والتفاعل التعاوني بين الباحثين والمشاركين.
يقدم المؤلفون دليلًا عمليًا منظمًا في أربعة مجالات تقييم—المحتوى، والعرض، والفهم، والاستنباط—مصممًا لمساعدة الباحثين في إجراء اختبارات مسبقة شاملة لـ DCEs. يوضحون تطبيق هذا الدليل من خلال دراسة حالة حول تفضيلات الجمهور بشأن علم الأنساب الجيني الاستقصائي (IGG)، مما يوضح كيف يمكن أن يؤدي الاختبار المسبق إلى تحسينات كبيرة في تصميم الاستطلاع. تختتم المناقشة بدعوة إلى مزيد من الشفافية في ممارسات الاختبار المسبق ضمن أبحاث DCE، داعية إلى إنشاء معايير ومؤشرات النجاح لتعزيز جودة دراسات استنباط التفضيل. بشكل عام، يؤكد المؤلفون أن الاختبار المسبق الشامل ضروري لإنتاج DCEs موثوقة وذات صلة تُعلم بشكل فعال عمليات اتخاذ القرار.
DOI: https://doi.org/10.1007/s40271-024-00672-z
PMID: https://pubmed.ncbi.nlm.nih.gov/38363501
Publication Date: 2024-02-16
Author(s): Nicola B. Campoamor et al.
Primary Topic: Economic and Environmental Valuation
Overview
This section discusses the critical role of pretesting in the design of discrete-choice experiments (DCEs), which are commonly employed to assess the preferences of patients and decision-makers in healthcare. Pretesting involves engaging with representatives from the target population to enhance the readability, presentation, and structure of the preference instrument, thereby improving the validity, reliability, and relevance of the survey. The authors highlight that despite the importance of pretesting, there is a lack of documented best practices and applied examples in the literature.
The paper aims to define pretesting within the context of DCEs, provide a practical guide along with a pretesting interview discussion template for researchers, and illustrate these concepts through a case study focused on the trade-offs between personal privacy and societal benefit in investigative genetic genealogy (IGG). The authors conclude that by offering structured guidance and operationalizing it through a template, their work can contribute to the establishment of good practices in pretesting, ultimately enhancing the quality and utility of preference research for decision-makers.
Introduction
The introduction of the paper discusses the increasing utilization of discrete-choice experiments (DCEs) in health research to assess the preferences of patients and stakeholders. This growth is attributed to a solid theoretical foundation, established research practices, and heightened interest from decision-makers. The authors emphasize the importance of ensuring the quality and validity of DCEs, as the credibility of findings significantly relies on the design process. Key quality indicators include validity, reliability, alignment with research questions, patient-centricity, and comprehensibility, all of which necessitate a rigorous design process involving evidence synthesis, expert consultation, stakeholder engagement, pretesting, and pilot testing.
Despite the availability of guidance on various aspects of DCE design, the literature lacks comprehensive methodologies for pretesting DCEs. Existing studies often provide limited insights into their pretesting approaches, highlighting a need for standardized procedures. This paper aims to address this gap by defining pretesting within the DCE context, offering a practical guide and interview discussion template for researchers, and illustrating the application of these resources through a case study on a DCE instrument that evaluates trade-offs between personal privacy and societal benefits in investigative genetic genealogy (IGG).
Results
In the results section, the study reports on the pretesting of a Discrete Choice Experiment (DCE) involving 17 interviews with a diverse group of participants in the USA. The interviews, averaging 50 minutes, revealed significant challenges in participants’ understanding of the attributes and levels presented in the DCE. To enhance comprehension, the research team reframed the attributes to include meaningful benefits and color-coded the levels for easier comparison, which resulted in quicker task completion and increased certainty in participant choices.
Additionally, an initial educational video was replaced with a concise description of relevant terms and comprehension questions, leading to improved understanding among participants. The iterative pretesting process prompted various modifications, including reordering and rewording attributes, dropping the “identification of unknown remains” attribute in favor of “victim focus,” and incorporating an opt-out option for participants opposed to the use of IGG. These changes were informed by participant feedback, ultimately enhancing the clarity and relevance of the DCE.
Discussion
In this section, the authors discuss the critical role of pretesting in the development of Discrete-Choice Experiments (DCEs), emphasizing its importance in enhancing survey validity and participant engagement. Pretesting involves identifying and rectifying issues within survey instruments by soliciting feedback from target population members. The authors highlight various pretesting methodologies, including cognitive interviewing, debriefing, behavioral coding, and codesign approaches, each aimed at improving the clarity, structure, and overall quality of the survey. They propose a novel definition of pretesting specifically for DCEs, underscoring its iterative nature and the collaborative engagement between researchers and participants.
The authors present a practical guide organized into four assessment domains—content, presentation, comprehension, and elicitation—designed to aid researchers in conducting thorough pretests of DCEs. They illustrate the application of this guide through a case study on public preferences regarding investigative genetic genealogy (IGG), demonstrating how pretesting can lead to significant improvements in survey design. The discussion concludes with a call for greater transparency in pretesting practices within DCE research, advocating for the establishment of norms and indicators of success to enhance the quality of preference elicitation studies. Overall, the authors assert that comprehensive pretesting is essential for producing reliable and relevant DCEs that effectively inform decision-making processes.