“يجب أن تكون ذات صلة وموثوقة وقابلة للتطبيق”: تقديم FACE، أداة لتقييم صلاحية الواجهة للتجارب الاختيارية “It should be relevant, reliable and feasible”: Introducing FACE, an instrument for assessing the face validity of choice experiments

شارك:
المجلة: Journal of Choice Modelling، المجلد: 59
DOI: https://doi.org/10.1016/j.jocm.2026.100609
تاريخ النشر: 2026-04-21
المؤلف: Annamarie de Ruijter وآخرون
الموضوع الرئيسي: التقييم الاقتصادي والبيئي

نظرة عامة

تناقش هذه الفقرة مفهوم الصلاحية الظاهرة في تجارب الاختيار، مع التأكيد على أهميتها في ضمان أن المشاركين منخرطون بفعالية ويفسرون المعلومات المقدمة بدقة. على الرغم من أهميتها، غالبًا ما يتم تجاهل الصلاحية الظاهرة في تقييم تجارب الاختيار، ولا توجد أدوات شاملة لتقييمها. يقدم هذه الدراسة أداة صلاحية الوجه لتجارب الاختيار (FACE)، التي تقيم بشكل منهجي الصلاحية الظاهرة بناءً على تسعة مكونات محددة: الوضوح، الاكتمال، اليقين في القرار، الألفة، الجدوى، القابلية للقراءة، الصلة، الحساسية، والشفافية.

تتكون أداة FACE من 13 بيانًا يتم تقييمها على مقياس ليكرت من 5 نقاط وتم اختبارها مع 1,020 مشاركًا بعد تجربة اختيار منفصلة تتعلق بالاستعداد لجائحة COVID-19 في هولندا. أشارت النتائج إلى أن الصلاحية الظاهرة لتجربة الاختيار تأثرت بتصورات المشاركين حول صلة الدراسة وموثوقيتها وجدواها. ومن الجدير بالذكر أن الصلة والموثوقية كانت مرتبطة ارتباطًا وثيقًا بخصائص تصميم الاستطلاع، بينما كانت الجدوى مرتبطة أكثر بخصائص المشاركين الاجتماعية والديموغرافية. كانت التقييمات الأعلى للصلاحية الظاهرة مرتبطة بالمشاركين الأصغر سنًا، والذكور، وذوي التعليم المنخفض، والمطعمين الذين كانوا منخرطين بنشاط في التجربة. تختتم الدراسة بوضع FACE كأداة أولية تتطلب مزيدًا من التعديل والتحقق، مقدمة توصيات لتحسينها في الأبحاث المستقبلية.

مقدمة

تناقش مقدمة هذه الورقة البحثية أهمية تجارب الاختيار، وخاصة تجارب الاختيار المنفصلة (DCEs)، وتقييم أفضل وأسوأ (BWS)، وتقييم القيمة التشاركي (PVE)، في فهم التفضيلات للسياسات والتقنيات والخدمات المختلفة عبر مجالات مثل الصحة والبيئة والنقل والتسويق. يؤكد المؤلفون على أهمية انخراط المشاركين وفهمهم لضمان صلاحية هذه التجارب، وهو أمر حاسم لقياس التفضيلات بدقة التي لا يمكن ملاحظتها مباشرة. يبرزون الحاجة إلى التحقق الدقيق من تجارب الاختيار، مع التركيز على كل من الصلاحية الداخلية والخارجية، بالإضافة إلى جوانب أوسع مثل المحتوى، والبناء، والصلاحية المتقاربة.

توجد فجوة ملحوظة تم تحديدها في الأدبيات وهي عدم الاهتمام الكافي بالصلاحية الظاهرة، والتي تتعلق بمدى فهم المشاركين وتفسيرهم لسيناريوهات الاختيار المقدمة لهم. يجادل المؤلفون بأن الصلاحية الظاهرة ضرورية لضمان أن تعكس اختيارات المستجيبين تفضيلاتهم الحقيقية. يقترحون نهجًا منهجيًا لتقييم الصلاحية الظاهرة، والتي تم تجاهلها إلى حد كبير في الدراسات الحالية. تهدف الورقة إلى تفعيل مفهوم الصلاحية الظاهرة، وتطوير أداة تقييم شاملة، وتطبيقها في دراسة حالة DCE لتحديد المكونات الرئيسية التي تعزز الصلاحية الظاهرة. ستفصل الأقسام التالية المنهجية والنتائج ومناقشة النتائج.

الطرق

تم هيكلة منهجية هذه الدراسة في أربع خطوات رئيسية، كما هو موضح في الشكل 1. أولاً، تم تطوير أداة تقييم الصلاحية الظاهرة من خلال مراجعة أدبية استكشافية. ثم تم تطبيق هذه الأداة في دراسة حالة لتجربة اختيار منفصلة (DCE) لجمع بيانات تجريبية. بعد هذا التطبيق، خضعت الأداة لعملية تحقق لضمان موثوقيتها وفعاليتها. تتضمن الخطوة النهائية تقديم إرشادات حول كيفية استخدام الأداة لتقييم الصلاحية الظاهرة لتجارب الاختيار بشكل منهجي. تفصل أقسام الورقة 2 و3 المراحل الثلاث الأولى، بينما تتناول قسم المناقشة المرحلة الرابعة. بالإضافة إلى ذلك، تتضمن الدراسة رؤى نوعية لتعزيز فهم صلاحية الأداة بما يتجاوز القياسات الكمية.

النتائج

تتناول قسم النتائج تطوير وتطبيق والتحقق من الأداة المقترحة. يوضح الأساليب المستخدمة في إنشاء الأداة، بما في ذلك أي تحليلات إحصائية أو تصاميم تجريبية استخدمت لتقييم فعاليتها. تشير النتائج إلى أن الأداة تظهر درجة عالية من الموثوقية والصلاحية، كما يتضح من نتائج الاختبارات والتقييمات المختلفة التي أجريت خلال عملية التحقق.

علاوة على ذلك، أسفر تطبيق الأداة في سيناريوهات العالم الحقيقي عن رؤى مهمة، مؤكدة فائدتها في مجال الدراسة المقصود. تشير النتائج إلى أن الأداة لا تلبي فقط التوقعات النظرية ولكنها توفر أيضًا فوائد عملية، مما يعزز فهم الظواهر التي تم تصميمها لقياسها. بشكل عام، تؤكد النتائج على التأثير المحتمل للأداة على الأبحاث والتطبيقات المستقبلية ضمن هذا المجال.

المناقشة

في هذه الدراسة، طور المؤلفون أداة FACE لتقييم الصلاحية الظاهرة لتجارب الاختيار بشكل منهجي، مع التركيز على تسعة مكونات تم تحديدها من الأدبيات. تم تفعيل هذه المكونات—الوضوح، الاكتمال، اليقين في القرار، الألفة، الجدوى، القابلية للقراءة، الصلة، الحساسية، والشفافية—في 14 بيانًا. أظهر التطبيق الأولي لـ FACE في تجربة اختيار منفصلة (DCE) تتعلق بالاستعداد لـ COVID-19 في هولندا أن تصورات المشاركين حول صلة تصميم الدراسة وموثوقيتها وجدواها أثرت بشكل كبير على الصلاحية الظاهرة العامة. ومن الجدير بالذكر أن الصلة والموثوقية كانت مرتبطة بشكل أكبر بتصميم الاستطلاع وخصائص مشكلة القرار، بينما كانت الجدوى مرتبطة بعوامل المشاركين الاجتماعية والديموغرافية.

أظهر تحقق أداة FACE اتساقًا داخليًا قويًا (ألفا كرونباخ = 0.831) وحدد ثلاثة عوامل رئيسية تؤثر على الصلاحية الظاهرة: الصلة، الموثوقية، والجدوى. يؤكد المؤلفون أن FACE هي نسخة أولية تتطلب مزيدًا من التعديل والتحقق. لتعزيز الأداة، تم إجراء دراسة تفكير بصوت عالٍ لجمع رؤى نوعية حول كيفية تفسير المستجيبين لبيانات FACE، مما يدل على الالتزام بتحسين فعالية الأداة في تقييم الصلاحية الظاهرة في الأبحاث المستقبلية.

Journal: Journal of Choice Modelling, Volume: 59
DOI: https://doi.org/10.1016/j.jocm.2026.100609
Publication Date: 2026-04-21
Author(s): Annamarie de Ruijter et al.
Primary Topic: Economic and Environmental Valuation

Overview

The section discusses the concept of face validity in choice experiments, emphasizing its significance in ensuring that participants are effectively engaged and accurately interpreting the information presented. Despite its importance, face validity is often neglected in the assessment of choice experiments, and no comprehensive tools for its evaluation exist. This study introduces the FAce validity of Choice Experiments (FACE) instrument, which systematically assesses face validity based on nine identified components: clarity, completeness, decision certainty, familiarity, feasibility, legibility, relevance, sensitivity, and transparency.

The FACE instrument comprises 13 statements rated on a 5-point Likert scale and was tested with 1,020 participants following a discrete choice experiment related to COVID-19 pandemic preparedness in the Netherlands. Results indicated that the face validity of the choice experiment was influenced by participants’ perceptions of the study’s relevance, reliability, and feasibility. Notably, relevance and reliability were closely linked to survey design characteristics, while feasibility correlated more with participants’ socio-demographic traits. Higher face validity ratings were associated with younger, male, lower-educated, vaccinated participants who were actively engaged in the experiment. The study concludes by positioning FACE as an initial tool that requires further refinement and validation, offering recommendations for its enhancement in future research.

Introduction

The introduction of this research paper discusses the significance of choice experiments, particularly Discrete Choice Experiments (DCEs), Best-Worst Scaling (BWS), and Participatory Value Evaluation (PVE), in understanding preferences for various policies, technologies, and services across fields such as health, environment, transport, and marketing. The authors emphasize the importance of participant engagement and comprehension in ensuring the validity of these experiments, which is critical for accurately measuring preferences that cannot be directly observed. They highlight the need for rigorous validation of choice experiments, focusing on both internal and external validity, as well as broader aspects such as content, construct, and convergent validity.

A notable gap identified in the literature is the insufficient attention given to face validity, which pertains to how well participants understand and interpret the choice scenarios presented to them. The authors argue that face validity is crucial for ensuring that respondents’ choices reflect their true preferences. They propose a systematic approach to assess face validity, which has been largely overlooked in existing studies. The paper aims to operationalize the concept of face validity, develop a comprehensive assessment instrument, and apply it in a DCE case study to identify key components that enhance face validity. The subsequent sections will detail the methodology, results, and discussion of the findings.

Methods

The methodology of this study is structured into four key steps, as illustrated in Figure 1. First, a face validity assessment instrument was developed through an exploratory literature review. This instrument was then applied in a discrete choice experiment (DCE) case study to gather empirical data. Following this application, the instrument underwent a validation process to ensure its reliability and effectiveness. The final step involves providing guidance on how the instrument can be utilized to systematically assess the face validity of choice experiments. The paper’s Sections 2 and 3 detail the first three stages, while the discussion section addresses the fourth stage. Additionally, the study incorporates qualitative insights to enhance the understanding of the instrument’s validity beyond quantitative measures.

Results

The results section details the development, application, and validation of the proposed instrument. It outlines the methodologies employed in the instrument’s creation, including any statistical analyses or experimental designs used to assess its effectiveness. The findings indicate that the instrument demonstrates a high degree of reliability and validity, as evidenced by the results of various tests and evaluations conducted during the validation process.

Furthermore, the application of the instrument in real-world scenarios yielded significant insights, confirming its utility in the intended field of study. The results suggest that the instrument not only meets the theoretical expectations but also provides practical benefits, enhancing the understanding of the phenomena it was designed to measure. Overall, the findings underscore the instrument’s potential impact on future research and applications within the discipline.

Discussion

In this study, the authors developed the FACE instrument to systematically assess the face validity of choice experiments, focusing on nine components identified from the literature. These components—clarity, completeness, decision certainty, familiarity, feasibility, legibility, relevance, sensitivity, and transparency—were operationalized into 14 statements. The initial application of FACE in a discrete choice experiment (DCE) concerning COVID-19 preparedness in the Netherlands revealed that participants’ perceptions of the study design’s relevance, reliability, and feasibility significantly influenced the overall face validity. Notably, relevance and reliability were more closely associated with the survey design and decision problem characteristics, while feasibility was linked to participants’ socio-demographic factors.

The validation of the FACE instrument demonstrated strong internal consistency (Cronbach’s Alpha = 0.831) and identified three main factors influencing face validity: relevance, reliability, and feasibility. The authors emphasize that FACE is a preliminary version requiring further refinement and validation. To enhance the instrument, a think-aloud study was conducted to gather qualitative insights on how respondents interpreted the FACE statements, indicating a commitment to improving the instrument’s effectiveness in assessing face validity in future research.