DOI: https://doi.org/10.1007/s40300-024-00276-5
تاريخ النشر: 2024-09-26
المؤلف: Miloš Kankaraš وآخرون
الموضوع الرئيسي: المنهجيات النفسية والاختبار
نظرة عامة
تستكشف هذه الدراسة تأثير تضمين خيار استجابة “محايد” في منتصف المقياس في مقاييس ليكرت، وهي أداة شائعة في العلوم الاجتماعية. بينما يمكن أن يؤدي تضمين فئة محايدة إلى تحسين الخصائص النفسية لأدوات الاستطلاع، فقد أثيرت مخاوف بشأن إساءة استخدامها من قبل المستجيبين. لاستكشاف ذلك، أجرى الباحثون تجربتين استطلاعيتين – واحدة بتصميم بين الموضوعات والأخرى بتصميم داخل الموضوعات – حيث تم تحليل اثني عشر مقياس شخصية مع وبدون خيار الاستجابة المحايد.
تشير النتائج إلى أن المقاييس التي تتضمن فئة محايدة تظهر خصائص نفسية محسّنة، خاصة من حيث الموثوقية ونسبة التباين المفسر بواسطة العوامل الأولى. علاوة على ذلك، تشير النتائج إلى أن الغالبية العظمى من المستجيبين يستخدمون الخيار المحايد بشكل مناسب. ومع ذلك، تكشف الدراسة أيضًا أن أقلية من المستجيبين قد تلجأ إلى الاستجابة المحايدة كخيار “هروب”، خاصة في سياق الأسئلة الحساسة اجتماعيًا. وهذا يبرز الحاجة إلى اعتبار دقيق في تصميم أدوات الاستطلاع لتحقيق التوازن بين فوائد الاستجابة المحايدة وإمكانية إساءة استخدامها.
مقدمة
تناقش المقدمة الاستخدام الواسع لمقاييس تقييم ليكرت في التقييمات النفسية، مع التأكيد على قدرتها على التقاط الاستجابات الدقيقة عبر أبعاد مختلفة مثل الاتفاق، التكرار، والأهمية. على عكس الأسئلة الثنائية، توفر مقاييس ليكرت فهمًا أكثر تفصيلاً لمواقف المستجيبين، لكنها أيضًا تقدم تحديات، خاصة فيما يتعلق بتضمين خيار في منتصف المقياس. يمكن أن تؤدي وجود فئة محايدة إلى تفسيرات متنوعة بين المستجيبين، مما قد يؤثر على موثوقية وصلاحية البيانات المجمعة. تعقّد قضايا مثل أنماط الاستجابة، والتحيزات الاجتماعية، والعبء المعرفي المرتبط بصيغ المقاييس المختلفة الاستخدام الفعال لهذه المقاييس.
تهدف الورقة إلى التحقيق في تداعيات استخدام فئة في منتصف المقياس في سياق تقييم المهارات غير المعرفية لبرنامج منظمة التعاون والتنمية الاقتصادية (OECD) لتقييم كفاءات البالغين (PIAAC). تسعى لتحديد ما إذا كان يتم استخدام منتصف المقياس بشكل صحيح ليعكس موقفًا محايدًا وما إذا كان تضمينه يعزز أو يقلل من الخصائص النفسية للمقاييس المستخدمة. ستستكشف الدراسة أيضًا العوامل التي تؤثر على ميول المستجيبين لاستخدام خيار الاستجابة المحايد بشكل مناسب. ستفصل الأقسام التالية المنهجية، وتقدم إحصاءات وصفية ونتائج، وتناقش تداعيات النتائج.
الطرق
تستخدم البحث بيانات من دراسة تجريبية لبرنامج OECD PIAAC حول المهارات غير المعرفية لتقييم كفاءات البالغين عبر البلدان. كان الهدف الرئيسي للدراسة هو تطوير واختبار مقاييس غير معرفية لإمكانية تضمينها في الدراسة الرئيسية لـ PIAAC. لتقييم فعالية فئة الاستجابة المحايدة في مقاييس الاستطلاع، تم تنفيذ تصميمين تجريبيين: تصميم بين الموضوعات، حيث تم تعيين المستجيبين عشوائيًا إلى مقاييس مع أو بدون خيار محايد، وتصميم داخل الموضوعات، حيث أجاب نفس المستجيبين على كلا النسختين. تم إجراء الاستطلاع عبر الإنترنت باللغة الإنجليزية من مايو إلى يونيو 2015، وشمل مقاييس شخصية متنوعة وهدف لضمان سلامة الخصائص النفسية للمقاييس المستخدمة.
تشير النتائج إلى أن موثوقية المقاييس، التي تم قياسها بواسطة ألفا كرونباخ، كانت عمومًا عالية عبر الظروف، مع زيادة ملحوظة في الموثوقية في تصميم داخل الموضوعات. كشفت تحليلات العوامل أن العوامل الأولى فسرت نسبة أعلى من التباين في وجود خيار الاستجابة المحايد، مما يشير إلى زيادة بنحو 8% من حيث النسبة. أظهرت تحليلات الارتباط مع المتغيرات السابقة والنتائج أن المقاييس التي تحتوي على فئة استجابة محايدة أظهرت موثوقية وصلاحية تنبؤية أعلى، خاصة فيما يتعلق بالرضا الوظيفي والحياتي. على الرغم من أنه لم يكن من الممكن حساب الدلالة الإحصائية للاختلافات في التباين المفسر، تدعم النتائج الفرضية القائلة بأن تضمين خيار الاستجابة المحايد يعزز الخصائص النفسية للمقاييس.
النتائج
في قسم النتائج، يقدم المؤلفون تحليلًا شاملاً للخصائص النفسية لمختلف المقاييس عبر حالتين تجريبيتين (A و B) وتصاميم مختلفة (بين الموضوعات وداخل الموضوعات). يتم تقديم إحصاءات وصفية، تليها تحليل عامل لتقييم التباين الذي تم حسابه بواسطة العوامل الأولى للمقاييس. يتم تقييم صلاحية البناء من خلال الارتباطات مع المتغيرات السابقة والنتائج، مع التركيز بشكل خاص على المشاركين الذين اختاروا الفئة المحايدة في الحالة A واستجاباتهم في الحالة B. يتم أيضًا إجراء تحليل نظرية استجابة العناصر (IRT) للتحقيق في استخدام فئة الاستجابة المحايدة بين المستجيبين.
يستخدم تحليل IRT نموذج الائتمان الجزئي لـ 12 مقياسًا، حيث يتم فحص منحنيات خصائص الفئة (CCC) لتقييم الخصائص النفسية لفئات الاستجابة الفردية. تشير CCC إلى احتمال تأييد استجابة معينة بناءً على مستوى السمة الكامنة للمستجيب. تظهر النتائج أن CCC للفئة المحايدة تقع بين الفئات المجاورة (“موافق” و “غير موافق”)، مما يتماشى مع التوقعات النظرية لتوزيع طبيعي مركزي حول متوسط السمة الكامنة. بينما يتم استخدام الفئة المحايدة بشكل مناسب عمومًا، يتم ملاحظة اختلافات في توزيع وارتفاع القمة لـ CCC عبر المقاييس، مع ملاحظة بعض المقاييس التي تظهر انزياحًا نحو اليسار في منحنى الفئة المحايدة في حالات الانحراف السلبي القوي. بشكل عام، تشير النتائج إلى أن فئة الاستجابة المحايدة مدمجة بشكل فعال في المقاييس، على الرغم من أن التباينات في ارتفاعات القمم تشير إلى مستويات متباينة من قوة التمييز عبر مقاييس مختلفة.
المناقشة
تسلط قسم المناقشة في ورقة البحث الضوء على النتائج من دراسة تجريبية استخدمت تصميم عينة حصة للتحقيق في تأثير خيارات الاستجابة على قياسات مقياس الشخصية. شملت الدراسة 2,970 مستجيبًا، معظمهم من الولايات المتحدة والمملكة المتحدة، واستخدمت كل من تصميمات بين الموضوعات وداخل الموضوعات. تم مراقبة المتغيرات الديموغرافية الرئيسية، مما كشف عن تمثيل زائد طفيف للنساء وتباينات في التحصيل التعليمي عبر الظروف A و B. تشير التحليلات إلى أن تضمين فئة استجابة محايدة في جرد الشخصية يعزز الخصائص النفسية للمقاييس، كما يتضح من تحسين الموثوقية ونسبة أكبر من التباين المفسر بواسطة العامل الأول في تحليلات العوامل. يتماشى هذا مع النتائج السابقة لـ لوزانو وآخرون بشأن فوائد الخيارات المحايدة في مقاييس ليكرت.
علاوة على ذلك، أظهرت بيانات داخل الموضوعات أن الغالبية العظمى من المستجيبين الذين اختاروا الخيار المحايد في الحالة A كانوا يميلون إلى اختيار فئات استجابة مجاورة في الحالة B، مما يشير إلى الاستخدام الصحيح للفئة المحايدة. ومع ذلك، أظهرت أقلية أنماط استجابة قد تكون غير صحيحة، خاصة في المقاييس التي تتناول مواضيع حساسة اجتماعيًا مثل النزاهة/الأمانة والود. تشير النتائج إلى أنه بينما يمكن أن تعزز الفئة المحايدة موثوقية المقياس، قد تعمل أيضًا كخيار “هروب” للمستجيبين الذين يترددون في الكشف عن آراء غير مرغوب فيها اجتماعيًا. بشكل عام، تؤكد النتائج على تعقيد سلوك الاستجابة في التقييمات الشخصية وتقترح أن تأثير الفئات المحايدة قد يختلف عبر مختلف البنى والسياقات الثقافية.
DOI: https://doi.org/10.1007/s40300-024-00276-5
Publication Date: 2024-09-26
Author(s): Miloš Kankaraš et al.
Primary Topic: Psychometric Methodologies and Testing
Overview
This study investigates the impact of including a mid-point “neutral” response option in Likert-type scales, a common tool in social sciences. While the inclusion of a neutral category has the potential to enhance the psychometric properties of survey instruments, concerns have been raised regarding its misuse by respondents. To explore this, the researchers conducted two survey experiments—one with a between-subjects design and the other with a within-subjects design—analyzing twelve personality scales both with and without the neutral response option.
The findings indicate that scales incorporating a neutral category exhibit improved psychometric characteristics, particularly in terms of reliability and the proportion of variance explained by the first factors. Moreover, the results suggest that the majority of respondents utilize the neutral option appropriately. However, the study also reveals that a minority of respondents may resort to the neutral response as an “escape” option, particularly in the context of socially sensitive questions. This highlights the need for careful consideration in the design of survey instruments to balance the benefits of a neutral response with the potential for misuse.
Introduction
The introduction discusses the widespread use of Likert rating scales in psychological assessments, emphasizing their ability to capture nuanced responses across various dimensions such as agreement, frequency, and importance. Unlike binary questions, Likert scales provide a more detailed understanding of respondents’ attitudes, but they also present challenges, particularly regarding the inclusion of a mid-point option. The presence of a neutral category can lead to varied interpretations among respondents, potentially affecting the reliability and validity of the data collected. Issues such as response styles, social desirability biases, and the cognitive load associated with different scale formats complicate the effective use of these scales.
The paper aims to investigate the implications of using a mid-point category in the context of non-cognitive skills assessment for the OECD’s Programme for Assessment of Adult Competencies (PIAAC). It seeks to determine whether the mid-point is employed validly to reflect a neutral stance and whether its inclusion enhances or detracts from the psychometric properties of the scales used. The study will also explore factors influencing respondents’ tendencies to utilize the neutral response option appropriately. The subsequent sections will detail the methodology, present descriptive statistics and findings, and discuss the implications of the results.
Methods
The research employs data from the OECD’s PIAAC pilot study on non-cognitive skills to assess adult competencies across countries. The study’s primary aim was to develop and test non-cognitive scales for potential inclusion in the main PIAAC study. To evaluate the effectiveness of a neutral response category in survey scales, two experimental designs were implemented: a between-subject design, where respondents were randomly assigned to scales with or without a neutral option, and a within-subject design, where the same respondents answered both versions. The survey, conducted online in English from May to June 2015, involved various personality scales and aimed to ensure the psychometric integrity of the scales used.
The findings indicate that the reliability of the scales, measured by Cronbach’s alpha, was generally high across conditions, with a notable increase in reliability in the within-subject design. Factor analyses revealed that the first factors explained a higher percentage of variance in the presence of a neutral response option, suggesting an increase of about 8% in relative terms. Correlation analyses with antecedent and outcome variables showed that scales with a neutral response category exhibited higher reliability and predictive validity, particularly in relation to job and life satisfaction. Although statistical significance for differences in explained variance could not be computed, the results support the hypothesis that including a neutral response option enhances the psychometric properties of the scales.
Results
In the Results section, the authors present a comprehensive analysis of the psychometric properties of various scales across two experimental conditions (A and B) and different designs (between-subject and within-subject). Descriptive statistics are provided, followed by a factor analysis to evaluate the variance accounted for by the first factors of the scales. Construct validity is assessed through correlations with antecedent and outcome variables, particularly focusing on participants who selected the neutral category in condition A and their responses in condition B. An Item Response Theory (IRT) analysis is also conducted to investigate the usage of the neutral response category among respondents.
The IRT analysis employs the Partial Credit Model for the 12 scales, examining the category characteristic curves (CCC) to assess the psychometric properties of individual response categories. The CCC indicate the probability of endorsing a specific response based on the respondent’s latent trait level. The results show that the neutral category’s CCC is positioned between the adjacent categories (“agree” and “disagree”), aligning with theoretical expectations of a normal distribution centered around the latent trait mean. While the neutral category is generally used appropriately, variations in the distribution and peak height of the CCC across scales are noted, with some scales exhibiting a leftward shift in the neutral category curve in cases of strong negative skewness. Overall, the findings suggest that the neutral response category is effectively integrated into the scales, although discrepancies in peak heights indicate varying levels of discrimination power across different scales.
Discussion
The discussion section of the research paper highlights the findings from a pilot study that utilized a quota sample design to investigate the effects of response options on personality scale measurements. The study involved 2,970 respondents, primarily from the US and UK, and employed both between-subject and within-subject designs. Key demographic variables were monitored, revealing a slight overrepresentation of women and variations in educational attainment across conditions A and B. The analysis indicates that the inclusion of a neutral response category in personality inventories enhances the psychometric properties of the scales, as evidenced by improved reliability and a greater proportion of variance explained by the first factor in factor analyses. This aligns with previous findings by Lozano et al. regarding the benefits of neutral options in Likert scales.
Furthermore, the within-subject data demonstrated that a significant majority of respondents who selected the neutral option in condition A tended to choose adjacent response categories in condition B, suggesting valid use of the neutral category. However, a minority exhibited potentially invalid response patterns, particularly in scales addressing socially sensitive topics such as Integrity/Honesty and Agreeableness. The results imply that while the neutral category can enhance scale reliability, it may also serve as an “escape” option for respondents reluctant to disclose socially undesirable views. Overall, the findings underscore the complexity of response behavior in personality assessments and suggest that the impact of neutral categories may vary across different constructs and cultural contexts.