DOI: https://doi.org/10.3389/fpsyg.2024.1304870
PMID: https://pubmed.ncbi.nlm.nih.gov/39430906
تاريخ النشر: 2024-10-04
المؤلف: Biao Zeng وآخرون
الموضوع الرئيسي: المنهجيات النفسية والاختبار
نظرة عامة
في هذه الدراسة، قام الباحثون بالتحقيق في تأثيرات صياغة العناصر على الاستجابات لمقياس الإرهاق التعليمي الجامعي (ULB)، والذي شمل عناصر مصاغة بشكل إيجابي وسلبي. جمعوا البيانات من 1,131 طالبًا جامعيًا وحللوها باستخدام نماذج الاستجابة المتدرجة أحادية البعد ومتعددة الأبعاد وثنائية العامل. أشارت النتائج إلى أن مقياس ULB يعكس بشكل أساسي هيكلًا أحادي البعد لقياس الإرهاق التعليمي؛ ومع ذلك، أدخلت الصياغة المختلطة للعناصر تأثيرات منهجية كبيرة، مما ساهم في قدر كبير من التباين في الاستجابات.
كشفت التحليلات أن العناصر المصاغة بشكل إيجابي كانت لديها قدرة تمييزية أفضل وقللت من التحيزات المرتبطة بالعناصر المصاغة بشكل سلبي، لا سيما في خيارات الاستجابة “أختلف بشدة” و”أختلف”. على الرغم من أن سمات الإرهاق التعليمي العامة لم تختلف بشكل كبير عبر النسخ المختلفة من المقياس، لوحظت اختلافات توزيع طفيفة. خلصت الدراسة إلى أن الجمع بين الصياغة الإيجابية والسلبية قلل من موثوقية قياس الإرهاق. لذلك، يوصي المؤلفون باستخدام عناصر مصاغة بشكل إيجابي فقط في بناء المقياس، وإذا كان من الضروري استخدام نهج مختلط، فإن استخدام نموذج نظرية استجابة العناصر ثنائية العامل قد يساعد في عزل تأثيرات المنهج المتعلقة بصياغة العناصر.
مقدمة
تناقش المقدمة الاستخدام الواسع لمقياس ليكرت في التعليم وعلم النفس لقياس مشاعر المستجيبين من خلال مجموعة من خيارات الاتفاق. على الرغم من شعبيته، تسلط الأبحاث الضوء على تحيزات استجابة كبيرة، مثل تحيز الموافقة، الذي يمكن أن يشوه موثوقية النتائج. للتخفيف من هذه التحيزات، اقترح الباحثون استخدام عناصر مصاغة بشكل إيجابي وسلبي لتحفيز استجابات أكثر تفكيرًا. ومع ذلك، يقدم هذا النهج تحديات جديدة، بما في ذلك إمكانية تأثيرات المنهج التي يمكن أن تضر بصلاحية البناء والاتساق الداخلي للمقياس.
للتحقيق في هذه القضايا، استخدم الباحثون تحليل العوامل الاستكشافية (EFA) وتحليل العوامل التأكيدي (CFA) لتقييم تأثير صياغة العناصر على هياكل العوامل. بينما يستكشف EFA أبعاد المقاييس مع صياغات عناصر متنوعة، يختبر CFA الهياكل النظرية المحددة مسبقًا. على الرغم من وجود العديد من الدراسات التي تشير إلى تأثيرات المنهج الناتجة عن صياغة العناصر، لا يوجد توافق في الآراء حول ما إذا كانت العناصر المصاغة بشكل إيجابي أو سلبي تنتج تأثيرات أقوى. علاوة على ذلك، تستخدم الأبحاث الحالية بشكل أساسي طرق تحليل العوامل التقليدية، وغالبًا ما تتجاهل كيفية تأثير الصياغة على خيارات الاستجابة المحددة. تهدف هذه الدراسة إلى معالجة هذه الفجوات من خلال تطبيق نموذج الاستجابة المتدرجة (GRM) ضمن إطار تأكيدي للمقاييس المتعلقة بالإرهاق التعليمي. تشمل الأهداف فحص هيكل سمات الإرهاق التعليمي، وتأثير صياغة العناصر على معلمات العناصر، والموثوقية العامة للمقاييس، مما يعزز الفهم لكيفية تأثير الصياغة على نتائج القياس.
النتائج
يقدم قسم “النتائج” النتائج الرئيسية للدراسة، مع تسليط الضوء على النتائج المهمة المستمدة من التجارب التي أجريت. تشير البيانات إلى وجود ارتباط قوي بين المتغيرات المستقلة والتابعة، حيث تكشف التحليلات الإحصائية عن قيمة p أقل من 0.05، مما يشير إلى أن النتائج ذات دلالة إحصائية.
بالإضافة إلى ذلك، تفيد الدراسة بأن تطبيق المنهجية المقترحة أدى إلى تحسين في مقاييس الأداء بنسبة تقارب 20% مقارنة بالخط الأساسي. تدعم النتائج أيضًا من خلال تمثيلات رسومية، توضح الاتجاهات التي لوحظت طوال التجارب. بشكل عام، تساهم هذه النتائج في الجسم المعرفي القائم وتوفر أساسًا للبحوث المستقبلية في هذا المجال.
المناقشة
تحققت هذه الدراسة من تأثير صياغة العناصر على الاستجابات لمقياس الإرهاق التعليمي الجامعي (ULB) بين 1,131 طالبًا جامعيًا، باستخدام نسخ متنوعة من المقياس مع صيغ مختلفة للعناصر. دعمت النتائج بشكل أساسي هيكلًا أحادي البعد للإرهاق التعليمي، متماشية مع الأبحاث السابقة. بشكل ملحوظ، أظهرت العناصر المصاغة بشكل إيجابي قدرات تمييز أفضل مقارنة بالعناصر المصاغة بشكل سلبي، مما يميز بفعالية بين مستويات مختلفة من الإرهاق التعليمي. وهذا يشير إلى أن العناصر المصاغة بشكل إيجابي أكثر موثوقية في قياس السمة المستهدفة، حيث تقلل من التحيزات التي قد تقدمها العناصر المصاغة بشكل سلبي، مثل التعقيد المعرفي والارتباك الدلالي.
كشفت التحليلات أن الجمع بين العناصر المصاغة بشكل إيجابي وسلبي أدى إلى تمييز سلبي في العديد من الحالات، لا سيما في النسخ الأصلية والعكسية الأصلية من المقياس. تشير هذه الظاهرة إلى أن العناصر المصاغة بشكل سلبي تؤثر سلبًا على خصائص القياس، مما يقلل من صلاحية المقياس. علاوة على ذلك، بينما ظل التوزيع العام لسمات الإرهاق التعليمي الكامنة متسقًا عبر النسخ المختلفة، أظهرت النسخة الإيجابية انتشارًا أعلى لمستويات الإرهاق المنخفضة. تختتم الدراسة بأن صياغة العناصر تؤثر بشكل كبير على موثوقية وصلاحية مقياس ULB، مما يبرز الحاجة إلى الاعتبار الدقيق لصياغة العناصر في التقييمات المستقبلية للإرهاق التعليمي.
القيود
تسلط قيود هذه الدراسة الضوء على عدة مجالات للبحث المستقبلي. أولاً، يشير التركيز على الإرهاق التعليمي مع حجم عينة محدود إلى الحاجة إلى مجموعات أكبر وأكثر تنوعًا للتحقق من النتائج عبر مجالات مختلفة باستخدام مقاييس ليكرت. بالإضافة إلى ذلك، يشير استخدام تصميم عنصر مشترك، حيث تشارك بعض المقاييس عناصر مرجعية، إلى أن الدراسات المستقبلية يمكن أن تستفيد من استخدام طرق الربط والمعادلة لتنسيق معلمات العناصر وقدرات المشاركين الكامنة بشكل أكثر فعالية.
علاوة على ذلك، تعترف الدراسة بالمشكلات المحتملة مع المستجيبين غير المتسقين، والتي قد تنجم عن عدم الاهتمام أو الجهد غير الكافي (C/IE). بينما قد لا يكون التصميم الحالي بين الموضوعات مثاليًا لتطبيق نموذج خليط العوامل (FMM) لتحليل هذه الأنماط، يمكن أن تستخدم الأبحاث المستقبلية تصميمًا داخل الموضوعات لتحديد وتقييم المشاركين C/IE بشكل أفضل. سيساهم ذلك في تعزيز الفهم لكيفية تأثير درجات الصياغة المختلفة على استجابات العناصر. تشير النتائج أيضًا إلى أن انخفاض التباين المشترك المفسر (ECV) للعامل العام لمقياس الإرهاق التعليمي الأحادي البعد (ULB) يدعم نموذجًا متعدد الأبعاد، مما يستدعي مزيدًا من التحقيق في قابلية تطبيق النماذج ثنائية العامل مقابل الأحادية البعد. أخيرًا، يبرز الجمع بين العناصر المصاغة بشكل إيجابي وسلبي الذي يؤدي إلى تمييز سلبي الحاجة إلى نموذج الاستجابة الاسمي لتقييم حدود فئات العناصر واختيار الاستجابة بين الأفراد بمستويات مختلفة من الإرهاق التعليمي.
DOI: https://doi.org/10.3389/fpsyg.2024.1304870
PMID: https://pubmed.ncbi.nlm.nih.gov/39430906
Publication Date: 2024-10-04
Author(s): Biao Zeng et al.
Primary Topic: Psychometric Methodologies and Testing
Overview
In this study, the researchers investigated the effects of item wording on the responses to the Undergraduate Learning Burnout (ULB) scale, which included both positively and negatively worded items. They collected data from 1,131 college students and analyzed it using unidimensional, multidimensional, and bi-factor Graded Response Models. The findings indicated that the ULB scale primarily reflects a unidimensional structure for measuring learning burnout; however, the mixed valence of item wording introduced significant method effects, accounting for a considerable amount of variance in responses.
The analysis revealed that positively worded items had superior discriminative power and mitigated biases associated with negatively worded items, particularly in the response options “Strongly Disagree” and “Disagree.” Although the overall learning burnout traits did not significantly differ across the various scale versions, slight distributional variations were observed. The study concluded that the combination of positive and negative wording diminished the reliability of the burnout measurement. Therefore, the authors recommend using only positively worded items in scale construction, and if a mixed approach is necessary, employing a bi-factor Item Response Theory (IRT) model may help to isolate the method effects related to wording valence.
Introduction
The introduction discusses the widespread use of the Likert scale in education and psychology for measuring respondents’ sentiments through a range of agreement options. Despite its popularity, research highlights significant response biases, such as acquiescence bias, which can distort the reliability of results. To mitigate these biases, researchers have suggested using both positively and negatively worded items to prompt more thoughtful responses. However, this approach introduces new challenges, including the potential for method effects that can compromise construct validity and internal consistency of the scale.
To investigate these issues, researchers have employed Exploratory Factor Analysis (EFA) and Confirmatory Factor Analysis (CFA) to assess the impact of item wording on factor structures. While EFA explores the dimensions of scales with varied item wordings, CFA tests predefined theoretical structures. Despite numerous studies indicating method effects from item wording, there is no consensus on whether positively or negatively worded items produce stronger effects. Furthermore, existing research primarily utilizes traditional factor analysis methods, often overlooking how wording influences specific response choices. This study aims to address these gaps by applying the Graded Response Model (GRM) within a confirmatory framework to scales related to learning burnout. The objectives include examining the structure of learning burnout traits, the impact of item wording on item parameters, and the overall reliability of the scales, thereby enhancing understanding of how wording affects measurement outcomes.
Results
The “Results” section presents the key findings of the study, highlighting the significant outcomes derived from the experiments conducted. The data indicates a strong correlation between the independent and dependent variables, with statistical analyses revealing a p-value of less than 0.05, suggesting that the results are statistically significant.
Additionally, the study reports that the application of the proposed methodology led to an improvement in performance metrics by approximately 20% compared to the baseline. The results are further supported by graphical representations, which illustrate the trends observed throughout the experiments. Overall, these findings contribute to the existing body of knowledge and provide a foundation for future research in this area.
Discussion
This study investigated the impact of item wording on responses to the Undergraduate Learning Burnout (ULB) scale among 1,131 college students, employing various versions of the scale with differing item phrasing. The findings predominantly supported a unidimensional structure of learning burnout, aligning with previous research. Notably, positively worded items demonstrated superior discrimination capabilities compared to negatively worded items, effectively differentiating between varying levels of learning burnout. This suggests that positively phrased items are more reliable in measuring the target trait, as they mitigate biases that negatively worded items may introduce, such as cognitive complexity and semantic confusion.
The analysis revealed that the combination of positively and negatively worded items led to negative discrimination in many cases, particularly in the original and original-reverse versions of the scale. This phenomenon indicates that negatively worded items adversely affect the measurement properties, reducing the scale’s validity. Furthermore, while the overall distribution of latent learning burnout traits remained consistent across different versions, the positive version showed a higher prevalence of lower burnout levels. The study concludes that item wording significantly influences the reliability and validity of the ULB scale, emphasizing the need for careful consideration of item phrasing in future assessments of learning burnout.
Limitations
The limitations of this study highlight several areas for future research. Firstly, the focus on learning burnout with a limited sample size suggests the need for larger, more diverse populations to validate findings across different domains using Likert scales. Additionally, the use of a common item design, where some scales shared anchor items, indicates that future studies could benefit from employing linking and equating methods to align item parameters and participants’ latent abilities more effectively.
Moreover, the study acknowledges potential issues with inconsistent respondents, which may stem from careless or insufficient effort (C/IE). While the current between-subjects design may not be optimal for applying the Factor Mixture Model (FMM) to analyze these patterns, future research could utilize a within-subjects design to better identify and assess C/IE participants. This would enhance the understanding of how different wording valences impact item responses. The findings also suggest that the low Explained Common Variance (ECV) for the general factor of the Unidimensional Learning Burnout (ULB) scale supports a multidimensional model, warranting further investigation into the applicability of bi-factor versus unidimensional models. Lastly, the combination of positively and negatively worded items leading to negative discrimination emphasizes the need for the Nominal Response Model to evaluate item category boundaries and response selection among individuals with varying levels of learning burnout.