DOI: https://doi.org/10.21449/ijate.1481201
تاريخ النشر: 2025-01-09
المؤلف: Tugay Kaçak وآخرون
الموضوع الرئيسي: المنهجيات النفسية والاختبار
نظرة عامة
في هذه الدراسة، يقوم المؤلفون بتقييم نقدي لاستخدام تحليل المكونات الرئيسية (PCA) في تطوير المقاييس ودراسات التكيف، مشيرين إلى ميله لتقدير جودة القياس بشكل مبالغ فيه. تشير الأبحاث إلى أن PCA غالبًا ما يبالغ في تفسير التباين المفسر وأحمال العوامل، خاصة عند تطبيقه على البيانات الفئوية أو المرتبة، والتوزيعات المنحرفة بشدة، والهياكل متعددة الأبعاد. للتحقيق في هذه القضية، أجرى المؤلفون محاكاة مونت كارلو تتلاعب بعوامل مختلفة مثل حجم العينة، والانحراف، وعدد الفئات، ومتوسط أحمال العوامل، وعدد العوامل، والارتباط بين العوامل، وطول الاختبار.
تكشف النتائج أن PCA يبالغ باستمرار في تقدير معلمات النموذج، خاصة في السيناريوهات التي تحتوي على متوسطات منخفضة لأحمال العوامل. بالمقابل، فإن تقنيات تحليل المحاور الرئيسية (PAF) والحد الأدنى المتبقي (MINRES) تعطي نتائج غير متحيزة، حتى في ظل ظروف انخفاض أحمال العوامل. تستنتج الدراسة أن PAF وMINRES توفر تقديرات أكثر دقة وحيادية، مما يشير إلى أن الاعتماد على PCA قد يضلل الباحثين في تصور جودة العناصر في تطوير المقاييس أو دراسات التكيف على أنها أعلى مما هي عليه في الواقع.
مقدمة
تناقش مقدمة هذه الورقة البحثية الاستخدام السائد لتحليل المكونات الرئيسية (PCA) في تحليل العوامل الاستكشافية (EFA) لتطوير المقاييس ودراسات التكيف، على الرغم من قيوده كما هو موضح في الأدبيات. تشير دراسات مختلفة إلى أن PCA يُستخدم بشكل متكرر، ومع ذلك لا يُوصى به لاستخراج العوامل بسبب عدم قدرته على حساب تباين الخطأ، كما أشار فابريغار وآخرون (1999) وآخرون. تهدف هذه الدراسة إلى التحقيق في التفاعل بين PCA وخصائص البيانات المختلفة، مقارنة أدائه مع طرق استخراج العوامل القوية الأخرى مثل الحد الأدنى المتبقي (MINRES) وتحليل المحاور الرئيسية (PAF).
لتحقيق ذلك، أجرى المؤلفون مراجعة منهجية للدراسات المفهرسة في TRIndex وWeb of Science من 2015 إلى 2023، مع التركيز على تطوير المقاييس والتكيف في التعليم. قاموا بتحليل 675 دراسة من TRIndex و819 من WoS، وفي النهاية استعرضوا 100 دراسة مختارة عشوائيًا من كل قاعدة بيانات. تكشف النتائج أن PCA كان الطريقة الأكثر استخدامًا (53%)، على الرغم من أن عددًا كبيرًا من الدراسات (17%) لم يُبلغ عن طرق استخراج العوامل الخاصة بها. تؤكد الورقة على ضرورة الإبلاغ عن هذه الطرق بسبب افتراضاتها وأدائها المتفاوت، بهدف تقديم رؤى حول الاختيار المناسب لتقنيات استخراج العوامل في البحث التجريبي.
طرق البحث
في الدراسات التي تم فحصها، استخدم الغالبية العظمى (56% لـ TRIndex و61% لـ WoS) بنى متعددة الأبعاد، ومع ذلك كانت طريقة الدوران السائدة هي Varimax، التي تفترض وجود عوامل غير مرتبطة. يتعارض هذا التفضيل للدورات العمودية مع الأدبيات الموجودة التي تقترح أن البنى في العلوم الاجتماعية عادة ما تكون مرتبطة ومتعددة الأبعاد. تشير التحليلات إلى أنه يجب تجنب حسابات الدرجات الكلية للمقاييس متعددة الأبعاد التي تظهر ارتباطات أقل من |.30|، حيث قد يؤدي ذلك إلى تفسيرات مضللة.
علاوة على ذلك، بينما تم استخدام طرق الدوران المائل، مثل Direct Oblimin، في بعض الدراسات (16%)، تشير النتائج إلى أن الارتباط بين العوامل قد لا يصل دائمًا إلى الدلالة عندما يتم تطبيق الدوران المائل. من الضروري تقييم قابلية إعادة إنتاج هياكل المقاييس في الدراسات التي اختارت الدوران المائل دون الإبلاغ عن ارتباطات العوامل (33 دراسة). من الجدير بالذكر أن Varimax كانت مفضلة أيضًا للهياكل ذات العامل الواحد في بعض الحالات، على الرغم من المخاوف النظرية بشأن ملاءمتها لمثل هذه البنى. بشكل عام، تدعو النتائج إلى استخدام طرق الدوران المائل لكل من البنى المرتبطة وغير المرتبطة، حيث إنها تستوعب مستويات مختلفة من الارتباطات بين العوامل.
النتائج
يقدم قسم “النتائج” في الورقة البحثية النتائج الرئيسية المستمدة من التجارب أو التحليلات التي تم إجراؤها. عادةً ما يتضمن بيانات كمية، وتحليلات إحصائية، وتمثيلات بصرية مثل الرسوم البيانية أو الجداول لتوضيح النتائج. غالبًا ما تتم مقارنة النتائج مع الفرضيات أو الدراسات السابقة لتسليط الضوء على الاتجاهات أو التباينات المهمة.
في هذا القسم، قد يبلغ المؤلفون عن فعالية الطرق أو التدخلات المقترحة، موفرين مقاييس مثل الدقة، أو الدقة، أو مؤشرات الأداء ذات الصلة الأخرى. بالإضافة إلى ذلك، يتم مناقشة أي ارتباطات أو علاقات سببية تم تحديدها من خلال التحليل، مع التأكيد على آثارها على السياق البحثي الأوسع. بشكل عام، تخدم النتائج لتأكيد أهداف البحث وتساهم في الجسم المعرفي الموجود في هذا المجال.
المناقشة
في هذا القسم، يناقش المؤلفون أداء ثلاث طرق لاستخراج العوامل—تحليل المكونات الرئيسية (PCA)، والحد الأدنى المتبقي (MINRES)، وتحليل المحاور الرئيسية (PAF)—من حيث التحيز ودقة أحمال العوامل. تكشف الدراسة أنه بينما تعطي جميع الطرق نتائج غير متحيزة في ظل ظروف ارتفاع متوسط أحمال العوامل، فإن PCA يؤدي بشكل مستمر بشكل أقل من المطلوب من حيث النسبة الصحيحة (PC) عبر ظروف مختلفة، مما يفشل في تحقيق أداء كافٍ في أي سيناريو مع أحمال عوامل منخفضة. بالمقابل، تظهر MINRES وPAF دقة أفضل، خاصة في الظروف التي تحتوي على متوسطات أعلى لأحمال العوامل، مما يشير إلى أن PCA قد يبالغ في تقدير أحمال العوامل، مما يؤدي إلى تصورات مبالغ فيها لجودة المقياس.
يؤكد المؤلفون على أهمية اختيار طرق استخراج العوامل المناسبة في تطوير المقاييس، موصين باستخدام MINRES أو PAF لمجموعات البيانات التي تتميز بالانحراف أو المتغيرات الفئوية. يحذرون من الاستخدام السائد لـ PCA، حيث قد ينتج عنه نتائج مضللة تؤثر على موثوقية وإعادة إنتاج المقاييس. تؤكد النتائج على ضرورة تقييم الباحثين بشكل نقدي لآثار طرقهم المختارة على جودة أحمال العوامل والنزاهة العامة لأدوات القياس الخاصة بهم. يتم تشجيع الأبحاث المستقبلية لاستكشاف ظروف محاكاة إضافية ومقارنة PCA مع طرق استخراج العوامل الأخرى فيما يتعلق بالارتباطات بين العوامل.
القيود
في هذا القسم، يعترف المؤلفون بعدة قيود لدراستهم فيما يتعلق بمصفوفة الارتباط التتراشوري والتعامل مع البيانات الفئوية. إن تطبيق تقنيات التنعيم، خاصة في سياق التوزيعات المنحرفة لمجموعات البيانات ذات الفئتين، يقدم تحيزًا محتملاً يجب أخذه في الاعتبار عند تفسير النتائج. ومع ذلك، يجادل المؤلفون بأنه نظرًا لأن البيانات في العالم الحقيقي غالبًا ما تظهر انحرافًا مشابهًا، فقد تعكس النتائج سيناريوهات عملية.
علاوة على ذلك، تقتصر الدراسة على البيانات الفئوية التي تحتوي على فئتين و5 فئات فقط، مما قد لا يشمل التباين الذي يتم مواجهته في مجموعات البيانات الفعلية التي قد تتضمن 3، 4، 6، أو 7 فئات. تشير هذه القيود إلى أنه لا ينبغي تعميم النتائج عبر جميع أنواع البيانات الفئوية. بالإضافة إلى ذلك، قد يحد استخدام العتبات في دراسة المحاكاة لتصنيف المتغيرات من قابلية تطبيق النتائج، حيث إنه يعني طريقة محددة لتصنيف المتغيرات قد لا تكون قابلة للتطبيق بشكل عالمي.
DOI: https://doi.org/10.21449/ijate.1481201
Publication Date: 2025-01-09
Author(s): Tugay Kaçak et al.
Primary Topic: Psychometric Methodologies and Testing
Overview
In this study, the authors critically assess the use of Principal Component Analysis (PCA) in scale development and adaptation studies, highlighting its tendency to overestimate measurement quality. The research indicates that PCA often exaggerates explained variance and factor loadings, particularly when applied to categorical or ordered data, severely skewed distributions, and multidimensional structures. To investigate this issue, the authors conducted Monte Carlo simulations manipulating various factors such as sample size, skewness, number of categories, average factor loadings, number of factors, inter-factor correlation, and test length.
The findings reveal that PCA consistently overestimates model parameters, especially in scenarios with lower average factor loadings. In contrast, the techniques of Principal Axis Factoring (PAF) and Minimum Residual (MINRES) yield unbiased results, even under conditions of low factor loadings. The study concludes that PAF and MINRES provide more accurate and impartial estimations, suggesting that reliance on PCA may mislead researchers into perceiving the quality of items in scale development or adaptation studies as higher than it truly is.
Introduction
The introduction of this research paper discusses the prevalent use of Principal Component Analysis (PCA) in exploratory factor analysis (EFA) for scale development and adaptation studies, despite its limitations as highlighted in the literature. Various studies indicate that PCA is frequently employed, yet it is not recommended for factor extraction due to its inability to account for error variance, as noted by Fabrigar et al. (1999) and others. This study aims to investigate the interaction between PCA and different data characteristics, comparing its performance with other robust factor extraction methods such as minimum residual (MINRES) and principal axis factoring (PAF).
To achieve this, the authors conducted a systematic review of studies indexed in TRIndex and the Web of Science from 2015 to 2023, focusing on scale development and adaptation in education. They analyzed 675 studies from TRIndex and 819 from WoS, ultimately reviewing 100 randomly selected studies from each database. The findings reveal that PCA was the most commonly used method (53%), although a significant number of studies (17%) did not report their factor extraction methods. The paper emphasizes the necessity of reporting these methods due to their varying assumptions and performance, ultimately aiming to provide insights into the appropriate selection of factor extraction techniques in empirical research.
Methods
In the examined studies, a significant majority (56% for TRIndex and 61% for WoS) employed multidimensional constructs, yet the prevalent rotation method was Varimax, which assumes uncorrelated factors. This preference for orthogonal rotations contradicts existing literature that suggests social science constructs are typically correlated and multidimensional. The analysis indicates that total score computations should be avoided for multidimensional scales exhibiting correlations below |.30|, as this may lead to misleading interpretations.
Furthermore, while oblique rotation methods, such as Direct Oblimin, were utilized in some studies (16%), the findings suggest that the correlation between factors may not always reach significance when oblique rotation is applied. It is essential to assess the reproducibility of scale structures in studies that opted for oblique rotation without reporting factor correlations (33 studies). Notably, Varimax was also favored for single-factor structures in a few cases, despite theoretical concerns regarding its appropriateness for such constructs. Overall, the findings advocate for the use of oblique rotation methods for both related and uncorrelated constructs, as they accommodate varying levels of inter-factor correlations.
Results
The “Results” section of the research paper presents the key findings derived from the conducted experiments or analyses. It typically includes quantitative data, statistical analyses, and visual representations such as graphs or tables to illustrate the outcomes. The results are often compared against the hypotheses or previous studies to highlight significant trends or discrepancies.
In this section, the authors may report on the effectiveness of the proposed methods or interventions, providing metrics such as accuracy, precision, or other relevant performance indicators. Additionally, any correlations or causal relationships identified through the analysis are discussed, emphasizing their implications for the broader research context. Overall, the results serve to substantiate the research objectives and contribute to the existing body of knowledge in the field.
Discussion
In this section, the authors discuss the performance of three factor extraction methods—Principal Component Analysis (PCA), Minimum Residual (MINRES), and Principal Axis Factoring (PAF)—in terms of bias and accuracy of factor loadings. The study reveals that while all methods yield unbiased results under conditions of high average factor loading, PCA consistently underperforms in terms of percent correct (PC) across various conditions, failing to achieve adequate performance in any scenario with low factor loadings. In contrast, MINRES and PAF demonstrate better accuracy, particularly in conditions with higher average factor loadings, suggesting that PCA may overestimate factor loadings, leading to inflated perceptions of scale quality.
The authors emphasize the importance of selecting appropriate factor extraction methods in scale development, recommending MINRES or PAF for datasets characterized by skewness or categorical variables. They caution against the prevalent use of PCA, as it may produce misleading results that affect the reliability and reproducibility of scales. The findings underscore the necessity for researchers to critically evaluate the implications of their chosen methods on the quality of factor loadings and the overall integrity of their measurement tools. Future research is encouraged to explore additional simulation conditions and compare PCA with other factor extraction methods regarding inter-factor correlations.
Limitations
In this section, the authors acknowledge several limitations of their study regarding the tetrachoric correlation matrix and the handling of categorical data. The application of smoothing techniques, particularly in the context of skewed distributions of two-category data sets, introduces a potential bias that must be considered when interpreting the results. However, the authors argue that since real-world data often exhibit similar skewness, the findings may still reflect practical scenarios.
Furthermore, the study is limited to categorical data with only 2 and 5 categories, which may not encompass the variability encountered in actual datasets that could include 3, 4, 6, or 7 categories. This limitation suggests that the results should not be generalized across all types of categorical data. Additionally, the use of thresholds in the simulation study to categorize variables may further constrain the applicability of the findings, as it implies a specific method of variable categorization that may not be universally applicable.