DOI: https://doi.org/10.1108/ejm-04-2023-0307
تاريخ النشر: 2024-02-08
المؤلف: Joseph F. Hair وآخرون
الموضوع الرئيسي: تعلم الآلة في علوم المواد
نظرة عامة
الغرض من هذه الورقة البحثية هو تقييم فعالية تقدير الأوزان المتساوية (مجموع الدرجات) ومؤشر التكافؤ المركب (CEI) مقارنةً بأوزان المؤشرات المتميزة المستمدة من نمذجة المعادلات الهيكلية باستخدام المربعات الصغرى الجزئية (PLS-SEM). يستخدم المؤلفون مزيجًا من الأدبيات الموجودة، والأمثلة التجريبية، ودراسة محاكاة لتحليل أداء هذه المنهجيات.
تشير النتائج إلى أن CEI يظهر نقصًا في القدرة التمييزية، مما يؤدي إلى اختلافات كبيرة في تقديرات النموذج الهيكلي. علاوة على ذلك، فإن استخدام CEI يميل إلى إخفاء القضايا داخل نموذج القياس ويؤدي باستمرار إلى دقة تنبؤية أقل خارج العينة مقارنةً بالأوزان المتميزة التي تم الحصول عليها من خلال PLS-SEM. وهذا يشير إلى أن استخدام الأوزان المتميزة أكثر فائدة لنمذجة دقيقة وتنبؤ في تحليل المعادلات الهيكلية.
مقدمة
تناقش مقدمة هذه الورقة تطبيق نمذجة المعادلات الهيكلية باستخدام المربعات الصغرى الجزئية (PLS-SEM)، مع تسليط الضوء على أهمية أوزان المؤشرات المتميزة في تقدير العلاقات الهيكلية بين البنى، التي تمثل مفاهيم غير قابلة للرصد. يشير المؤلفون إلى الأعمال الأساسية (Wold, 1982; Lohmöller, 1989; Hair et al., 2022) التي تؤكد على أهمية تخصيص أوزان متباينة للمؤشرات لأخذ أهميتها في الاعتبار ولتقليل أخطاء القياس (Henseler et al., 2014).
تقوم الورقة بتقييم نقدي لتوصية منهجية حديثة بشأن مؤشر التكافؤ المركب (CEI) الذي اقترحه Rönkkö et al. (2023)، والذي يقترح تفضيل الأوزان المتساوية على الأوزان المتميزة لحساب الدرجات المركبة في PLS-SEM. يعمل CEI كمقياس لتقييم العلاقة بين الدرجات المركبة المستمدة من الأوزان المتساوية وتلك المستمدة من الأوزان المتميزة. تشير قيمة CEI القريبة من الواحد إلى تشابه عالٍ بين طريقتي التسجيل، مما يؤدي إلى توصية باستخدام الأوزان المتساوية عندما يتجاوز CEI 0.95. على العكس، إذا كان CEI أقل من هذا العتبة، يدعو المؤلفون إلى استخدام الأوزان المتميزة، بشرط وجود مبرر نظري للاختلافات المتوقعة. تجادل الورقة في النهاية ضد اعتماد CEI ضمن إطار PLS-SEM في الظروف العادية، مما يبرز مزايا الأوزان المتميزة.
نقاش
يسلط النقاش حول مؤشر التكافؤ المركب (CEI) الضوء على مخاوف كبيرة بشأن استخدام الأوزان المتساوية مقابل الأوزان المتميزة في التقييمات النفسية، لا سيما في سياق نمذجة المعادلات الهيكلية باستخدام المربعات الصغرى الجزئية (PLS-SEM). بينما يجادل مؤيدو الأوزان المتساوية بأنها تنتج درجات مرتبطة بشدة مع الأوزان المتميزة، تكشف الأبحاث الحديثة، بما في ذلك دراسات McNeish وWolf (2020، 2023)، أن الأوزان المتساوية يمكن أن تؤدي إلى عيوب تجريبية ومفاهيمية كبيرة. تشمل هذه العيوب قيودًا غير واقعية على نماذج السكان، وانخفاض صلاحية وموثوقية البنى، وإمكانية الوصول إلى استنتاجات مضللة بسبب تقديرات معامل غير دقيقة. من الجدير بالذكر أنه حتى عندما تكون الدرجات مرتبطة بشدة (على سبيل المثال، فوق 0.98)، تظهر الأوزان المتميزة حساسية وموثوقية متفوقة، مما يبرز أن الارتباط العالي لا يعادل القابلية للتبادل بين طرق التسجيل.
علاوة على ذلك، فإن العتبة المقترحة لـ CEI البالغة 0.95 تفتقر إلى القدرة التمييزية اللازمة لتفريق النتائج بشكل فعال، وغالبًا ما تفضل الأوزان المتساوية دون مبرر نظري كافٍ. يمكن أن يؤدي الاعتماد على الأوزان المتساوية إلى إخفاء قضايا نموذج القياس، كما يتضح في أمثلة تجريبية حيث تم إخفاء مؤشرات غير موثوقة، مما أدى إلى تقديرات نموذج هيكلي متحيزة. توضح دراسات المحاكاة أيضًا أن استخدام الأوزان المتساوية يمكن أن يؤدي إلى دقة تنبؤية أقل خارج العينة مقارنةً بالأوزان المتميزة، لا سيما في النماذج المعقدة. بشكل عام، تشير النتائج إلى أن CEI، كما هو مطبق حاليًا، قد لا يضعف فقط صرامة التقييمات النفسية ولكن أيضًا يقلل من الأهمية العملية لنتائج البحث في السياقات التطبيقية.
DOI: https://doi.org/10.1108/ejm-04-2023-0307
Publication Date: 2024-02-08
Author(s): Joseph F. Hair et al.
Primary Topic: Machine Learning in Materials Science
Overview
The purpose of this research paper is to evaluate the effectiveness of equal weights estimation (sumscores) and the composite equivalence index (CEI) in contrast to differentiated indicator weights derived from partial least squares structural equation modeling (PLS-SEM). The authors employ a combination of existing literature, empirical examples, and a simulation study to analyze the performance of these methodologies.
The findings indicate that the CEI demonstrates a lack of discriminatory power, resulting in significant discrepancies in structural model estimates. Furthermore, the use of CEI tends to obscure issues within the measurement model and consistently yields poorer out-of-sample predictive accuracy when compared to the differentiated weights obtained through PLS-SEM. This suggests that employing differentiated weights is more advantageous for accurate modeling and prediction in structural equation analysis.
Introduction
The introduction of this paper discusses the application of structural equation modeling using partial least squares (PLS-SEM), highlighting the significance of differentiated indicator weights in estimating structural relationships among constructs, which represent unobservable concepts. The authors reference foundational works (Wold, 1982; Lohmöller, 1989; Hair et al., 2022) that emphasize the importance of assigning varying weights to indicators to account for their relevance and to mitigate measurement errors (Henseler et al., 2014).
The paper critically evaluates a recent methodological recommendation regarding the composite equivalence index (CEI) proposed by Rönkkö et al. (2023), which suggests favoring equal weights over differentiated weights for computing composite scores in PLS-SEM. The CEI serves as a metric to assess the correlation between composite scores derived from equal weights and those from differentiated weights. A CEI value near unity indicates high similarity between the two scoring methods, leading to the recommendation of using equal weights when the CEI exceeds 0.95. Conversely, if the CEI is below this threshold, the authors advocate for the use of differentiated weights, contingent upon a theoretical justification for the expected differences. The paper ultimately argues against the adoption of the CEI within the PLS-SEM framework under typical conditions, underscoring the advantages of differentiated weights.
Discussion
The discussion surrounding the Composite Equivalence Index (CEI) highlights significant concerns regarding the use of equal versus differentiated weights in psychometric assessments, particularly within the context of Partial Least Squares Structural Equation Modeling (PLS-SEM). While proponents of equal weights argue that they yield highly correlated scores with differentiated weights, recent research, including studies by McNeish and Wolf (2020, 2023), reveals that equal weights can lead to substantial empirical and conceptual shortcomings. These include unrealistic constraints on population models, diminished construct validity and reliability, and the potential for misleading conclusions due to inaccurate coefficient estimations. Notably, even when scores are highly correlated (e.g., above 0.98), differentiated weights demonstrate superior sensitivity and reliability, underscoring that high correlation does not equate to interchangeability between scoring methods.
Moreover, the CEI’s proposed threshold of 0.95 lacks the necessary discriminatory power to differentiate outcomes effectively, often favoring equal weights without sufficient theoretical justification. This reliance on equal weights can obscure measurement model issues, as demonstrated in empirical examples where unreliable indicators were masked, leading to biased structural model estimates. Simulation studies further illustrate that using equal weights can result in inferior out-of-sample predictive accuracy compared to differentiated weights, particularly in complex models. Overall, the findings suggest that the CEI, as currently applied, may not only undermine the rigor of psychometric evaluations but also detract from the practical relevance of research findings in applied settings.