DOI: https://doi.org/10.3389/fams.2025.1687194
تاريخ النشر: 2026-03-11
المؤلف: Muhammad Umair Danish وآخرون
الموضوع الرئيسي: المنهجيات النفسية والاختبار
نظرة عامة
تقدم هذه الورقة Monotone Delta (δ)، وهو مقياس نظري جديد مصمم لتقييم الاتساق الداخلي لأدوات الاستطلاع، معالجًا قيود معاملات الموثوقية التقليدية مثل ألفا كرونباخ وأوميغا مك دونالد. يمكن أن تؤدي هذه الطرق الكلاسيكية إلى تقديرات غير دقيقة بسبب مشكلات مثل التكرار، والبناءات متعددة الأبعاد، والأخطاء المرتبطة. بالمقابل، يقوم Monotone Delta بتحديد الاتساق الداخلي من خلال تقليل التناقضات في ترتيب الاستجابات دون الاعتماد على الافتراضات المعلمية، محققًا دقة متفوقة في سيناريوهات خاضعة للتحكم. تشير النتائج التجريبية إلى أن Monotone Delta يحافظ على خطأ مطلق ≤ 0.02 في ظروف صعبة، بينما تظهر ألفا وأوميغا انحرافات تصل إلى 0.22 و0.14، على التوالي. في دراسة بشرية تتضمن تقييمات صور تم إنشاؤها بواسطة الذكاء الاصطناعي، أظهر Monotone Delta استقرارًا تحت التكرار والاضطرابات غير الطبيعية، مما يتناقض مع التقلبات الكبيرة التي لوحظت في القياسات التقليدية.
تؤكد النتائج على إمكانيات Monotone Delta كبديل موثوق لتقييم الاتساق الداخلي في الأنظمة الاجتماعية التقنية، والرعاية الصحية، والتصميم التفاعلي. من خلال تقييم الموثوقية كخاصية هيكلية لترتيب الاستجابات، يقدم Monotone Delta تقديرات أكثر استقرارًا وقابلية للتفسير، خاصة في وجود تحديات بيانات الاستطلاع الشائعة. ستسعى الأبحاث المستقبلية إلى تعزيز الكفاءة الحسابية لـ Monotone Delta لمجموعات البيانات الأكبر واستكشاف تكامله مع الأطر الاحتمالية والبايزية، مما يوسع من قابليته للتطبيق عبر مجالات متنوعة.
مقدمة
تؤكد مقدمة هذه الورقة البحثية على الأهمية الحاسمة لتقييم الموثوقية في أدوات الاستطلاع المعتمدة على البشر المستخدمة عبر مجالات متعددة تركز على الإنسان، بما في ذلك التعاون بين الإنسان والروبوت، والرعاية الصحية، وتقييم المحتوى الذي تم إنشاؤه بواسطة الذكاء الاصطناعي، والتعليم. تُعرف الموثوقية بأنها اتساق الدرجات عبر التكرارات، مع التركيز بشكل خاص على الاتساق الداخلي، الذي يقيس مدى تمثيل عناصر الاستطلاع لبناء كامن واحد. هذا الجانب حيوي لضمان أن تمثل الاستجابات بدقة العوامل السلوكية أو المعرفية، مما يعزز تطوير نماذج أنظمة اجتماعية موثوقة. تسلط الورقة الضوء على قيود مقاييس الموثوقية الحالية، مثل ألفا كرونباخ وأوميغا مك دونالد، التي تعتمد غالبًا على افتراضات لا تنطبق في التطبيقات العملية، مثل التكافؤ التاوي والاستقلال المحلي.
لمعالجة هذه التحديات، يقترح المؤلفون مقياس موثوقية جديد يسمى Monotone Delta، والذي يعتمد على نظرية الترتيب. يقيم هذا الأسلوب الاتساق الداخلي من خلال تقليل التناقضات الترتيبية بين استجابات العناصر وبناء رسم بياني للبطولة الموزونة لالتقاط علاقات الهيمنة الثنائية. على عكس المقاييس التقليدية، يعمل Monotone Delta دون افتراضات معلمية، مما يجعله مقاومًا لمشكلات مثل التكرار، ومتعددة الأبعاد، وتوزيعات البيانات غير الطبيعية. توضح الورقة مساهمات Monotone Delta، بما في ذلك تقييمه النظري والتحقق التجريبي مقابل المقاييس التقليدية، مما يوضح قوته وقدرته على التكيف عبر تطبيقات الاستطلاع المتنوعة. تمهد المقدمة الطريق لاستكشاف شامل لهذا الإطار الجديد، الذي يهدف إلى تحسين تقييمات الموثوقية في أدوات الاستطلاع المعاصرة.
طرق
في قسم الطرق، يناقش المؤلفون مقاييس بديلة مختلفة للاتساق الداخلي تتجاوز ألفا كرونباخ وأوميغا مك دونالد التقليديتين. يبرزون الحد الأدنى الأكبر (GLB) وموثوقية النصف المقسم كبدائل ملحوظة. يقوم GLB بتحسين مصفوفة التغاير تحت النموذج المتجانس لتوفير حد أدنى على الموثوقية، وغالبًا ما ينتج قيمًا تتجاوز تلك الخاصة بألفا كرونباخ، على الرغم من أنه قد يكون مكلفًا حسابيًا وغير مستقر. موثوقية النصف المقسم، التي تتضمن تقسيم العناصر وارتباط الدرجات من المجموعات الناتجة، مستقلة عن ألفا وأوميغا ولكنها حساسة لطريقة التقسيم. تشترك كلا المقاييس، على الرغم من كونها مفيدة، في قيود في معالجة التكرار والضوضاء في البيانات.
يؤكد المؤلفون على إعادة تقييم معاصرة لمعاملات الموثوقية الكلاسيكية، مع التركيز بشكل خاص على الظروف التي يمكن أن توفر فيها ألفا كرونباخ وأوميغا مك دونالد تقديرات صحيحة. يجادلون بأن هذه المعاملات لا ينبغي تطبيقها بشكل عالمي، حيث يمكن أن تصبح تقديرات موثوقيتها غير مستقرة أو مضللة عندما يتم انتهاك افتراضات مثل الأحادية الأبعاد وتوزيعات العناصر الطبيعية. أظهرت الدراسات الحديثة أن مشكلات مثل التداخل الدلالي بين العناصر يمكن أن تضخم قيم ألفا، مما يؤدي إلى تفسيرات خاطئة بين الباحثين. لمعالجة هذه القيود، يقترح المؤلفون طريقة جديدة تعتمد على نظرية الترتيب التي تقيس التناقضات وتعالج الروابط والضوضاء بشكل قوي، مما يوفر إطارًا أكثر موثوقية لتقييم الاتساق الداخلي في مجموعات البيانات الحديثة.
نتائج
يقدم قسم النتائج اكتشافين نظريين رئيسيين وتقييمات تجريبية لمقاييس الموثوقية عبر سيناريوهات متنوعة. يثبت النظرية 1 أن طريقة Monotone Delta غير حساسة للمقياس، مما يعني أنها تحافظ على الترتيب النسبي للاستجابات تحت التحولات المتزايدة بشكل صارم، على عكس ألفا كرونباخ، التي تكون حساسة لمثل هذه التغييرات. تبرز النظرية 2 حساسية تقديرات الموثوقية تجاه تعدد الأبعاد، مما يشير إلى أنه عندما تؤثر أبعاد كامنة متعددة على استجابات العناصر، يوجد حد أدنى إيجابي على عدد التناقضات الدنيا، مما يؤثر على تقديرات الموثوقية.
تلخص النتائج التجريبية، الموضحة في الجدول 2، تقديرات الموثوقية من خمس طرق—ألفا كرونباخ، أوميغا مك دونالد، الحد الأدنى الأكبر (GLB)، موثوقية النصف المقسم، وMonotone Delta—عبر أربعة سيناريوهات: التكافؤ التاوي، التكرار، تعدد الأبعاد، والتوزيعات غير الطبيعية. في سيناريو التكافؤ التاوي، أدت جميع الطرق بشكل جيد بشكل مشابه، حيث حقق Monotone Delta متوسط خطأ مطلق (MAE) قدره 0.01. في سيناريو التكرار، حافظ Monotone Delta على أدنى MAE قدره 0.01، مما يظهر قوته ضد التقدير المفرط بسبب التداخل بين العناصر. في سيناريو تعدد الأبعاد، تفوق Monotone Delta مرة أخرى على الطرق التقليدية، حيث حقق تقديرًا قدره 0.80 مع MAE قدره 0.02، متماشيًا عن كثب مع الموثوقية النظرية البالغة 0.82. أخيرًا، في السيناريو غير الطبيعي، أنتج Monotone Delta تقدير موثوقية قدره 0.83 مع أدنى MAE قدره 0.02، مما يؤكد فعاليته في الظروف الصعبة. بشكل عام، تؤكد هذه النتائج على الفائدة العملية لـ Monotone Delta في تقييم الموثوقية بدقة في أدوات الاستطلاع الحديثة.
مناقشة
في قسم المناقشة من الورقة البحثية، يقوم المؤلفون بتقييم نقدي لمقاييس الموثوقية التقليدية، وخاصة ألفا كرونباخ وأوميغا مك دونالد، مسلطين الضوء على قيودها في تقييم الاتساق الداخلي بدقة في أدوات الاستطلاع المعتمدة على البشر. على الرغم من استخدام ألفا كرونباخ على نطاق واسع، إلا أنها مقيدة بافتراضاتها حول التكافؤ التاوي وحساسيتها لعدد العناصر، مما يؤدي إلى تقديرات موثوقية مضخمة محتملة في السياقات متعددة الأبعاد. يوضح المؤلفون أنه عندما تقيس العناصر بناءات متميزة، يمكن أن تصبح بنية التغاير كتلة قطرية، مما ينتهك افتراض الأحادية الأبعاد ويؤدي إلى درجات موثوقية مضللة. وبالمثل، فإن أوميغا مك دونالد، على الرغم من كونها تحسينًا على ألفا كرونباخ، تتأثر أيضًا بافتراضات نموذج العامل ويمكن أن تنتج تقديرات متحيزة عندما تظهر العناصر محتوى متداخل أو عندما تكون البيانات متعددة الأبعاد.
لمعالجة هذه التحديات، يقترح المؤلفون مقياسًا جديدًا يسمى Monotone Delta، مستندًا إلى نظرية الترتيب. يسعى هذا النهج إلى تقليل التناقضات في تصنيفات المستجيبين، مما يعزز تقييم الاتساق الداخلي. يقوم Monotone Delta بقياس درجة التوافق بين الاستجابات المرصودة وترتيب كامن مفترض، مما يوفر إطارًا أكثر قوة لتقييم الموثوقية في مجموعات البيانات المعقدة. إن قدرة الطريقة على مقاومة التكرار وقدرتها على اكتشاف الانحرافات عن الأحادية الأبعاد تجعلها بديلاً واعدًا للمقاييس التقليدية. يقوم المؤلفون أيضًا بالتحقق من صحة Monotone Delta من خلال تجارب بيانات صناعية ودراسة بشرية في العالم الحقيقي، مما يوضح قابليتها للتطبيق وفعاليتها في سياقات متنوعة.
قيود
في هذا القسم، يقوم المؤلفون بفحص نقدي للبنى الرسمية وقيود مقاييس الموثوقية الحالية، مع التركيز بشكل خاص على ألفا كرونباخ وأوميغا مك دونالد. يسلطون الضوء على التحديات الكامنة في هذه المقاييس التقليدية، خاصة من حيث تمثيل البيانات والمتغيرات. تؤكد المناقشة على العيوب النظرية لهذه المقاييس، والتي قد تؤثر على قابليتها للتطبيق في سياقات معينة.
بالإضافة إلى ذلك، يستكشف المؤلفون طرقًا بديلة لتقييم الموثوقية ويقدمون نظرية الترتيب كإطار أساسي لأبحاثهم. يهدف هذا النهج إلى معالجة القيود المحددة في مقاييس الموثوقية التقليدية، مما يوفر رؤى أكثر قوة ومعنى حول موثوقية البيانات في تطبيقات متنوعة.
DOI: https://doi.org/10.3389/fams.2025.1687194
Publication Date: 2026-03-11
Author(s): Muhammad Umair Danish et al.
Primary Topic: Psychometric Methodologies and Testing
Overview
This paper presents Monotone Delta (δ), a novel order-theoretic measure designed to evaluate the internal consistency of survey instruments, addressing the limitations of traditional reliability coefficients such as Cronbach’s Alpha and McDonald’s Omega. These classical methods can yield inaccurate estimates due to issues like redundancy, multidimensional constructs, and correlated errors. In contrast, Monotone Delta quantifies internal consistency by minimizing contradictions in response orderings without relying on parametric assumptions, achieving superior accuracy in various controlled scenarios. Experimental results indicate that Monotone Delta maintains an absolute error of ≤ 0.02 in challenging conditions, while Alpha and Omega show deviations of up to 0.22 and 0.14, respectively. In a human study involving AI-generated image assessments, Monotone Delta demonstrated stability under redundancy and non-normal perturbations, contrasting with the significant fluctuations observed in traditional measures.
The findings underscore Monotone Delta’s potential as a reliable alternative for assessing internal consistency in socio-technical systems, healthcare, and interactive design. By evaluating reliability as a structural property of response orderings, Monotone Delta offers more stable and interpretable estimates, particularly in the presence of common survey data challenges. Future research will aim to enhance the computational efficiency of Monotone Delta for larger datasets and explore its integration with probabilistic and Bayesian frameworks, thereby broadening its applicability across various domains.
Introduction
The introduction of this research paper emphasizes the critical importance of reliability assessment in survey-based instruments utilized across various human-centered domains, including human-robot collaboration, healthcare, AI-generated content evaluation, and education. Reliability, defined as the consistency of scores across replications, is particularly focused on internal consistency, which measures how well survey items reflect a single latent construct. This aspect is vital for ensuring that responses accurately represent behavioral or cognitive factors, thereby enhancing the development of reliable social system models. The paper highlights the limitations of existing reliability measures, such as Cronbach’s Alpha and McDonald’s Omega, which often rely on assumptions that do not hold in practical applications, such as tau-equivalence and local independence.
To address these challenges, the authors propose a novel reliability measure called Monotone Delta, which is based on order theory. This method assesses internal consistency by minimizing ordinal contradictions among item responses and constructing a weighted tournament graph to capture pairwise dominance relationships. Unlike traditional measures, Monotone Delta operates without parametric assumptions, making it resilient to issues like redundancy, multidimensionality, and non-normal data distributions. The paper outlines the contributions of Monotone Delta, including its theoretical evaluation and experimental validation against conventional measures, demonstrating its robustness and adaptability across diverse survey-based applications. The introduction sets the stage for a comprehensive exploration of this new framework, which aims to improve reliability assessments in contemporary survey instruments.
Methods
In the section on methods, the authors discuss various alternative measures of internal consistency beyond the traditional Cronbach’s Alpha and McDonald’s Omega. They highlight the Greatest Lower Bound (GLB) and Split-Half Reliability as notable alternatives. The GLB optimizes the covariance matrix under the congeneric model to provide a lower bound on reliability, often yielding values that exceed those of Cronbach’s Alpha, although it can be computationally intensive and unstable. Split-Half Reliability, which involves partitioning items and correlating scores from the resulting subsets, is independent of alpha and omega but sensitive to the method of partitioning. Both measures, while useful, share limitations in addressing redundancy and noise in data.
The authors emphasize a contemporary reassessment of classical reliability coefficients, particularly focusing on the conditions under which Cronbach’s Alpha and McDonald’s Omega yield valid estimates. They argue that these coefficients should not be universally applied, as their reliability estimates can become unstable or misleading when assumptions such as unidimensionality and normal item distributions are violated. Recent studies have shown that issues like semantic overlap among items can inflate alpha values, leading to misinterpretations among researchers. To address these limitations, the authors propose a novel order-theoretic method that quantifies contradictions and robustly handles ties and noise, offering a more reliable framework for assessing internal consistency in modern datasets.
Results
The results section presents two key theoretical findings and empirical evaluations of reliability measures across various scenarios. Theorem 1 establishes that the Monotone Delta method is scale-invariant, meaning that it preserves the relative ordering of responses under strictly increasing transformations, unlike Cronbach’s Alpha, which is sensitive to such changes. Theorem 2 highlights the sensitivity of reliability estimates to multidimensionality, indicating that when multiple latent dimensions influence item responses, a positive lower bound on the minimal contradiction count exists, thereby affecting reliability estimates.
Empirical results, summarized in Table 2, compare the reliability estimates from five methods—Cronbach’s Alpha, McDonald’s Omega, Greatest Lower Bound (GLB), Split-Half Reliability, and Monotone Delta—across four scenarios: tau-equivalence, redundancy, multidimensionality, and non-normal distributions. In the tau-equivalence scenario, all methods performed similarly well, with Monotone Delta achieving a mean absolute error (MAE) of 0.01. In the redundancy scenario, Monotone Delta maintained the lowest MAE of 0.01, demonstrating robustness against overestimation due to item collinearity. In the multidimensionality scenario, Monotone Delta again outperformed traditional methods, yielding an estimate of 0.80 with an MAE of 0.02, closely aligning with the theoretical reliability of 0.82. Finally, in the non-normal scenario, Monotone Delta produced a reliability estimate of 0.83 with the lowest MAE of 0.02, confirming its effectiveness in challenging conditions. Overall, these findings underscore Monotone Delta’s practical utility in accurately assessing reliability in modern survey instruments.
Discussion
In the discussion section of the research paper, the authors critically evaluate traditional reliability measures, specifically Cronbach’s Alpha and McDonald’s Omega, highlighting their limitations in accurately assessing internal consistency in survey-based instruments. Cronbach’s Alpha, while widely utilized, is constrained by its assumptions of tau-equivalence and sensitivity to item count, leading to potentially inflated reliability estimates in multidimensional contexts. The authors illustrate that when items measure distinct constructs, the covariance structure can become block-diagonal, violating the unidimensionality assumption and resulting in misleading reliability scores. Similarly, McDonald’s Omega, although an improvement over Cronbach’s Alpha, is also affected by factor model assumptions and can yield biased estimates when items exhibit overlapping content or when the data is multidimensional.
To address these challenges, the authors propose a novel measure called Monotone Delta, grounded in order theory. This approach seeks to minimize contradictions in respondent rankings, thereby enhancing the assessment of internal consistency. Monotone Delta quantifies the degree of alignment between observed responses and a hypothesized latent order, offering a more robust framework for evaluating reliability in complex datasets. The method’s resilience to redundancy and its ability to detect deviations from unidimensionality position it as a promising alternative to traditional measures. The authors further validate Monotone Delta through synthetic data experiments and a real-world human study, demonstrating its applicability and effectiveness in diverse contexts.
Limitations
In this section, the authors critically examine the formal constructs and limitations of current reliability measures, specifically focusing on Cronbach’s Alpha and McDonald’s Omega. They highlight the challenges inherent in these traditional metrics, particularly in terms of data and variable representation. The discussion underscores the theoretical shortcomings of these measures, which may affect their applicability in certain contexts.
Additionally, the authors explore alternative methods for assessing reliability and introduce Order Theory as a foundational framework for their research. This approach aims to address the limitations identified in conventional reliability measures, potentially offering more robust and meaningful insights into the reliability of data in various applications.
