DOI: https://doi.org/10.1016/j.jhsa.2024.01.006
PMID: https://pubmed.ncbi.nlm.nih.gov/38372689
تاريخ النشر: 2024-02-17
المؤلف: Bastiaan M. Derksen وآخرون
الموضوع الرئيسي: الموثوقية والاتفاق في القياس
نظرة عامة
تقدم هذه القسم نظرة عامة على دراسات موثوقية المراقبين التي تركز على أنظمة تصنيف الكسور، مع تسليط الضوء على استخدام كا من كوهين و الاتفاق المطلق كمقاييس رئيسية للنتائج. كا من كوهين هو مقياس مصحح للفرص يقيس الاتفاق على مقياس من 0 (يشير إلى عدم وجود اتفاق) إلى 1 (يشير إلى اتفاق تام). بالمقابل، يعكس الاتفاق المطلق النسبة المئوية للحالات التي يتفق فيها المراقبون على تقييماتهم. من الجدير بالذكر أن بعض الدراسات تظهر اتفاقًا مطلقًا عاليًا إلى جانب قيم كا من كوهين منخفضة نسبيًا، وهي تناقض يعرف باسم مفارقة كابا. الهدف الرئيسي من هذه المقالة هو توضيح مفارقة كابا، مما يمكن القراء والباحثين من التعرف على هذه الظاهرة الإحصائية والتخفيف منها في أعمالهم.
مقدمة
تناقش مقدمة ورقة البحث الأهمية الحاسمة لموثوقية المراقب في أنظمة تصنيف الكسور، مع التأكيد على أن النظام المثالي يجب أن يظهر موثوقية عالية داخل وبين المراقبين، ويؤثر على قرارات العلاج، ويتنبأ بالنتائج السريرية، ويمكّن من المقارنات عبر الدراسات السريرية. تُعتبر إحصائية كابا ($k$)، التي قدمها كوهين في عام 1960، مقياسًا رئيسيًا لتقييم الاتفاق في هذه الدراسات من خلال مقارنة الاتفاق الملاحظ بما يمكن توقعه بالصدفة.
تسلط الورقة الضوء على أنه بينما عادةً ما تبلغ دراسات التصنيف عن كل من قيم كابا ونسب الاتفاق المطلق، يمكن أن تنشأ تناقضات. على سبيل المثال، قد تُظهر دراسة اتفاقًا مطلقًا عاليًا (مثل 95%) ومع ذلك تُنتج قيمة كابا منخفضة، وهي حالة تُعرف بمفارقة كابا. يمكن أن تؤدي هذه المفارقة إلى الارتباك بشأن موثوقية نظام التصنيف. الهدف الرئيسي من هذه المقالة هو توضيح مفارقة كابا، مما يزود القراء والباحثين بالمعرفة للتعرف على هذه الظاهرة الإحصائية والتخفيف منها في أعمالهم.
مناقشة
تناقش قسم المناقشة مفارقة كابا، التي تسلط الضوء على التناقض بين الاتفاق المطلق العالي وقيم كابا المنخفضة في دراسات المراقبين. يتم حساب إحصائية كا على أنها \( k = \frac{o – c}{1 – c} \)، حيث \( o \) هو الاتفاق الملاحظ و \( c \) هو الاتفاق المتوقع بالصدفة، ويتأثر بتوزيع الحالات. بشكل خاص، يمكن أن يؤدي توزيع غير متساوٍ للحالات الإيجابية والسلبية إلى تضخيم الاتفاق المتوقع بالصدفة، مما يقلل من قيمة كا. تم توضيح هذه الظاهرة من خلال دراسة افتراضية ودراسة منشورة تتعلق بكسور الكعبرة البعيدة، حيث تم نسب القيم المنخفضة لكابا إلى العدد المحدود من أنواع الكسور معينة، على الرغم من ارتفاع نسب الاتفاق المطلق.
يؤكد المؤلفون على أهمية تحقيق توازن في توزيع الحالات في البحث لتقليل تأثير الصدفة على قيم كابا. ويجادلون بأن قيمة كابا المنخفضة لا ينبغي أن تُفسر تلقائيًا على أنها اتفاق ضعيف، خاصة في الدراسات ذات توزيعات الحالات المنحرفة. بدلاً من ذلك، يجب على الباحثين أن يأخذوا في الاعتبار سياق توزيع الحالات عند تقييم اتفاق المراقبين. تشير النتائج إلى أن التصميم والتحليل الدقيق للدراسات يمكن أن يؤدي إلى تفسيرات أكثر دقة لاتفاق المراقبين، خاصة في المجالات التي تكون فيها بعض الحالات نادرة.
DOI: https://doi.org/10.1016/j.jhsa.2024.01.006
PMID: https://pubmed.ncbi.nlm.nih.gov/38372689
Publication Date: 2024-02-17
Author(s): Bastiaan M. Derksen et al.
Primary Topic: Reliability and Agreement in Measurement
Overview
The section provides an overview of observer reliability studies focused on fracture classification systems, highlighting the use of Cohen’s k and absolute agreement as key outcome measures. Cohen’s k is a chance-corrected metric that quantifies agreement on a scale from 0 (indicating no agreement) to 1 (indicating perfect agreement). In contrast, absolute agreement reflects the percentage of instances where observers concur on their ratings. Notably, some studies demonstrate high absolute agreement alongside relatively low Cohen’s k values, a discrepancy known as the Kappa Paradox. The primary aim of this article is to elucidate the Kappa Paradox, enabling readers and researchers to identify and mitigate this statistical phenomenon in their work.
Introduction
The introduction of the research paper discusses the critical importance of observer reliability in fracture classification systems, emphasizing that an ideal system should exhibit high intra- and interobserver reliability, inform treatment decisions, predict clinical outcomes, and enable comparisons across clinical studies. The kappa statistic ($k$), introduced by Cohen in 1960, serves as a key metric for assessing agreement in these studies by comparing observed agreement to what would be expected by chance.
The paper highlights that while classification studies typically report both kappa values and absolute agreement percentages, discrepancies can arise. For instance, a study may show a high absolute agreement (e.g., 95%) yet yield a low kappa value, a situation referred to as the Kappa Paradox. This paradox can lead to confusion regarding the reliability of the classification system. The primary aim of this article is to elucidate the Kappa Paradox, equipping readers and researchers with the knowledge to recognize and mitigate this statistical phenomenon in their work.
Discussion
The discussion section addresses the Kappa Paradox, which highlights the discrepancy between high absolute agreement and low kappa coefficients in interobserver studies. The k statistic, calculated as \( k = \frac{o – c}{1 – c} \), where \( o \) is the observed agreement and \( c \) is the agreement expected by chance, is influenced by the distribution of cases. Specifically, an uneven distribution of positive and negative cases can lead to inflated expected agreement by chance, thereby reducing the k value. This phenomenon was illustrated through both a hypothetical study and a published study involving distal radius fractures, where the low kappa values were attributed to the limited number of certain fracture types, despite high absolute agreement percentages.
The authors emphasize the importance of balancing case distributions in research to minimize the influence of chance on kappa values. They argue that a low kappa coefficient should not automatically be interpreted as poor agreement, particularly in studies with skewed case distributions. Instead, researchers should consider the context of case distribution when evaluating interobserver agreement. The findings suggest that careful design and analysis of studies can lead to more accurate interpretations of observer agreement, particularly in fields where certain conditions are rare.