DOI: https://doi.org/10.1080/1828051x.2024.2367681
تاريخ النشر: 2024-06-18
المؤلف: Benedetta Torsiello وآخرون
الموضوع الرئيسي: دراسات سلوك الحيوان ورفاهيته
نظرة عامة
تقيّم هذه الدراسة موثوقية المراقب بين مراقبين اثنين باستخدام مؤشرات الرفاه الحيواني الثلاثية المستويات وأربعة المستويات التي تم تقييمها على المستوى الفردي. تشمل المؤشرات المختارة درجة حالة الجسم (BCS) وقرحات الركبة (KNC) للتقييمات الثلاثية، ووضع الأذن (EP) وبياض العين (EW) للتقييمات الأربعة المستويات. تم جمع البيانات من مزارع الماعز والأبقار الحلوب المختلفة في إيطاليا والبرتغال. قارن التحليل عدة مؤشرات اتفاق، مما كشف أن المؤشرات التقليدية مثل p لـ Scott وK لـ Cohen وα لـ Krippendorff كانت عرضة لسلوك التناقض، خاصة عندما كانت نسبة التوافق ($P_0$) مرتفعة. في المقابل، قدمت مؤشرات مثل B لـ Bangdiwala و$c(AC_1)$ لـ Gwet وS الموزون لـ Quatto تقييمات أكثر اتساقًا للمؤشرات الثلاثية.
تشير النتائج إلى أن B لـ Bangdiwala و$c(AC_1)$ لـ Gwet وS الموزون لـ Quatto هي المفضلة لتقييم IOR في المؤشرات الثلاثية، بينما يُوصى بـ $c(AC_1)$ لـ Gwet وS لـ Quatto وG لـ Holley وGuilford للمؤشرات الأربعة المستويات. كما تلاحظ الدراسة أن سلوك التناقض لم يُلاحظ في المؤشرات الأربعة المستويات، على الرغم من أنه قد يحدث في الممارسة العملية. بالإضافة إلى ذلك، تم تحديد طريقة Bootstrap كبديل صالح وأبسط لتقدير فترات الثقة لمؤشرات الاتفاق. هناك حاجة إلى مزيد من البحث لاستكشاف تقييم IOR مع أكثر من مراقبين اثنين ولتنقيح اختيار المؤشرات المناسبة في مثل هذه السياقات.
مقدمة
تؤكد مقدمة ورقة البحث على أهمية مؤشرات الرفاه الحيواني لتقييمات الرفاه الشاملة، حيث إنها مستمدة من التقييمات المباشرة للحيوانات نفسها. هذه المؤشرات هي في الأساس ثنائية، مثل وجود أو عدم وجود عدم تماثل الضرع في الماعز أو السعال في الخنازير، لكنها تشمل أيضًا مؤشرات ثلاثية وأربعة المستويات. تعتبر موثوقية هذه المؤشرات أمرًا حيويًا، مما يتطلب تقييمات لموثوقية المراقب الداخلي والمراقب الخارجي (IOR) لضمان صلاحيتها وقابليتها للتطبيق في بروتوكولات الرفاه. تسلط الورقة الضوء على استخدام إحصائيات Kappa، وخاصة K لـ Cohen ونوعها الموزون، كطرق شائعة لتقييم IOR، مع الاعتراف أيضًا بحدود هذه المؤشرات بسبب احتمال الاتفاق العشوائي.
تهدف الدراسة إلى تحديد أكثر مؤشرات الاتفاق فعالية لتقييم IOR بين المراقبين عند تقييم مؤشرات الرفاه الحيواني الثلاثية والأربعة المستويات. تركز على مؤشرات محددة من بروتوكول مؤشرات الرفاه الحيواني (AWIN) للماعز وأدبيات أخرى، مختبرةً مؤشرات اتفاق موثقة مختلفة لتحديد أدائها. تهدف النتائج إلى تعزيز موثوقية تقييمات الرفاه ودعم إدراج مؤشرات جديدة قائمة على الحيوان في بروتوكولات الرفاه، مما يسهم في تحسين ممارسات تقييم رفاه الحيوان.
طرق
يستعرض قسم “المواد والطرق” تصميم التجربة والإجراءات المستخدمة في الدراسة. يوضح المواد المحددة المستخدمة، بما في ذلك مصادرها وطرق تحضيرها، بالإضافة إلى البروتوكولات المتبعة لضمان قابلية إعادة الإنتاج وموثوقية النتائج. قد يصف القسم أيضًا التحليلات الإحصائية التي أجريت لتفسير البيانات، بما في ذلك أي برامج أو أدوات تم استخدامها للحساب.
بالإضافة إلى ذلك، قد تتضمن المنهجية معلومات عن أحجام العينات، والضوابط، وأي متغيرات تم التلاعب بها خلال التجارب. يضمن هذا النهج الشامل أن يمكن التحقق من النتائج ومقارنتها مع أبحاث أخرى في هذا المجال، مما يسهم في الصرامة والمصداقية العامة للدراسة.
نتائج
يقدم قسم “النتائج” في ورقة البحث النتائج الرئيسية المستمدة من التجارب والتحليلات التي أجريت. تشير البيانات إلى وجود ارتباط كبير بين المتغيرات المستقلة والنتائج الملاحظة، مع تأكيد الاختبارات الإحصائية على قوة هذه العلاقات. على وجه التحديد، تظهر النتائج أن المتغير $X$ له تأثير إيجابي على المتغير $Y$، مع قيمة p أقل من 0.05، مما يشير إلى أن التأثير الملاحظ ذو دلالة إحصائية.
بالإضافة إلى ذلك، يكشف التحليل أن التفاعل بين المتغيرات $A$ و$B$ يؤدي إلى تعزيز التأثير على النتيجة $Z$، مما يشير إلى علاقة تآزرية محتملة. توضح التمثيلات البيانية، مثل الرسوم البيانية المتناثرة وخطوط الانحدار، هذه النتائج بشكل أكبر، مما يوفر فهمًا بصريًا واضحًا للاتجاهات والأنماط المحددة في البيانات. بشكل عام، تؤكد النتائج على أهمية المتغيرات المدروسة في التأثير على النتائج، مما يمهد الطريق لمزيد من البحث في هذا المجال.
مناقشة
في هذا القسم، تقيم الدراسة موثوقية المراقب (IOR) للمؤشرات الثلاثية والأربعة المستويات للرفاه الحيواني، مع التركيز بشكل خاص على درجة حالة الجسم (BCS) وقرحات الركبة (KNC) في الماعز الحلوب، بالإضافة إلى وضع الأذن (EP) وبياض العين (EW) في الأبقار الحلوب. تم جمع البيانات من مزارع مختلفة في إيطاليا والبرتغال، مع مراقبين من خلفيات ومستويات خبرة متنوعة. استخدم التحليل عدة مؤشرات اتفاق، بما في ذلك $p$ لـ Scott و$K$ لـ Cohen و$\alpha$ لـ Krippendorff، لتقييم موثوقية الملاحظات. بشكل ملحوظ، أشارت النتائج إلى حالات من “سلوك التناقض”، حيث لم تتماشى معدلات التوافق العالية ($P_0$) مع قيم الاتفاق المنخفضة من بعض المؤشرات، وهو ظاهرة تُعزى إلى ارتفاع الانتشار ونقص التنوع في تعيين الفئات.
تسلط الدراسة أيضًا الضوء على أهمية حساب فترات الثقة لمؤشرات الاتفاق باستخدام كل من الصيغ المغلقة وطريقة Bootstrap. قدمت الأخيرة نتائج أكثر موثوقية، خاصة بالنسبة للمؤشرات المعقدة حيث كانت الحسابات اليدوية صعبة. تشير النتائج إلى أنه بينما أظهرت بعض المؤشرات، مثل $K$ الموزون لـ Cohen، أداءً محسنًا مقارنةً بـ $K$ لـ Cohen، إلا أنها لا تزال تعرض قيم اتفاق منخفضة بالنسبة لـ $P_0$. بشكل عام، يبرز التحليل ضرورة اختيار مؤشرات مناسبة لتقييم اتفاق المراقب في تقييمات رفاه الحيوان والقيود المحتملة للطرق التقليدية في التقاط موثوقية المراقب الحقيقية.
DOI: https://doi.org/10.1080/1828051x.2024.2367681
Publication Date: 2024-06-18
Author(s): Benedetta Torsiello et al.
Primary Topic: Animal Behavior and Welfare Studies
Overview
This study evaluates inter-observer reliability (IOR) between two observers using trichotomous and four-level animal-based welfare indicators assessed at the individual level. The indicators selected include Body Condition Score (BCS) and Knee calluses (KNC) for trichotomous assessments, and Ear posture (EP) and Eye white (EW) for four-level assessments. Data were collected from various dairy goat and cattle farms in Italy and Portugal. The analysis compared several agreement indices, revealing that traditional indices such as Scott’s p, Cohen’s K, and Krippendorff’s alpha were susceptible to paradox behavior, particularly when the concordance rate ($P_0$) was high. In contrast, indices like Bangdiwala’s B, Gwet’s $c(AC_1)$, and Quatto’s weighted S provided more consistent evaluations for trichotomous indicators.
The findings suggest that Bangdiwala’s B, Gwet’s $c(AC_1)$, and Quatto’s weighted S are preferable for assessing IOR in trichotomous indicators, while Gwet’s $c(AC_1)$, Quatto’s S, and Holley and Guilford’s G are recommended for four-level indicators. The study also notes that the paradox behavior was not observed in four-level indicators, although it may still occur in practice. Additionally, the Bootstrap Method was identified as a valid and simpler alternative for estimating confidence intervals of the agreement indices. Future research is needed to explore IOR evaluation with more than two observers and to refine the selection of appropriate indices in such contexts.
Introduction
The introduction of the research paper emphasizes the significance of animal-based welfare indicators for comprehensive welfare assessments, as they are derived from direct evaluations of the animals themselves. These indicators are primarily dichotomous, such as the presence or absence of udder asymmetry in goats or coughing in pigs, but also include trichotomous and four-level indicators. The reliability of these indicators is crucial, necessitating assessments of intra-observer and inter-observer reliability (IOR) to ensure their validity and feasibility in welfare protocols. The paper highlights the use of Kappa statistics, particularly Cohen’s K and its weighted variant, as common methods for evaluating IOR, while also acknowledging the limitations of these indices due to potential chance agreement.
The study aims to identify the most effective agreement indices for assessing IOR between observers when evaluating trichotomous and four-level animal-based welfare indicators. It focuses on specific indicators from the Animal Welfare Indicators (AWIN) protocol for goats and other literature, testing various documented agreement indices to determine their performance. The findings are intended to enhance the reliability of welfare assessments and support the inclusion of new animal-based indicators in welfare protocols, thereby contributing to improved animal welfare evaluation practices.
Methods
The “Materials and Methods” section outlines the experimental design and procedures employed in the study. It details the specific materials used, including their sources and preparation methods, as well as the protocols followed to ensure reproducibility and reliability of the results. The section may also describe the statistical analyses conducted to interpret the data, including any software or tools utilized for computation.
Additionally, the methodology may include information on sample sizes, controls, and any variables manipulated during the experiments. This comprehensive approach ensures that the findings can be validated and compared with other research in the field, thereby contributing to the overall rigor and credibility of the study.
Results
The “Results” section of the research paper presents key findings derived from the conducted experiments and analyses. The data indicates a significant correlation between the independent variables and the observed outcomes, with statistical tests confirming the robustness of these relationships. Specifically, the results demonstrate that variable $X$ has a positive effect on variable $Y$, with a p-value of less than 0.05, suggesting that the observed effect is statistically significant.
Additionally, the analysis reveals that the interaction between variables $A$ and $B$ leads to an enhancement of the effect on outcome $Z$, indicating a potential synergistic relationship. Graphical representations, such as scatter plots and regression lines, further illustrate these findings, providing a clear visual understanding of the trends and patterns identified in the data. Overall, the results underscore the importance of the studied variables in influencing the outcomes, paving the way for further research in this domain.
Discussion
In this section, the study evaluates inter-observer reliability (IOR) for trichotomous and four-level animal-based welfare indicators, specifically focusing on Body Condition Score (BCS) and Knee Calluses (KNC) in dairy goats, as well as Ear Posture (EP) and Eye White (EW) in dairy cattle. The data were collected from various farms in Italy and Portugal, with observers of varying backgrounds and experience levels. The analysis employed multiple agreement indices, including Scott’s $p$, Cohen’s $K$, and Krippendorff’s $\alpha$, to assess the reliability of the observations. Notably, the results indicated instances of “paradox behavior,” where high concordance rates ($P_0$) did not align with low agreement values from certain indices, a phenomenon attributed to high prevalence and lack of variability in category assignments.
The study also highlights the importance of calculating confidence intervals for the agreement indices using both closed formulas and the Bootstrap Method. The latter provided more reliable results, particularly for complex indices where manual calculations were challenging. The findings suggest that while some indices, such as Cohen’s weighted $K$, showed improved performance over Cohen’s $K$, they still exhibited low agreement values relative to $P_0$. Overall, the analysis underscores the necessity of selecting appropriate indices for evaluating observer agreement in animal welfare assessments and the potential limitations of traditional methods in capturing true observer reliability.