DOI: https://doi.org/10.1016/j.atech.2026.101831
تاريخ النشر: 2026-01-24
المؤلف: Helena Russello وآخرون
الموضوع الرئيسي: الزراعة الذكية والذكاء الاصطناعي
نظرة عامة
تتناول هذه الدراسة القضية المهمة لعرج الأبقار الحلوب، مقترحة نهجًا مبتكرًا للكشف التلقائي يدمج تقدير الوضع مع الشبكات العصبية ذات الذاكرة الطويلة والقصيرة ثنائية الاتجاه (BLSTM). تستخدم المنهجية نموذج تقدير الوضع T-LEAP لاستخراج تسلسلات الحركة من تسعة نقاط رئيسية على حوافر الأبقار ورأسها وظهرها، والتي يتم إدخالها بعد ذلك في مصنف BLSTM لتصنيف العرج الثنائي. أظهرت التجارب أن الهيكل الأمثل، الذي يتكون من ثلاث طبقات BLSTM بحجم 128، حقق دقة بنسبة 85%، متجاوزًا دقة 80% لطريقة تقليدية تعتمد على ميزات الحركة المصممة يدويًا ومصنف SVM. ومن الجدير بالذكر أن مصنف BLSTM كان فعالًا مع أقل من ثانية واحدة من بيانات الفيديو.
تشير النتائج إلى أن الجمع بين تقدير الوضع بدون علامات وBLSTMs لا يلغي فقط الحاجة إلى هندسة الميزات اليدوية، بل يعزز أيضًا المتانة ضد الضوضاء مع توفير معلومات مكانية شاملة من خلال تضمين نقاط رئيسية متعددة. تقترح الدراسة عدة مجالات للبحث المستقبلي، بما في ذلك تقييم متانة BLSTM تحت ظروف ضوضاء متغيرة، والإمكانية المحتملة لتضمين نقاط رئيسية إضافية لتحسين الكشف، واستكشاف تصنيف المقياس متعدد النقاط. بشكل عام، يمثل هذا النهج تقدمًا واعدًا في الكشف التلقائي عن العرج في الأبقار الحلوب، مع آثار لتحسين رفاهية الحيوانات وإنتاجيتها.
مقدمة
تتناول مقدمة ورقة البحث القضية المهمة لعرج الأبقار الحلوب، والذي يؤثر سلبًا على رفاهيتها وإنتاجيتها، بما في ذلك إنتاج الحليب والخصوبة. تعتمد الطرق التقليدية للكشف عن العرج على تقييم الحركة بصريًا من قبل مراقبين مدربين، وهي عملية تستغرق وقتًا طويلاً وغير متكررة. يقترح المؤلفون أتمتة هذه العملية من خلال المراقبة المستمرة بالفيديو، مستفيدين من مزايا كاميرات الفيديو كأجهزة استشعار فعالة من حيث التكلفة وغير متطفلة للقطعان الكبيرة. استخدمت الدراسات السابقة ميزات حركة متنوعة لتصنيف العرج، لكن هذه الطرق غالبًا ما تواجه قيودًا مثل الاعتماد على بيانات ذات ضوضاء منخفضة واختيار الميزات يدويًا، مما يمكن أن يقيد قدرة النموذج على التقاط الأنماط المعقدة.
لتجاوز هذه التحديات، يقدم المؤلفون نهجًا من خطوتين يدمج تقدير الوضع مع الشبكات العصبية ذات الذاكرة الطويلة والقصيرة ثنائية الاتجاه (BLSTM) للكشف عن العرج. تستخدم هذه الطريقة مسارات النقاط الرئيسية من حركات الأبقار، مما يسمح بتمثيل شامل لبيوميكانيكياتها. هيكل BLSTM مفيد لأنه يلتقط الاعتماديات طويلة المدى في البيانات التسلسلية، مما يحسن دقة التصنيف مقارنة بالطرق التقليدية. يوضح المؤلفون مساهماتهم، بما في ذلك تحليل مقارن مع تقنيات هندسة الميزات اليدوية المعروفة، وتقييم هياكل BLSTM المختلفة، وتقييم الأداء عبر أطوال تسلسلات مختلفة لأخذ اختلافات سرعات المشي بين الأبقار الصحية والمريضة في الاعتبار.
الطرق
في هذه الدراسة، استخدم المؤلفون T-LEAP لاستخراج مسارات النقاط الرئيسية من تسجيلات الفيديو للأبقار أثناء المشي، كما هو موضح في الشكل 1. تم قص المسارات المستخرجة بعد ذلك إلى طول تسلسل موحد لضمان اتساق بيانات الإدخال. ثم تم إدخال هذه المسارات المعالجة في مصنف الشبكات العصبية ذات الذاكرة الطويلة والقصيرة ثنائية الاتجاه (BLSTM) للتحليل. يتم توضيح المزيد من التفاصيل المتعلقة بالبيانات والمنهجية في الأقسام الفرعية التالية من الورقة.
النتائج
يقدم قسم النتائج تحليلًا مقارنًا لمختلف هياكل الشبكات العصبية ذات الذاكرة الطويلة والقصيرة ثنائية الاتجاه (BLSTM) وأطوال التسلسل مقابل نهج آلة الدعم الناقل (SVM)، جميعها تم تقييمها على نفس مجموعة البيانات. تشير النتائج إلى مقاييس أداء نماذج BLSTM، مع تسليط الضوء على فعاليتها في التعامل مع مجموعة البيانات بالنسبة لقاعدة SVM. ستتناول الأقسام الفرعية التالية نتائج محددة، موضحة مزايا وقيود كل هيكل وتكوين تسلسل.
المناقشة
في هذه الدراسة، بحث المؤلفون نهجًا جديدًا للكشف عن العرج في أبقار هولشتاين-فريزيان باستخدام مصنف الشبكات العصبية ذات الذاكرة الطويلة والقصيرة ثنائية الاتجاه (BLSTM) المدرب على مسارات النقاط الرئيسية المستخرجة من بيانات الفيديو. كانت مجموعة البيانات تتكون من 272 فيديو، مع تصنيفات المشي مصنفة إلى فئات طبيعية ومريضة. تم استخدام نموذج تقدير الوضع T-LEAP لاكتشاف النقاط الرئيسية، مع التركيز على تسعة نقاط محددة على حوافر الأبقار ورأسها وظهرها. أظهرت النتائج أن هياكل BLSTM تفوقت بشكل كبير على نموذج آلة الدعم الناقل (SVM) المرجعي، محققة دقة أعلى ومتانة ضد الضوضاء دون الحاجة إلى خطوات معالجة مسبقة لتصفية مسارات النقاط الرئيسية.
كشفت تحليل أطوال التسلسل المختلفة أنه بينما كانت تسلسلات 90 إطارًا تحقق أفضل أداء، فإن التسلسلات الأقصر المكونة من 30 إطارًا لا تزال توفر معلومات كافية للكشف الدقيق عن العرج. وهذا يشير إلى أن الكشف عن العرج قد يكون ممكنًا مع الحد الأدنى من بيانات الفيديو، على الرغم من أن التسلسلات الأطول موصى بها لالتقاط الشذوذات الدقيقة في المشي. كما سلطت الدراسة الضوء على التحديات المتمثلة في مقارنة النتائج مع الأعمال ذات الصلة بسبب الاختلافات في المنهجيات ومجموعات البيانات. بشكل عام، تشير النتائج إلى أن النهج المعتمد على التعلم المقترح يقدم بديلاً أكثر كفاءة وفعالية للطرق التقليدية المعتمدة على الميزات للكشف عن العرج في الماشية.
القيود
تسلط القيود المفروضة على الدراسة حول الكشف عن العرج الضوء على عدة جوانب حاسمة تؤثر على متانة وملاءمة النتائج. كانت الدراسة مقيدة بتصنيف العرج الثنائي بسبب تركيز مجموعة البيانات الأصلية على تسميات “طبيعي” مقابل “مريض”، مما دمج مقياس الحركة المكون من خمسة مستويات في فئتين. نشأت هذه التبسيط من عدد محدود من مقاطع الفيديو، مما يمثل بشكل غير كافٍ حالات العرج المعتدلة إلى الشديدة. وبالتالي، فإن نظام الكشف الأكثر دقة سيتطلب مجموعة بيانات أكبر مع تمثيل متوازن لجميع مستويات الشدة. بالإضافة إلى ذلك، استخدمت الدراسة مجموعة فرعية من تسعة نقاط رئيسية لتحليل المشي، مما قد يقيد قدرة النموذج على التقاط الأنماط الحركية المعقدة. يمكن أن تستفيد التحقيقات المستقبلية من دمج نقاط رئيسية إضافية لتعزيز تمثيل ديناميات المشي.
علاوة على ذلك، قد تؤدي معايير اختيار مجموعة البيانات، التي تركزت على الحركة المستمرة، إلى إدخال تحيز لا يعكس السيناريوهات الواقعية حيث تتوقف الأبقار بشكل متكرر. تشير هذه القيود إلى أن أداء النموذج في الإعدادات العملية لا يزال غير مختبر. اعتمدت الدراسة أيضًا على بيانات الفيديو ثنائية الأبعاد، والتي، على الرغم من كونها شائعة، قد لا تستغل بالكامل المزايا المحتملة لبيانات ثلاثية الأبعاد للكشف عن العرج. تشير الأبحاث السابقة إلى أن معلومات العمق يمكن أن تحسن دقة الكشف، ويستحق استكشاف هذا الجانب المزيد من البحث. أخيرًا، لكي يتم تنفيذ النظام بشكل فعال في بيئات المزارع، يجب أن يتضمن وظائف مثل تتبع الأبقار الفردية والتكيف مع زوايا الكاميرا المختلفة، مما يتطلب مزيدًا من التطوير والاختبار.
DOI: https://doi.org/10.1016/j.atech.2026.101831
Publication Date: 2026-01-24
Author(s): Helena Russello et al.
Primary Topic: Smart Agriculture and AI
Overview
This study addresses the significant issue of lameness in dairy cattle, proposing an innovative approach for automatic detection that integrates pose estimation with Bidirectional Long-Short-Term Memory (BLSTM) neural networks. The methodology utilizes the T-LEAP pose-estimation model to extract motion sequences from nine keypoints on the cows’ hooves, head, and back, which are then input into a BLSTM classifier for binary lameness classification. The experiments demonstrated that the optimal architecture, comprising three BLSTM layers of size 128, achieved an accuracy of 85%, surpassing the 80% accuracy of a traditional method based on manually-designed locomotion features and an SVM classifier. Notably, the BLSTM classifier was effective with as little as one second of video data.
The findings indicate that the combination of markerless pose estimation and BLSTMs not only eliminates the need for manual feature engineering but also enhances robustness against noise while providing comprehensive spatial information through the inclusion of multiple keypoints. The study suggests several avenues for future research, including the evaluation of BLSTM robustness under varying noise conditions, the potential inclusion of additional keypoints for improved detection, and the exploration of multi-point scale classification. Overall, this approach represents a promising advancement in the automatic detection of lameness in dairy cattle, with implications for improving animal welfare and productivity.
Introduction
The introduction of the research paper addresses the significant issue of lameness in dairy cows, which adversely affects their welfare and productivity, including milk yield and fertility. Traditional methods for detecting lameness rely on visual locomotion scoring by trained observers, which are time-consuming and infrequent. The authors propose automating this process through continuous video monitoring, leveraging the advantages of video cameras as cost-effective and non-intrusive sensors for large herds. Previous studies have utilized various locomotion traits for lameness classification, but these methods often face limitations such as reliance on low-noise data and manual feature selection, which can restrict the model’s ability to capture complex patterns.
To overcome these challenges, the authors introduce a two-step approach that integrates pose estimation with Bidirectional Long Short-Term Memory (BLSTM) networks for lameness detection. This method utilizes keypoint trajectories from the cows’ movements, allowing for a comprehensive representation of their biomechanics. The BLSTM architecture is advantageous as it captures long-term dependencies in sequential data, improving classification accuracy compared to traditional methods. The authors outline their contributions, including a comparative analysis with established manual feature engineering techniques, evaluation of various BLSTM architectures, and performance assessment across different sequence lengths to account for variations in walking speeds between healthy and lame cows.
Methods
In this study, the authors employed T-LEAP to extract keypoint trajectories from video recordings of walking cows, as depicted in Figure 1. The extracted trajectories were subsequently cropped to a uniform sequence length to ensure consistency in the data input. These processed trajectories were then fed into a Bidirectional Long Short-Term Memory (BLSTM) classifier for analysis. Further details regarding the data and methodology are elaborated in the subsequent subsections of the paper.
Results
The results section presents a comparative analysis of various Bidirectional Long Short-Term Memory (BLSTM) architectures and sequence lengths against a Support Vector Machine (SVM) approach, all evaluated on the same dataset. The findings indicate the performance metrics of the BLSTM models, highlighting their effectiveness in handling the dataset relative to the SVM baseline. Subsequent subsections will delve into specific results, detailing the advantages and limitations of each architecture and sequence configuration.
Discussion
In this study, the authors investigated a novel approach for lameness detection in Holstein-Friesian cows using a Bidirectional Long Short-Term Memory (BLSTM) classifier trained on keypoint trajectories extracted from video data. The dataset comprised 272 videos, with gait scores categorized into normal and lame classes. The T-LEAP pose estimation model was employed to detect keypoints, focusing on nine specific points on the cows’ hooves, head, and back. The results demonstrated that the BLSTM architectures significantly outperformed a reference Support Vector Machine (SVM) model, achieving higher accuracy and robustness to noise without requiring preprocessing steps to filter keypoint trajectories.
The analysis of different sequence lengths revealed that while 90-frame sequences yielded the best performance, shorter sequences of 30 frames still provided sufficient information for accurate lameness detection. This suggests that lameness detection could be feasible with minimal video data, although longer sequences are recommended for capturing subtle gait anomalies. The study also highlighted the challenges of comparing results with related work due to variations in methodologies and datasets. Overall, the findings indicate that the proposed learning-based approach offers a more efficient and effective alternative to traditional feature-based methods for lameness detection in livestock.
Limitations
The limitations of the study on lameness detection highlight several critical aspects that affect the robustness and applicability of the findings. The research was constrained by the binary classification of lameness due to the original dataset’s focus on “normal” versus “lame” labels, which amalgamated a five-level locomotion scale into two categories. This simplification arose from a limited number of videos, particularly underrepresenting moderate to severe lameness cases. Consequently, a more nuanced detection system would necessitate a larger dataset with a balanced representation of all severity levels. Additionally, the study utilized a subset of nine keypoints for gait analysis, which may restrict the model’s ability to capture complex kinematic patterns. Future investigations could benefit from incorporating additional keypoints to enhance the representation of gait dynamics.
Moreover, the dataset’s selection criteria, which focused on uninterrupted locomotion, may introduce a bias that does not reflect real-world scenarios where cows frequently pause. This limitation suggests that the model’s performance in practical settings remains untested. The study also relied on 2D video data, which, while common, may not fully exploit the potential advantages of 3D data for lameness detection. Previous research indicates that depth information can improve detection accuracy, and further exploration of this aspect is warranted. Lastly, for the system to be effectively implemented in farm environments, it must incorporate functionalities such as individual cow tracking and adaptability to various camera angles, necessitating further development and testing.