DOI: https://doi.org/10.3390/s25030643
PMID: https://pubmed.ncbi.nlm.nih.gov/39943283
تاريخ النشر: 2025-01-22
المؤلف: Rodania Bekhit وآخرون
الموضوع الرئيسي: دراسات سلوك الحيوان ورفاهيته
نظرة عامة
تستكشف هذه البحث دمج التعلم العميق والتصوير الحراري في دراسة الخنازير، مما يمثل نهجًا بين تخصصات جديدة في أبحاث الحيوانات. قام المؤلفون بتطوير خط أنابيب آلي لاستخراج بيانات درجة الحرارة من منطقة محددة من الاهتمام (ROI) باستخدام كاميرات حرارية. تتضمن العملية ثلاث مراحل: أولاً، التحقق من رؤية منطقة الاهتمام؛ ثانيًا، استخدام شبكة عصبية تلافيفية (CNN) من نوع مشفر-مفكك لتجزئة منطقة الاهتمام؛ وثالثًا، استخراج وحفظ بيانات درجة الحرارة القصوى.
أظهر نموذج التجزئة أداءً قويًا، حيث حقق دقة متوسطة لفئة البكسل بلغت 92.3% ومتوسط تقاطع على اتحاد (IoU) بلغ 87.1%. ومن الجدير بالذكر أن درجات الحرارة المستخرجة بواسطة النموذج كانت متسقة مع تلك التي تم ملاحظتها يدويًا، مما يدل على موثوقية النظام للعمل بشكل مستقل دون إشراف بشري. تشير هذه التطورات إلى إمكانيات كبيرة لأتمتة تقييم درجة الحرارة في أبحاث الحيوانات، مما يعزز كفاءة ودقة جمع البيانات.
مقدمة
ت outlines مقدمة هذه الورقة البحثية تطبيق التصوير الحراري، أو التصوير الحراري بالأشعة تحت الحمراء، ك تقنية غير جراحية لمراقبة توزيع درجة الحرارة على أسطح مختلف الأشياء، بما في ذلك الحيوانات. لقد اكتسبت هذه الطريقة زخمًا عبر مجالات متعددة مثل مراقبة الجودة، والعلوم الطبيعية، والعسكرية، والطب، وخاصة في العلوم البيطرية وعلم الحيوان حيث تعتبر أداة قيمة لمراقبة الصحة دون التسبب في إجهاد الحيوانات. تهدف الدراسة إلى تطوير نظام يكشف ويجزئ أجزاء جسم الخنازير من لقطات التصوير الحراري لتسهيل الأبحاث المستقبلية حول مشاعر الحيوانات.
يتكون النظام المقترح من نموذجين متكاملين: أحدهما يتحقق من رؤية منطقة الاهتمام (ROI) في الإطار والآخر يقوم بتجزئة منطقة الاهتمام لاستخراج بيانات درجة الحرارة القصوى. ومن الجدير بالذكر أن هذه الدراسة تمثل أول حالة لاستخدام التجزئة الدلالية لاستخراج أجزاء جسم الحيوانات من مقاطع الفيديو الحرارية في ظروف الإضاءة المنخفضة، على غرار تلك الموجودة في المزارع. تسلط الأبحاث الضوء على عدة مساهمات رئيسية، بما في ذلك تطوير خط أنابيب كامل للكشف التلقائي وتتبع منطقة الاهتمام في مقاطع الفيديو الحرارية، مما يسمح بالاستخراج المستمر لدرجات الحرارة على مدى فترات طويلة دون تدخل بشري. بالإضافة إلى ذلك، فإن قابلية تكيف النظام للاستخدام مع حيوانات وأجزاء جسم مختلفة، إلى جانب إمكانيته لمراقبة درجة الحرارة على المدى الطويل، يبرز أهميته في أبحاث الحيوانات. تم هيكلة الورقة لمناقشة الأدبيات ذات الصلة، وهندسة النظام، ومعالجة مجموعة البيانات، والتنفيذ، والنتائج، والاستنتاجات في الأقسام التالية.
النتائج
في تقييم هياكل نماذج التصنيف المختلفة على مجموعة بيانات الاختبار، أظهرت شبكات Inception و ResNet50 أداءً متفوقًا، حيث حققت أدنى معدلات إيجابية كاذبة (FPRs) بلغت 0.5% ودقة عامة بلغت 99% عند دمجها. كما أن نموذج التجزئة قدم أداءً جيدًا، حيث كانت دقة تصنيف البكسل العامة (PCA) 92.3%، وقيم PCA المحددة كانت 88.7% و 88.2% للفئتين اليسرى واليمنى، على التوالي. تم تسجيل متوسط تقاطع على اتحاد (mIoU) عند 87.1%، مع قيم IoU اليسرى واليمنى 80.9% و 80.5%، على التوالي.
بالإضافة إلى ذلك، تم التحقق من مخرجات درجة الحرارة للنموذج مقابل القياسات اليدوية المأخوذة من مجموعة من 200 صورة باستخدام FLIR ResearchIR، الإصدار 4.40. أظهرت النتائج توافقًا تامًا بنسبة 100% بين قراءات درجة حرارة النموذج والقياسات اليدوية لجميع السجلات. يتم توضيح هذه المصادقة في تحليل مقارن مقدم في الشكل 7، الذي يبرز التوافق بين الملاحظات اليدوية ومخرجات النموذج.
المناقشة
في قسم المناقشة، تسلط الورقة الضوء على التقدم في تطبيقات التصوير الحراري ضمن أبحاث الحيوانات، مع التأكيد على فائدته في مراقبة الصحة والسلوك. تظهر دراسات بارزة، مثل تلك التي أجراها دنبار وآخرون وأفني-ماجن وآخرون، فعالية التصوير الحراري في الكشف المبكر عن الأمراض ومراقبة التغيرات الفسيولوجية في الحيوانات. ومع ذلك، تعتمد الغالبية العظمى من المنهجيات الحالية على الاستخراج اليدوي للبيانات الحرارية، وهو ما يتطلب جهدًا كبيرًا ووقتًا طويلاً. لا تزال المحاولات الأخيرة للطرق شبه الآلية تتطلب إدخالًا يدويًا كبيرًا، مما يبرز الحاجة إلى تحسين الأتمتة في هذا المجال.
يقترح المؤلفون نظامًا جديدًا يدمج نموذجين من التعلم العميق لأتمتة استخراج بيانات درجة الحرارة من اللقطات الحرارية، مستهدفًا بشكل خاص قواعد آذان الحيوانات. يقوم النموذج الأول بتصنيف ما إذا كانت منطقة الاهتمام (ROI) مرئية بالكامل، بينما يقوم النموذج الثاني بإجراء التجزئة الدلالية لعزل منطقة الاهتمام واستخراج قراءات درجة الحرارة القصوى. يستفيد هذا النهج من التعلم بالنقل مع هياكل معروفة مثل ResNet و UNet، مما يعزز الكفاءة والدقة في استخراج درجة الحرارة. يهدف النظام المقترح إلى تبسيط تحليل بيانات التصوير الحراري، مع معالجة قيود الطرق السابقة وتمهيد الطريق لتطبيقات أوسع للذكاء الاصطناعي في علوم الحيوان.
DOI: https://doi.org/10.3390/s25030643
PMID: https://pubmed.ncbi.nlm.nih.gov/39943283
Publication Date: 2025-01-22
Author(s): Rodania Bekhit et al.
Primary Topic: Animal Behavior and Welfare Studies
Overview
This research explores the integration of deep learning and thermal imaging in the study of pigs, marking a novel interdisciplinary approach in animal research. The authors developed an automated pipeline for extracting temperature data from a defined Region of Interest (ROI) using thermal cameras. The process involves three stages: first, verifying the visibility of the ROI; second, employing an encoder-decoder convolutional neural network (CNN) for ROI segmentation; and third, extracting and saving the maximum temperature data.
The segmentation model demonstrated robust performance, achieving a mean Pixel Class accuracy of 92.3% and a mean Intersection over Union (IoU) of 87.1%. Notably, the temperatures extracted by the model were consistent with those observed manually, indicating the system’s reliability for independent operation without human oversight. This advancement suggests significant potential for automating temperature assessment in animal research, enhancing data collection efficiency and accuracy.
Introduction
The introduction of this research paper outlines the application of thermal imaging, or infrared thermography, as a non-invasive technique for monitoring temperature distribution on the surfaces of various objects, including animals. This method has gained traction across multiple fields such as quality control, natural sciences, military, and medicine, particularly in veterinary and animal sciences where it serves as a valuable tool for health monitoring without inducing stress in animals. The study aims to develop a system that detects and segments the body parts of pigs from thermal imaging footage to facilitate future research on animal emotions.
The proposed system consists of two integrated models: one that verifies the visibility of the Region of Interest (ROI) in the frame and another that segments the ROI to extract maximum temperature data. Notably, this study represents the first instance of using semantic segmentation for extracting animal body parts from thermal videos under low-light conditions, akin to those found on farms. The research highlights several key contributions, including the development of a complete pipeline for automatic detection and tracking of the ROI in thermal videos, which allows for continuous temperature extraction over extended periods without human intervention. Additionally, the system’s adaptability for use with various animals and body parts, along with its potential for long-term temperature monitoring, underscores its significance in animal research. The paper is structured to discuss related literature, system architecture, dataset handling, implementation, results, and conclusions in subsequent sections.
Results
In the evaluation of various classification model architectures on the test dataset, the Inception and ResNet50 networks demonstrated superior performance, achieving the lowest false positive rates (FPRs) of 0.5% and an overall accuracy of 99% when ensembled. The segmentation model also performed well, with an overall pixel classification accuracy (PCA) of 92.3%, and specific PCA values of 88.7% and 88.2% for the left and right classes, respectively. The mean Intersection over Union (mIoU) was recorded at 87.1%, with left and right IoU values of 80.9% and 80.5%, respectively.
Additionally, the model’s temperature output was validated against manual measurements taken from a set of 200 images using FLIR ResearchIR, version 4.40. The results showed a perfect agreement of 100% between the model’s temperature readings and the manual measurements for all records. This validation is illustrated in a comparative analysis presented in Figure 7, which highlights the consistency between manual observations and the model’s outputs.
Discussion
In the discussion section, the paper highlights the advancements in thermal imaging applications within animal research, emphasizing its utility in monitoring health and behavior. Notable studies, such as those by Dunbar et al. and Avni-Magen et al., demonstrate the effectiveness of thermal imaging in early disease detection and monitoring physiological changes in animals. However, the majority of existing methodologies rely on manual extraction of thermal data, which is labor-intensive and time-consuming. Recent attempts at semi-automatic methods still require significant manual input, underscoring the need for improved automation in this field.
The authors propose a novel system that integrates two deep learning models to automate the extraction of temperature data from thermal footage, specifically targeting the ear bases of animals. The first model classifies whether the region of interest (ROI) is fully visible, while the second model performs semantic segmentation to isolate the ROI and extract maximum temperature readings. This approach leverages transfer learning with established architectures like ResNet and UNet, enhancing efficiency and accuracy in temperature extraction. The proposed system aims to streamline the analysis of thermal imaging data, addressing the limitations of previous methods and paving the way for more extensive applications of artificial intelligence in animal sciences.