DOI: https://doi.org/10.3389/fdata.2026.1821612
PMID: https://pubmed.ncbi.nlm.nih.gov/42199398
تاريخ النشر: 2026-05-11
المؤلف: Daniel Essien وآخرون
الموضوع الرئيسي: الزراعة الذكية والذكاء الاصطناعي
نظرة عامة
تقدم البحث بنية تحتية شاملة للبيانات متعددة الأنماط طويلة الأمد لمراقبة الدواجن، مع معالجة تحديات تجزئة البيانات ودمجها في أنظمة الثروة الحيوانية. على مدار 22 أسبوعًا، تم جمع البيانات من خمسة حظائر تجارية، مما أسفر عن مجموعة بيانات بحجم 10.2 تيرابايت تشمل فيديو RGB مستمر، وصوت، وتصوير حراري دوري، وقياسات بيئية. يبرز الدراسة أهمية ممارسات هندسة البيانات القوية، موضحةً بنية نظام قابلة للتكرار تشمل الاستشعار الموزع، ونقل البيانات بشكل آمن، وتقنيات المعالجة المسبقة القياسية. تشمل المنهجيات الرئيسية التطبيع القائم على الطوابع الزمنية للتوافق الزمني والتعامل الصريح مع قيود البيانات في العالم الحقيقي، مثل تباين الإضاءة والتداخل الصوتي.
تؤكد النتائج أن الاستشعار متعدد الأنماط الفعال يتطلب أكثر من نشر المستشعرات؛ بل يتطلب تزامنًا منظمًا، وتخزينًا قابلًا للتوسع، وتوثيقًا شاملاً لتسهيل التحليل القابل للتكرار. لا تلتقط مجموعة البيانات إشارات متنوعة فحسب، بل تعكس أيضًا الحقائق التشغيلية للبيئات الزراعية، مما يجعلها موردًا قيمًا لتطوير وتقييم أساليب التعلم الآلي ودمج الأنماط المتعددة. من خلال توفير الوصول المفتوح إلى كل من مجموعة البيانات وسير العمل المرتبطة بها، يهدف البحث إلى تعزيز الشفافية المنهجية ودعم تقدم الذكاء الاصطناعي في الزراعة الدقيقة. يسلط العمل الضوء على الحاجة إلى نظم بيانات قابلة للتشغيل المتبادل يمكن أن تدعم الطلبات المتطورة لإدارة الزراعة الكثيفة البيانات، مما يمهد الطريق للابتكارات المستقبلية في التحليلات متعددة الأنماط ونشر أنظمة الذكاء الاصطناعي.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على التكامل المتزايد للتعلم الآلي في أنظمة الثروة الحيوانية، لا سيما لمراقبة صحة الحيوانات وإنتاجيتها من خلال أنماط استشعار متنوعة. بينما تظهر الأساليب الأحادية الموجودة – مثل التحليل الصوتي، ورؤية الكمبيوتر، والتصوير الحراري بالأشعة تحت الحمراء – قدرات تنبؤية قوية، فإنها غالبًا ما تفشل في التقاط تعقيد التفاعلات البيولوجية والبيئية. يجادل المؤلفون بأن التكامل متعدد الأنماط، الذي يجمع بين بيانات المستشعرات المتنوعة، يمكن أن يعزز فعالية المراقبة. ومع ذلك، فإن الدراسات الحالية محدودة بتركيزها على نطاق ضيق من الأنماط والظروف الخاضعة للرقابة، مما يعيق القابلية للتكرار والتطبيق في العالم الحقيقي.
لمعالجة هذه التحديات، يقدم المؤلفون إطار عمل لجمع البيانات متعددة الأنماط على المدى الطويل، حيث يتم إصدار مجموعة بيانات شاملة تم جمعها على مدار 22 أسبوعًا من خمسة حظائر دواجن تجارية. تشمل هذه المجموعة بيانات فيديو RGB عالية الدقة مستمرة، وتسجيلات صوتية، وتصوير حراري دوري، وقياسات بيئية، بإجمالي 10.2 تيرابايت من البيانات المتزامنة. يحدد البحث أربع مساهمات رئيسية: تطوير بنية تحتية قابلة للتوسع لجمع البيانات، والإفراج العام عن مجموعة البيانات وخطوط معالجة البيانات المسبقة، وتوثيق مفصل لعمليات العمل الخاصة بكل نمط، وتوصيف على مستوى النظام لمجموعة البيانات فيما يتعلق بخصائص البيانات الضخمة. يهدف هذا العمل إلى إنشاء بنية تحتية قابلة لإعادة الاستخدام للتعلم الآلي متعدد الأنماط في أنظمة الثروة الحيوانية الدقيقة، مما يسهل البحث المستقبلي في دمج المستشعرات وتطبيقات الذكاء الاصطناعي في الزراعة.
نقاش
في هذا القسم، يوضح المؤلفون المنهجية والبنية التحتية لإطار عمل شامل لجمع البيانات متعددة الأنماط تم تنفيذه في مركز أبحاث الدواجن الأطلسي. شمل البحث مراقبة 150 دجاجة من نوع Lohmann LSL Lite عبر خمسة حظائر تجارية، كل منها مزود بمجموعة من المستشعرات لالتقاط فيديو RGB، وصوت، وتصوير حراري، وبيانات بيئية. تم تصميم الحظائر لتسهيل السلوكيات الطبيعية مع الحفاظ على ظروف بيئية مثالية، حيث يضمن التحكم المناخي الآلي الالتزام بإرشادات الرعاية الحيوانية. امتدت عملية جمع البيانات على مدار 22 أسبوعًا، مع التركيز على طرق المراقبة غير الغازية المعتمدة من لجنة رعاية واستخدام الحيوانات بجامعة دالهوزي.
تم هيكلة الإطار متعدد الأنماط حول أربعة مبادئ توجيهية: النشر غير الغازي، والتزامن الزمني، والتخزين القابل للتوسع، والتوافق للمعالجة اللاحقة. عمل كل نمط بترددات أخذ عينات مميزة، مما يتطلب تنسيقًا دقيقًا لدمج البيانات بشكل فعال. على سبيل المثال، تم تسجيل فيديو RGB بمعدل 30 إطارًا في الثانية، بينما تم التقاط الصور الحرارية كل يومين. استخدم المؤلفون استراتيجية محاذاة قائمة على الطوابع الزمنية لمزامنة البيانات عبر الأنماط، مع مراعاة الحقائق التشغيلية لأنظمة إنترنت الأشياء الزراعية الموزعة. تدعم هذه الطريقة التحليل الطولي ودمج الأنماط السياقية، على الرغم من أنها ليست مخصصة للتطبيقات التي تتطلب دقة دون الإطارات. تم تصميم خطوط معالجة البيانات المسبقة لكل نمط للحفاظ على سلامة البيانات وتسهيل القابلية للتكرار، مما يضمن أن تظل مجموعة البيانات مناسبة لتطبيقات تحليلية متنوعة في البحث الزراعي.
القيود
تنشأ قيود هذه الدراسة من التحديات المرتبطة بنشر أنظمة الاستشعار متعددة الأنماط في البيئات الزراعية التجارية، والتي تشكل الاستخدام المقصود لمجموعة البيانات. تم تحقيق التزامن الزمني من خلال محاذاة الطوابع الزمنية للأجهزة التي تعمل بشكل مستقل، ولكن دون قفل الساعة على مستوى الأجهزة، مما أدى إلى انحراف متبقي. وبالتالي، بينما يكون التوافق بين الأنماط المستمرة مثل الفيديو والصوت موثوقًا في غضون ثوانٍ، فإن التوافق مع القياسات الحرارية والبيئية يكون أقل دقة، حيث يمتد على ساعات أو أيام. تم تصميم مجموعة البيانات هذه للتحليل الطولي ودمج الأنماط السياقية بدلاً من التكامل الدقيق على مستوى الميكروثانية.
تتمثل قيود أخرى في ترددات أخذ العينات غير المتجانسة عبر الأنماط؛ حيث تلتقط الفيديو والصوت المستمر الديناميات السلوكية عالية الدقة، بينما تعمل التصوير الحراري والقياسات البيئية بترددات أقل. من الأفضل التعامل مع هذه الأنماط الأبطأ كمتغيرات مجمعة زمنياً في أطر النمذجة الهرمية أو القائمة على التسلسل. تعكس ظروف الدراسة الخاضعة للرقابة، مع كثافة تخزين تبلغ 30 دجاجة في حظيرة بمساحة 3 م × 3.5 م، معايير رعاية الحيوانات المؤسسية. على الرغم من أن الأنظمة ذات الكثافة الأعلى قد تقدم تداخلًا متزايدًا وتفاعلات معقدة، فإن بنية الاستشعار متعددة الأنماط واستراتيجية التزامن تظل قابلة للتطبيق في الإعدادات التجارية. تم إصدار مجموعة البيانات، بدون تعليقات يدوية، مع إعطاء الأولوية لسلامة الإشارة الخام، مما يجعلها مناسبة للتعلم الذاتي والإ分析 الاستكشافي، بينما ستركز الأعمال المستقبلية على تعزيز البنية التحتية وتطوير استراتيجيات التعليق القابلة للتوسع. في النهاية، يؤكد هذا البحث على التحول من الأساليب المركزية على النموذج إلى الأساليب المركزية على البيانات في الذكاء الاصطناعي الزراعي، مما يساهم في إنشاء بنية تحتية قوية للبيانات متعددة الأنماط للزراعة الدقيقة.
DOI: https://doi.org/10.3389/fdata.2026.1821612
PMID: https://pubmed.ncbi.nlm.nih.gov/42199398
Publication Date: 2026-05-11
Author(s): Daniel Essien et al.
Primary Topic: Smart Agriculture and AI
Overview
The research presents a comprehensive longitudinal multimodal data infrastructure for poultry monitoring, addressing the challenges of data fragmentation and integration in livestock systems. Over 22 weeks, data was collected from five commercial-style barns, resulting in a dataset of 10.2 terabytes that includes continuous RGB video, audio, periodic thermal imaging, and environmental measurements. The study emphasizes the importance of robust data engineering practices, detailing a reproducible system architecture that encompasses distributed sensing, secure data transfer, and standardized preprocessing techniques. Key methodologies include timestamp-based normalization for temporal alignment and explicit handling of real-world data constraints, such as illumination variability and acoustic interference.
The findings underscore that effective multimodal sensing requires more than sensor deployment; it necessitates structured synchronization, scalable storage, and thorough documentation to facilitate reproducible analysis. The dataset not only captures diverse signals but also reflects the operational realities of agricultural environments, thereby serving as a valuable resource for developing and evaluating machine learning and multimodal fusion approaches. By providing open access to both the dataset and the associated workflows, the research aims to foster methodological transparency and support the advancement of artificial intelligence in precision agriculture. The work highlights the need for interoperable data ecosystems that can sustain the evolving demands of data-intensive agricultural management, paving the way for future innovations in multimodal analytics and AI system deployment.
Introduction
The introduction of this research paper highlights the growing integration of machine learning in livestock systems, particularly for monitoring animal health and productivity through various sensing modalities. While existing unimodal approaches—such as acoustic analysis, computer vision, and infrared thermography—demonstrate strong predictive capabilities, they often fail to capture the complexity of biological and environmental interactions. The authors argue that multimodal integration, which combines diverse sensor data, could enhance monitoring effectiveness. However, current studies are limited by their focus on a narrow range of modalities and controlled conditions, which hampers reproducibility and real-world applicability.
To address these challenges, the authors present a longitudinal multimodal data acquisition framework, releasing a comprehensive dataset collected over 22 weeks from five commercial poultry barns. This dataset includes continuous high-resolution RGB video, audio recordings, periodic thermal imaging, and environmental measurements, totaling 10.2 terabytes of synchronized data. The paper outlines four key contributions: the development of a scalable acquisition architecture, the public release of the dataset and preprocessing pipelines, detailed documentation of modality-specific workflows, and a systems-level characterization of the dataset in relation to Big Data properties. This work aims to establish a reusable infrastructure for multimodal machine learning in precision livestock systems, facilitating future research in sensor fusion and AI applications in agriculture.
Discussion
In this section, the authors detail the methodology and infrastructure for a comprehensive multimodal data acquisition framework implemented at the Atlantic Poultry Research Centre. The study involved monitoring 150 Lohmann LSL Lite laying hens across five commercial-style barns, each equipped with a range of sensors for capturing RGB video, audio, thermal imaging, and environmental data. The barns were designed to facilitate natural behaviors while maintaining optimal environmental conditions, with automated climate control ensuring adherence to husbandry guidelines. Data collection spanned 22 weeks, focusing on non-invasive observational methods approved by the Dalhousie University Animal Care and Use Committee.
The multimodal framework was structured around four guiding principles: non-invasive deployment, temporal synchronization, scalable storage, and compatibility for downstream processing. Each modality operated at distinct sampling frequencies, necessitating careful coordination for effective data integration. For instance, RGB video was recorded at 30 frames per second, while thermal images were captured every two days. The authors employed a timestamp-based alignment strategy to synchronize data across modalities, accommodating the operational realities of distributed agricultural IoT systems. This approach supports longitudinal analysis and contextual multimodal fusion, although it is not intended for applications requiring sub-frame precision. The preprocessing pipelines for each modality were designed to maintain data integrity and facilitate reproducibility, ensuring that the dataset remains suitable for diverse analytical applications in agricultural research.
Limitations
The limitations of this study stem from the challenges associated with deploying multimodal sensing systems in commercial agricultural environments, which shape the dataset’s intended use. Temporal synchronization was achieved through timestamp alignment of independently operating devices, but without hardware-level clock locking, leading to residual drift. Consequently, while alignment between continuous modalities like video and audio is reliable within seconds, the alignment with thermal and environmental measurements is coarser, spanning hours or days. This dataset is thus designed for longitudinal analysis and contextual multimodal fusion rather than precise, microsecond-level sensor integration.
Another limitation is the heterogeneous sampling frequencies across modalities; continuous video and audio capture high-resolution behavioral dynamics, while thermal imaging and environmental measurements operate at lower frequencies. These slower modalities are best treated as temporally aggregated covariates in hierarchical or sequence-based modeling frameworks. The study’s controlled conditions, with a stocking density of 30 hens in a 3 m × 3.5 m enclosure, reflect institutional animal-care standards. Although higher-density systems may present increased occlusion and complex interactions, the multimodal sensing architecture and synchronization strategy remain applicable to commercial settings. The dataset, released without manual annotations, prioritizes raw signal fidelity, making it suitable for self-supervised learning and exploratory analysis, while future work will focus on enhancing the infrastructure and developing scalable annotation strategies. Ultimately, this research emphasizes a shift from model-centric to data-centric approaches in agricultural AI, establishing a robust multimodal data infrastructure for precision livestock farming.