DOI: https://doi.org/10.3390/electronics14030638
تاريخ النشر: 2025-02-06
المؤلف: Zhenyun Du وآخرون
الموضوع الرئيسي: تطبيقات الشبكات العصبية المتقدمة
نظرة عامة
تقيّم هذه الدراسة أداء نماذج كشف الكائنات، وبالتحديد YOLOv8n و YOLOv8s، التي تم نشرها على أجهزة الحافة ذات الموارد المحدودة والبيئات السحابية للطائرات بدون طيار (UAVs). تركز الدراسة على NVIDIA Jetson Orin Nano و Orin NX و Raspberry Pi 5 (RPI5)، وتحلل مقاييس مثل دقة الكشف، وسرعة الاستدلال، واستهلاك الطاقة، إلى جانب تأثيرات الكوانتيزات بعد التدريب (PTQ). تشير النتائج إلى أن YOLOv8n يتفوق على YOLOv8s في سرعة الاستدلال، حيث حقق 52 إطارًا في الثانية على Jetson Orin NX و 65 إطارًا في الثانية مع كوانتيزات INT8. ومع ذلك، لم يحقق RPI5 متطلبات المعالجة في الوقت الحقيقي على الرغم من ملاءمته لاستهلاك الطاقة المنخفض. تسلط النتائج الضوء على التوازن بين معالجة الحافة (زمن الاستجابة المنخفض) والمعالجة السحابية (السرعة الأعلى)، مما يوفر رؤى لتحسين نشر نماذج الذكاء الاصطناعي على الطائرات بدون طيار.
تقدم الدراسة إرشادات عملية لدمج نماذج YOLOv8 في الأنظمة المستقلة، مع التأكيد على الحاجة إلى تحقيق التوازن بين دقة الكشف وسرعة الاستدلال، خاصة عند استخدام كوانتيزات INT8. يتم تقديم التوصيات في شكل مبسط لصانعي القرار لتخصيص التكوينات وفقًا للاحتياجات التشغيلية المحددة. بينما يسمح هيكل الاختبار بإجراء تقييمات محكومة لكشف الكائنات في الوقت الحقيقي، فإن بيئة الاختبار الداخلية تقدم قيودًا لا تعكس تمامًا تعقيدات الهواء الطلق. تشمل اتجاهات البحث المستقبلية تقييم إصدارات YOLO الأحدث، واستكشاف الهياكل الهجينة التي تجمع بين مزايا الأجهزة المختلفة، ودمج الحوسبة على الحافة مع تقنيات 5G لتعزيز قدرات الطائرات بدون طيار في البيئات المعقدة. يمكن أن يسهل هذا الدمج المعالجة اللامركزية ويحسن اتخاذ القرار في الوقت الحقيقي، مما يعزز في النهاية جدوى تطبيقات الطائرات بدون طيار في المهام الحساسة للطاقة.
مقدمة
تناقش مقدمة هذه الورقة البحثية التقدمات الكبيرة في الروبوتات الجوية من خلال دمج الطائرات بدون طيار (UAVs) مع التعلم الآلي، وخاصة تقنيات التعلم العميق. تتيح هذه التقدمات للطائرات بدون طيار معالجة مجموعات بيانات كبيرة من المستشعرات الموجودة على متنها بشكل مستقل، مما يعزز قدراتها على كشف الكائنات وتتبعها عبر خوارزميات الرؤية الحاسوبية. تؤكد الورقة على أهمية هذه التقنيات في السيناريوهات ذات الاتصال المحدود، مثل عمليات الصيانة عن بُعد والاستجابة للطوارئ، حيث يجب أن تعمل الطائرات بدون طيار بشكل مستقل. يتم تسليط الضوء على خوارزمية YOLOv8 كأداة متطورة لكشف الكائنات، مع وجود إصدارات محسّنة مختلفة مناسبة للبيئات ذات الموارد المحدودة، مما يسمح بالمعالجة في الوقت الحقيقي مع تحقيق التوازن بين الدقة وكفاءة الحوسبة.
تُحدد الأهداف الرئيسية للدراسة، مع التركيز على تقييم أداء YOLOv8 عبر منصات مدمجة مختلفة، والتحقيق في تأثيرات تقنيات الكوانتيزات على دقة الكشف وسرعة المعالجة، والتحقق من صحة هذه النماذج في تطبيقات الطائرات بدون طيار العملية. تهدف الورقة إلى تحديد القيود والإمكانات لهذه المنصات للعمليات في الوقت الحقيقي، وتقديم إرشادات للنشر الأمثل لخوارزميات كشف الكائنات في سيناريوهات الحوسبة على الحافة. ستراجع الأقسام التالية من الورقة حالة الفن، وتفصيل المنهجية، وتقديم تقييمات الأداء، ومناقشة الآثار العملية، في النهاية، ستختتم بالتوصيات لاتجاهات البحث المستقبلية في عمليات الطائرات بدون طيار.
طرق
في هذه الدراسة، يتم تقييم أداء نماذج YOLOv8 وإصداراتها الكوانتيزات باستخدام ثلاثة أجهزة حوسبة على الحافة متميزة: Raspberry Pi 5 و Jetson Orin Nano و Jetson Orin NX. تم اختيار هذه الأجهزة لقدراتها المختلفة في الأجهزة، مما يسمح بتقييم شامل لمهام كشف الكائنات تحت قيود معالجة مختلفة. يعمل Raspberry Pi 5 كمنصة تركز على وحدة المعالجة المركزية، بينما تستفيد أجهزة Jetson من قوة وحدة معالجة الرسوميات لتحسين أداء المعالجة. يسهل هذا الاختيار تحليل سرعة الاستدلال والدقة واستهلاك الطاقة عبر هياكل الحوسبة على الحافة المتنوعة.
لإجراء هذه التقييمات، تحدد الدراسة نهجًا منهجيًا لتطوير نموذج كشف الكائنات، مفصل في القسم 3.1. يشمل ذلك توليد مجموعة البيانات (3.1.1)، واختيار النموذج وتدريبه (3.1.2)، وتحسين النموذج (3.1.3). تم تصميم نوعين من التجارب: الأول يتضمن نشر النموذج بشكل معزول على كل منصة أجهزة لتقييم سرعة الاستدلال واستهلاك الطاقة، مع تقديم النتائج في القسم 4. النوع الثاني يدمج نموذج كشف الكائنات في خط معالجة صور الطائرات بدون طيار النموذجي، مقارنة أداء أجهزة الحافة ضد النشر السحابي في سيناريو تمثيلي، كما هو موضح في القسم 5. يتم تحديد مقاييس الأداء لهذه التقييمات في القسم 3.2.
مناقشة
تنقسم قسم المناقشة من الورقة البحثية إلى قسمين رئيسيين: نشر التعلم العميق على الأجهزة ذات الكفاءة في استهلاك الطاقة وتقنيات الكوانتيزات في نماذج كشف الكائنات. في القسم الأول، يسلط الضوء على تحسين نماذج التعلم العميق للأجهزة على الحافة، مع التركيز بشكل خاص على كشف الكائنات في البيئات ذات الموارد المحدودة. لقد قامت دراسات مختلفة بتقييم أجهزة الحافة مثل NVIDIA Jetson Nano و AGX Xavier، كاشفة عن تحسينات كبيرة في سرعة الاستدلال وكفاءة الطاقة من خلال تقنيات مثل التقليم غير المتصل، والكوانتيزات، وطرق المعالجة الموزعة مثل DistrEdge. تتيح هذه التقدمات قدرات المعالجة في الوقت الحقيقي الضرورية لتطبيقات مثل القيادة الذاتية والملاحة بالطائرات بدون طيار.
يتناول القسم الثاني تقنيات الكوانتيزات، التي تعتبر حاسمة لتحسين أداء نماذج التعلم العميق على الأجهزة على الحافة. يتم مناقشة تقنيات مثل كوانتيزات ما بعد التدريب (PTQ)، والتدريب المدرك للكوانتيزات (QAT)، وكوانتيزات الدقة المختلطة (MPQ)، مع أدلة تجريبية تظهر فعاليتها في تقليل حجم النموذج وتحسين سرعة الاستدلال مع الحفاظ على الدقة. على سبيل المثال، أظهرت PTQ أنها تقلل من أوقات الاستدلال بنسبة تصل إلى 35% مع فقدان دقة ضئيل. تؤكد الورقة على الحاجة إلى مزيد من البحث حول دمج هذه الطرق الكوانتيزات مع نماذج YOLO المتقدمة، خاصة في التطبيقات في الوقت الحقيقي، وتحدد الفجوات في الدراسات الحالية فيما يتعلق بالتفاعل بين العمليات البرمجية والعتادية في بيئات الحافة. بشكل عام، تؤكد النتائج على إمكانات نماذج التعلم العميق المحسّنة للنشر الفعال في السيناريوهات الحساسة للطاقة.
DOI: https://doi.org/10.3390/electronics14030638
Publication Date: 2025-02-06
Author(s): Zhenyun Du et al.
Primary Topic: Advanced Neural Network Applications
Overview
The research evaluates the performance of object detection models, specifically YOLOv8n and YOLOv8s, deployed on resource-constrained edge devices and cloud environments for Unmanned Aircraft Vehicles (UAVs). The study focuses on the NVIDIA Jetson Orin Nano, Orin NX, and Raspberry Pi 5 (RPI5), analyzing metrics such as detection accuracy, inference speed, and energy consumption, alongside the effects of post-training quantization (PTQ). Results indicate that YOLOv8n outperforms YOLOv8s in inference speed, achieving 52 FPS on the Jetson Orin NX and 65 FPS with INT8 quantization. However, the RPI5 did not meet real-time processing requirements despite its low energy consumption suitability. The findings highlight trade-offs between edge processing (low latency) and cloud processing (higher speed), providing insights for optimizing AI model deployment on UAVs.
The study offers practical guidelines for integrating YOLOv8 models into autonomous systems, emphasizing the need to balance detection precision and inference speed, particularly when using INT8 quantization. Recommendations are provided in a simplified format for decision-makers to tailor configurations to specific operational needs. While the test architecture allows for controlled evaluations of real-time object detection, the indoor testing environment presents limitations that do not fully capture outdoor complexities. Future research directions include evaluating newer YOLO versions, exploring hybrid architectures combining the strengths of various devices, and integrating edge computing with 5G technologies to enhance drone capabilities in complex environments. This integration could facilitate decentralized processing and improve real-time decision-making, ultimately advancing the feasibility of drone applications in energy-sensitive missions.
Introduction
The introduction of this research paper discusses the significant advancements in aerial robotics through the integration of unmanned aerial vehicles (UAVs) with machine learning, particularly deep learning techniques. These advancements enable drones to autonomously process large datasets from onboard sensors, enhancing their object detection and tracking capabilities via computer vision algorithms. The paper emphasizes the importance of these technologies in scenarios with limited connectivity, such as remote maintenance operations and emergency responses, where drones must operate independently. The YOLOv8 algorithm is highlighted as a state-of-the-art object detection tool, with various optimized versions suitable for resource-constrained environments, allowing for real-time processing while balancing accuracy and computational efficiency.
The primary objectives of the study are outlined, focusing on evaluating the performance of YOLOv8 across different embedded platforms, investigating the effects of quantization techniques on detection accuracy and processing speed, and validating these models in practical drone applications. The paper aims to identify the limitations and potentials of these platforms for real-time operations, providing guidelines for the optimal deployment of object detection algorithms in edge computing scenarios. The subsequent sections of the paper will review the state of the art, detail the methodology, present performance evaluations, and discuss practical implications, ultimately concluding with recommendations for future research directions in drone operations.
Methods
In this study, the performance of YOLOv8 models and their quantized versions is evaluated using three distinct edge computing devices: the Raspberry Pi 5, Jetson Orin Nano, and Jetson Orin NX. These devices were selected for their varying hardware capabilities, which allows for a comprehensive assessment of object detection tasks under different processing constraints. The Raspberry Pi 5 serves as a CPU-centric platform, while the Jetson devices leverage GPU power for enhanced processing performance. This selection facilitates an analysis of inference speed, accuracy, and energy consumption across diverse edge computing architectures.
To conduct these evaluations, the study outlines a systematic approach for developing an object detection model, detailed in Section 3.1. This includes dataset generation (3.1.1), model selection and training (3.1.2), and model optimization (3.1.3). Two types of experiments are designed: the first involves deploying the model in isolation on each hardware platform to assess inference speed and power consumption, with results presented in Section 4. The second type integrates the object detection model into a typical drone image processing pipeline, comparing edge device performance against cloud deployment in a representative scenario, as described in Section 5. Performance metrics for these evaluations are specified in Section 3.2.
Discussion
The discussion section of the research paper is divided into two main subsections: the deployment of deep learning on energy-efficient devices and quantization techniques in object detection models. In the first subsection, it highlights the optimization of deep learning models for edge devices, particularly focusing on object detection in resource-constrained environments. Various studies have benchmarked edge devices like the NVIDIA Jetson Nano and AGX Xavier, revealing significant improvements in inference speed and energy efficiency through techniques such as offline pruning, quantization, and distributed processing methods like DistrEdge. These advancements enable real-time processing capabilities essential for applications like autonomous driving and drone navigation.
The second subsection addresses quantization techniques, which are crucial for enhancing the performance of deep learning models on edge devices. Techniques such as post-training quantization (PTQ), quantization-aware training (QAT), and mixed-precision quantization (MPQ) are discussed, with empirical evidence demonstrating their effectiveness in reducing model size and improving inference speed while maintaining accuracy. For instance, PTQ has been shown to decrease inference times by up to 35% with minimal accuracy loss. The paper emphasizes the need for further research on the integration of these quantization methods with advanced YOLO models, particularly in real-time applications, and identifies gaps in existing studies regarding the interaction between hardware and software processes in edge environments. Overall, the findings underscore the potential of optimized deep learning models for efficient deployment in energy-constrained scenarios.