DOI: https://doi.org/10.1109/access.2026.3664956
تاريخ النشر: 2026-01-01
المؤلف: Monirul Islam Pavel وآخرون
الموضوع الرئيسي: إنترنت الأشياء والحوسبة الحافة/الضباب
نظرة عامة
يوفر هذا القسم نظرة عامة على التعلم على متن الطائرة في الذكاء الاصطناعي على الحافة، مع تسليط الضوء على أهميته في معالجة البيانات في الوقت الحقيقي وتدريب النماذج التكيفية على الأجهزة ذات الموارد المحدودة. تعتبر هذه الطريقة ذات قيمة خاصة للتطبيقات التي تتطلب زمن استجابة منخفض، وخصوصية معززة، وكفاءة في استهلاك الطاقة. ومع ذلك، تواجه أيضًا تحديات مثل الموارد الحاسوبية المحدودة، وتكاليف الاستدلال العالية، والثغرات الأمنية. يستعرض الاستطلاع منهجيات مختلفة تهدف إلى تحسين كفاءة النموذج، وتسريع الاستدلال، وتسهيل التعلم التعاوني بين الأجهزة الموزعة. تشمل الاستراتيجيات الرئيسية التي تم مناقشتها ضغط النموذج، والحسابات التي تحافظ على الخصوصية، والتقدم في تصميم الأجهزة والبرمجيات، مما يعزز بشكل جماعي قابلية التوسع والتكيف في البيئات الديناميكية.
في الختام، يجمع الاستطلاع النتائج عبر خمسة جوانب حاسمة من التعلم على متن الطائرة: ضغط النموذج، الاستدلال الفعال، التعلم اللامركزي، الأمن والخصوصية، والتحسين المتقدم عبر الطبقات. على الرغم من التقدم الكبير، لا تزال التحديات قائمة، خاصة في تحقيق التعلم المستمر في النماذج المدمجة دون التضحية بالأداء، وتحقيق التوازن بين الخصوصية والاستجابة في الوقت الحقيقي، ودمج خوارزميات وأجهزة متنوعة في أطر متماسكة. تعقد عدم وجود بروتوكولات تقييم موحدة أيضًا تقييم التبادلات بين الدقة، واستهلاك الطاقة، والموثوقية، وزمن الاستجابة. يجب أن تتناول الأبحاث المستقبلية هذه القضايا لدفع التعلم على متن الطائرة نحو أنظمة ذكاء اصطناعي حافة مستقلة ومرنة قادرة على العمل بفعالية في بيئات معقدة ومقيدة بالأجهزة.
مقدمة
تناقش مقدمة الورقة أهمية الذكاء الاصطناعي على الحافة المتزايدة، والذي يسهل تحسين التعلم على متن الطائرة، مما يسمح للأجهزة بمعالجة البيانات واتخاذ القرارات محليًا دون الاعتماد على الخوادم المركزية. يعالج هذا التحول القيود الكبيرة للهياكل التقليدية للذكاء الاصطناعي المعتمد على السحابة، مثل زمن الاستجابة العالي، وقيود النطاق الترددي، ومخاطر الأمان، وهو أمر حاسم بشكل خاص في التطبيقات مثل المركبات المستقلة وإنترنت الأشياء الصناعي. على سبيل المثال، يمكن أن تواجه الاستدلال السحابي تأخيرات تتراوح بين 200 إلى 300 مللي ثانية، بينما يمكن أن تحقق عمليات النشر على الحافة زمن استجابة أقل بست مرات، وهو أمر ضروري للتطبيقات في أنظمة النقل الذكية (ITS) التي تتطلب استجابة تتراوح بين 10 إلى 100 مللي ثانية.
على الرغم من مزايا التعلم على متن الطائرة، لا تزال التحديات قائمة بسبب محدودية القدرة الحاسوبية، والذاكرة، وموارد الطاقة للأجهزة الحافة، مما يعقد نشر نماذج الذكاء الاصطناعي المعقدة. تبرز الورقة الحاجة إلى تحقيق توازن بين دقة النموذج، وزمن الاستجابة، واستهلاك الطاقة مع ضمان الخصوصية والأمان في أطر التعلم اللامركزي. لمعالجة هذه التحديات، يصنف الاستطلاع منهجيات التعلم على متن الطائرة إلى خمسة جوانب أساسية، بدءًا من ضغط النموذج، الذي يهدف إلى تقليل حجم وتعقيد نماذج الذكاء الاصطناعي من خلال تقنيات مثل التقليم، والتكميم، وتقطير المعرفة، والبحث في بنية الشبكات العصبية، مما يحسن الكفاءة دون تقليل الأداء بشكل كبير.
الطرق
يناقش هذا القسم طرق التكيف الفعالة من حيث المعلمات لضبط نماذج التعلم الآلي، مع التركيز بشكل خاص على التقنيات التي تستفيد من الهياكل ذات الرتبة المنخفضة، والندرة، والتكميم. يتم تسليط الضوء على التكيف ذو الرتبة المنخفضة (LoRA) كنهج أساسي يقوم بتفكيك تحديثات الوزن إلى مصفوفتين ذات رتبة منخفضة، مما يحقق تقليلًا كبيرًا في المعلمات القابلة للتدريب – يصل إلى 10,000 مرة – مع الحفاظ على أداء قابل للمقارنة مع الضبط الكامل ودون إدخال زمن استجابة أثناء الاستدلال. يوسع LoRA إلى الهياكل الالتفافية من خلال LoRAE، مما يقدم وحدات تحافظ بشكل أفضل على الهياكل المكانية، مما يؤدي إلى تقليل المعلمات القابلة للتدريب إلى حوالي 4% من متطلبات الضبط الكامل. من الجدير بالذكر أن التجارب مع YOLOv8x تظهر تخفيضات كبيرة في المعلمات (86.1% لتصنيف الصور، 98.6% لاكتشاف الكائنات، و94.1% للتجزئة) مع الحفاظ على دقة تنافسية.
بالإضافة إلى ذلك، يعزز LoRA المكمم (QLoRA) الكفاءة من خلال دمج التحديثات ذات الرتبة المنخفضة مع تكميم NormalFloat بعمق 4 بت، مما يمكّن من ضبط نماذج تحتوي على 65 مليار معلمة على وحدة معالجة رسومات واحدة بسعة 48 جيجابايت، محققًا كفاءة في الذاكرة تزيد عن 16× وأداء قريب من مستويات ChatGPT. تستخدم طرق أخرى ذات صلة، مثل LQ-LoRA وL4Q، التكميم تحت 8 بت جنبًا إلى جنب مع تحسين الرتبة المنخفضة للحفاظ على الدقة تحت قيود دقة صارمة. يذكر القسم أيضًا الأساليب المعتمدة على التوسع مثل IA3، التي تقدم عبءًا بسيطًا من المعلمات، وCompacter، الذي يحقق ضغطًا يصل إلى حوالي 100× من خلال مصفوفات محولات Kronecker المشتركة. أخيرًا، يتم مناقشة تقنيات قائمة على الطلب واستراتيجيات موجهة نحو وقت التشغيل، مثل AdapterFusion وAdapterDrop، لقدرتها على تكييف النماذج المجمدة وتقليل التكاليف الحاسوبية أثناء الاستدلال، حيث تحقق AdapterDrop زيادة بنسبة 39% في سرعة الاستدلال المتعدد المهام مع الحفاظ على زمن الاستجابة لسيناريوهات المهمة الواحدة.
المناقشة
ت outlines قسم المناقشة في ورقة البحث تقنيات مختلفة لتحسين أنظمة الذكاء الاصطناعي على متن الطائرة، مع التركيز على ضغط النموذج، والاستدلال الفعال، والتعلم اللامركزي، وتدابير الأمان. تشير النتائج الرئيسية إلى أن التقليم المنظم والتكميم فعالان في تقليل التكاليف الحاسوبية واستخدام الذاكرة مع الحفاظ على أداء النموذج. أظهر التقليم المنظم، بشكل خاص، تخفيضات كبيرة في الحوسبة مع فقدان دقة ضئيل، مما يجعله مناسبًا للتطبيقات في الوقت الحقيقي على الأجهزة ذات الموارد المحدودة. تعزز تقنيات التكميم، بما في ذلك التكميم بعد التدريب (PTQ) والتدريب الواعي بالتكميم (QAT)، الكفاءة بشكل أكبر من خلال تحويل المعلمات عالية الدقة إلى تنسيقات ذات بتات أقل، مما يحسن من استخدام الذاكرة والعبء الحاسوبي.
تؤكد الورقة أيضًا على أهمية طرق التعلم اللامركزي، مثل التعلم الفيدرالي والتعلم المنقسم، التي تسهل تدريب النماذج التعاوني عبر الأجهزة مع معالجة مخاوف الخصوصية. تُناقش تدابير الأمان، بما في ذلك الخصوصية التفاضلية وتنفيذ النموذج الآمن، كأمور أساسية لحماية أنظمة الذكاء الاصطناعي في البيئات غير الموثوقة. أخيرًا، يبرز القسم مواضيع متقدمة مثل التصميم المشترك للأجهزة والبرمجيات ودمج ضغط النموذج مع التعلم المستمر، التي تهدف إلى تعزيز قابلية التوسع والمرونة لأنظمة التعلم على متن الطائرة. بشكل عام، يقدم الاستطلاع تصنيفًا شاملاً للمنهجيات التي تحسن الذكاء الاصطناعي للحوسبة على الحافة، مع معالجة التحديات التي تطرحها قيود الموارد وتوزيعات البيانات الديناميكية.
DOI: https://doi.org/10.1109/access.2026.3664956
Publication Date: 2026-01-01
Author(s): Monirul Islam Pavel et al.
Primary Topic: IoT and Edge/Fog Computing
Overview
The section provides an overview of onboard learning in edge AI, highlighting its significance for real-time data processing and adaptive model training on resource-constrained devices. This approach is particularly valuable for applications requiring low latency, enhanced privacy, and energy efficiency. However, it also faces challenges such as limited computational resources, high inference costs, and security vulnerabilities. The survey reviews various methodologies aimed at optimizing model efficiency, accelerating inference, and facilitating collaborative learning among distributed devices. Key strategies discussed include model compression, privacy-preserving computation, and advancements in hardware-software co-design, which collectively enhance scalability and adaptability in dynamic environments.
In the conclusion, the survey synthesizes findings across five critical aspects of onboard learning: model compression, efficient inference, decentralized learning, security and privacy, and advanced cross-layer optimization. Despite significant progress, challenges remain, particularly in achieving continual learning in compact models without sacrificing performance, balancing privacy with real-time responsiveness, and integrating diverse algorithms and hardware into cohesive frameworks. The lack of standardized evaluation protocols further complicates the assessment of trade-offs among accuracy, energy consumption, robustness, and latency. Future research must address these issues to advance onboard learning towards truly autonomous and resilient edge intelligence systems capable of functioning effectively in complex, hardware-constrained environments.
Introduction
The introduction of the paper discusses the growing importance of edge artificial intelligence (AI), which facilitates onboard optimization and learning, allowing devices to process data and make decisions locally without relying on centralized servers. This shift addresses significant limitations of traditional cloud-based AI architectures, such as high latency, bandwidth constraints, and security risks, particularly critical in applications like autonomous vehicles and industrial IoT. For instance, cloud inference can experience delays of 200 to 300 ms, while edge deployments can achieve six times lower latency, which is essential for real-time applications in Intelligent Transportation Systems (ITS) that require responsiveness of 10 to 100 ms.
Despite the advantages of onboard learning, challenges remain due to the limited computational power, memory, and energy resources of edge devices, complicating the deployment of complex AI models. The paper highlights the need to balance model accuracy, latency, and power consumption while ensuring privacy and security in decentralized learning frameworks. To address these challenges, the survey categorizes onboard learning methodologies into five fundamental aspects, starting with Model Compression, which aims to reduce the size and complexity of AI models through techniques like pruning, quantization, knowledge distillation, and neural architecture search, thereby optimizing efficiency without significantly degrading performance.
Methods
The section discusses various parameter-efficient adaptation methods for fine-tuning machine learning models, particularly focusing on techniques that leverage low-rank structures, sparsity, and quantization. Low-Rank Adaptation (LoRA) is highlighted as a fundamental approach that factorizes weight updates into two low-rank matrices, achieving a significant reduction in trainable parameters—up to 10,000-fold—while maintaining performance comparable to full fine-tuning and without introducing inference-time latency. The extension of LoRA to convolutional architectures through LoRAE introduces modules that better preserve spatial structures, resulting in a reduction of trainable parameters to approximately 4% of full fine-tuning requirements. Notably, experiments with YOLOv8x demonstrate substantial parameter reductions (86.1% for image classification, 98.6% for object detection, and 94.1% for segmentation) while retaining competitive accuracy.
Additionally, Quantized LoRA (QLoRA) enhances efficiency by integrating low-rank updates with 4-bit NormalFloat quantization, enabling the fine-tuning of 65 billion parameter models on a single 48 GB GPU, achieving over 16× memory efficiency and performance close to ChatGPT-level baselines. Other related methods, such as LQ-LoRA and L4Q, utilize sub-8-bit quantization alongside low-rank optimization to maintain accuracy under stringent precision constraints. The section also mentions scaling-based approaches like IA3, which introduce minimal parameter overhead, and Compacter, which achieves approximately 100× compression through shared Kronecker-factorized adapter matrices. Finally, prompt-based techniques and runtime-oriented strategies, such as AdapterFusion and AdapterDrop, are discussed for their ability to adapt frozen models and reduce computational costs during inference, with AdapterDrop achieving a 39% increase in multi-task inference speed while preserving latency for single-task scenarios.
Discussion
The discussion section of the research paper outlines various techniques for optimizing onboard AI systems, focusing on model compression, efficient inference, decentralized learning, and security measures. Key findings indicate that structured pruning and quantization are effective for reducing computational costs and memory usage while maintaining model performance. Structured pruning, in particular, has shown significant computational reductions with minimal accuracy loss, making it suitable for real-time applications on resource-constrained devices. Quantization techniques, including Post-Training Quantization (PTQ) and Quantization-Aware Training (QAT), further enhance efficiency by converting high-precision parameters to lower-bit formats, thus optimizing memory and computational overhead.
The paper also emphasizes the importance of decentralized learning methods, such as federated and split learning, which facilitate collaborative model training across devices while addressing privacy concerns. Security measures, including differential privacy and secure model execution, are discussed as essential for safeguarding AI systems in untrusted environments. Finally, the section highlights advanced topics like hardware-software co-design and the integration of model compression with continual learning, which aim to enhance the scalability and resilience of onboard learning systems. Overall, the survey presents a comprehensive taxonomy of methodologies that optimize AI for edge computing, addressing the challenges posed by resource constraints and dynamic data distributions.