DOI: https://doi.org/10.1016/j.patcog.2026.113512
تاريخ النشر: 2026-03-18
المؤلف: Zhenyun Du وآخرون
الموضوع الرئيسي: التقنيات التي تحافظ على الخصوصية في البيانات
نظرة عامة
يتناول هذا القسم تطوير التعلم الفيدرالي التحليلي (AFL) وتحسيناته لمعالجة التحديات في التعلم الفيدرالي (FL) مع توزيعات البيانات غير المتجانسة. الإطار المقترح، FedACnnL، يستخدم طريقة تدريب تعاونية على مستوى الطبقات لشبكات الأعصاب العميقة (DNNs)، حيث يتم تأطير تدريب كل طبقة كمشكلة توزيع أقل المربعات (LS). هذه الطريقة تقلل بشكل كبير من وقت التدريب، محققة نسبة تقليل تتراوح بين 83% إلى 99% مقارنة بإطارات FL التقليدية.
لمعالجة مشكلة التكيف مع النماذج الشخصية بشكل أكبر، يقدم المؤلفون pFedACnnL، الذي يستخدم استراتيجية تعلم ميتا خالية من التدرجات لتوليد نماذج مخصصة للعملاء الفرديين. هذا الإطار يسد الفجوة بين النموذج العالمي وتوزيعات البيانات المحلية، مما يؤدي إلى تحسين دقة الاختبار بنسبة تتراوح بين 4% إلى 8% مقارنة بـ FedACnnL الأساسي. بشكل عام، يظهر كل من FedACnnL و pFedACnnL أداءً متقدماً في إعدادات محدبة وغير محدبة متنوعة، مما يمثل تقدماً كبيراً في كفاءة وفعالية تدريب DNN في سياقات التعلم الفيدرالي.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على النمو الكبير لأجهزة إنترنت الأشياء (IoT)، والتي حفزت التقدم في التعلم الفيدرالي (FL)، وهي طريقة تحافظ على الخصوصية للتعلم الآلي التعاوني الموزع. يتيح FL تدريب النماذج عبر عدة أجهزة حافة دون الحاجة إلى تحميل البيانات الخام إلى خادم مركزي، ويتضمن عملية دورية من الحساب المحلي، وتجميع المعلمات، وتوزيع النماذج. ومع ذلك، تواجه الطرق التقليدية المعتمدة على الانحدار التحديات، خاصة بالنسبة لأجهزة الحافة ذات القدرة الحاسوبية المحدودة وفي السيناريوهات التي تكون فيها معلومات التدرج غير متاحة. وقد أدى ذلك إلى طلب على طرق FL الخالية من التدرجات، مثل إطارات FL من الدرجة الصفرية، التي تقرب التدرجات ولكن تعاني من أوقات تدريب طويلة بسبب التقريبات المنحازة.
لمعالجة هذه القيود، يقترح المؤلفون إطاراً مبتكراً يسمى التعلم الفيدرالي المخصص التحليلي (APFML)، من خلال تنفيذ FedACnnL و pFedACnnL. يمكّن FedACnnL تدريب الشبكات العصبية العميقة (DNN) ضمن سياق التعلم الفيدرالي التحليلي من خلال نمذجة تدريب الطبقات كمشكلة توزيع أقل المربعات. يعزز pFedACnnL هذا من خلال تقديم طريقة تعلم ميتا خالية من التدرجات تتكيف مع النماذج الميتا الجماعية للمهام المحلية، مما يعالج بفعالية التحديات التي تطرحها توزيعات البيانات غير المتجانسة بين العملاء. تظهر النتائج التجريبية أن FedACnnL يقلل بشكل كبير من وقت التدريب بنسبة تتراوح بين 83% إلى 99% مقارنة بالطرق التقليدية، بينما يحقق pFedACnnL أداءً متقدماً عبر إعدادات متنوعة، مما يمثل تقدماً كبيراً في مجال التعلم الفيدرالي المخصص.
طرق
في هذه الدراسة، طور المؤلفون نموذجاً أولياً لإطاراتهم المقترحة باستخدام منصة اختبار قائمة على مجموعة وحدات المعالجة المركزية تتكون من 101 عقدة. يحدد التصميم المعماري العقدة الأولى كخادم المعلمات (PS) بينما تعمل العقد المتبقية كعملاء. كل عقدة مزودة بأربعة معالجات Intel(R) Xeon(R) Platinum 9242، ويتم تنفيذ عملية واحدة على كل عقدة. لمحاكاة قدرات حسابية وظروف شبكة متنوعة نموذجية لأجهزة الحافة، يتم تعيين عدد أنوية المعالج المتاحة على كل عقدة عشوائياً بين 1 و 4.
ترتبط العقد عبر شبكة InfiniBand، التي توفر عرض نطاق ترددي عالٍ يبلغ 100 جيجابت في الثانية. يسمح هذا الإعداد بتقييم واقعي للإطارات المقترحة تحت سيناريوهات تشغيل متنوعة، مما يعكس التباين الذي يتم مواجهته غالباً في بيئات الحوسبة الحافة في العالم الحقيقي.
مناقشة
في هذا القسم، يناقش المؤلفون تصميم وتنفيذ شبكة الأعصاب التلافيفية التحليلية (ACnnL) وإصدارها الفيدرالي، FedACnnL. تعزز ACnnL الطرق التقليدية للتعلم التحليلي من خلال تمكين تدريب الشبكات العصبية العميقة (DNN) من خلال آلية تحديث الوزن على مستوى الطبقات التي تتضمن تسميات زائفة مستمدة من التسميات الفعلية. تتيح هذه الطريقة تدريباً فعالاً في حقبة واحدة، حيث يتم تحديث كل طبقة باستخدام حلول أقل المربعات (LS) في شكل مغلق. يوضح المؤلفون الصياغة الرياضية لعملية تحديث الوزن ويبرزون مزايا ACnnL من حيث الكفاءة الحاسوبية والقدرة على التعامل مع هياكل DNN المعقدة.
يمتد FedACnnL إلى سياق التعلم الفيدرالي، معالجاً تحديات مجموعات البيانات الموزعة عبر عدة عملاء. يقوم المؤلفون بنمذجة مشكلة تحديث الوزن كمشكلة LS موزعة، مما يسمح للعملاء بتدريب نماذجهم بشكل تعاوني مع الحفاظ على خصوصية البيانات. يقدمون خوارزمية حجم دفعة تكيفية لتخفيف مشكلة المتأخرين، حيث يمكن للعملاء ذوي سرعات المعالجة الأبطأ ضبط أحجام دفعاتهم ديناميكياً لتحسين وقت التدريب. التحليل النظري المقدم يظهر أن FedACnnL يحقق تعقيدات حسابية واتصالية أقل مقارنة بإطارات التعلم الفيدرالي التقليدية، مما يجعله حلاً واعداً لتدريب DNN بكفاءة في البيئات الموزعة.
DOI: https://doi.org/10.1016/j.patcog.2026.113512
Publication Date: 2026-03-18
Author(s): Zhenyun Du et al.
Primary Topic: Privacy-Preserving Technologies in Data
Overview
The section discusses the development of Analytic Federated Learning (AFL) and its enhancements to address challenges in federated learning (FL) with heterogeneous data distributions. The proposed framework, FedACnnL, utilizes a layer-wise collaborative training method for deep neural networks (DNNs), framing the training of each layer as a distributed least-squares (LS) problem. This approach significantly reduces training time, achieving a reduction ratio of 83% to 99% compared to conventional FL frameworks.
To further address the issue of personalized model adaptation, the authors introduce pFedACnnL, which employs a gradient-free meta-learning strategy to generate tailored models for individual clients. This framework bridges the gap between the global model and local data distributions, resulting in improved test accuracy by 4% to 8% over the baseline FedACnnL. Overall, both FedACnnL and pFedACnnL demonstrate state-of-the-art performance in various convex and non-convex settings, marking a significant advancement in the efficiency and effectiveness of DNN training in federated learning contexts.
Introduction
The introduction of this research paper highlights the significant growth of Internet of Things (IoT) devices, which has catalyzed advancements in Federated Learning (FL), a privacy-preserving method for distributed collaborative machine learning. FL enables model training across multiple edge devices without the need to upload raw data to a central server, involving a cyclical process of local computation, parameter aggregation, and model distribution. However, traditional gradient descent-based methods face challenges, particularly for edge devices with limited computational power and in scenarios where gradient information is unavailable. This has led to a demand for gradient-free FL approaches, such as zeroth-order FL frameworks, which approximate gradients but suffer from long training times due to biased approximations.
To address these limitations, the authors propose an innovative framework called Analytic Personalized Federated Meta-Learning (APFML), specifically through the implementation of FedACnnL and pFedACnnL. FedACnnL enables deep neural network (DNN) training within the analytic federated learning context by modeling layer training as a distributed least-squares problem. pFedACnnL further enhances this by introducing a gradient-free meta-learning method that adapts group-wise metamodels to local tasks, effectively addressing the challenges posed by heterogeneous data distributions among clients. The experimental results demonstrate that FedACnnL significantly reduces training time by 83% to 99% compared to conventional methods, while pFedACnnL achieves state-of-the-art performance across various settings, marking a substantial advancement in the field of personalized federated learning.
Methods
In this study, the authors developed a prototype of their proposed frameworks using a CPU-cluster-based testbed consisting of 101 nodes. The architecture designates the first node as the parameter server (PS) while the remaining nodes function as clients. Each node is equipped with four Intel(R) Xeon(R) Platinum 9242 CPUs, and a single process is executed on each node. To simulate varying computational capabilities and network conditions typical of edge devices, the number of available CPU cores on each node is randomly assigned between 1 and 4.
The nodes are interconnected via an InfiniBand network, which provides a high bandwidth of 100 Gbps. This setup allows for a realistic evaluation of the proposed frameworks under diverse operational scenarios, reflecting the heterogeneity often encountered in real-world edge computing environments.
Discussion
In this section, the authors discuss the design and implementation of the Analytic Convolutional Neural Network Learning (ACnnL) and its federated version, FedACnnL. ACnnL enhances traditional analytic learning methods by enabling deep neural network (DNN) training through a layer-wise weight update mechanism that incorporates pseudo labels derived from the actual labels. This approach allows for efficient training in a single epoch, where each layer is updated using closed-form least squares (LS) solutions. The authors detail the mathematical formulation of the weight update process and highlight the advantages of ACnnL in terms of computational efficiency and the ability to handle complex DNN architectures.
FedACnnL extends ACnnL to a federated learning context, addressing the challenges of distributed datasets across multiple clients. The authors model the weight update problem as a distributed LS problem, allowing clients to collaboratively train their models while maintaining data privacy. They introduce an adaptive batch size algorithm to mitigate the straggler problem, where clients with slower processing speeds can adjust their batch sizes dynamically to optimize training time. The theoretical analysis presented demonstrates that FedACnnL achieves lower computational and communication complexities compared to conventional federated learning frameworks, making it a promising solution for efficient DNN training in distributed environments.