DOI: https://doi.org/10.1109/tcomm.2026.3666674
تاريخ النشر: 2026-01-01
المؤلف: Huiling Yang وآخرون
الموضوع الرئيسي: التقنيات التي تحافظ على الخصوصية في البيانات
نظرة عامة
تناقش هذه الفقرة أهمية التعلم الفيدرالي (FL) في الشبكات من الجيل السادس (6G)، مع التأكيد على ميزاته التي تحافظ على الخصوصية والتي تعتبر حاسمة لمجموعة متنوعة من تطبيقات إنترنت الأشياء (IoT) مثل القيادة الذاتية، والواقع المعزز، والرعاية الصحية. تنشأ التحديات الكامنة في تنفيذات FL ذات الكمون المنخفض من الحمل الحسابي ونقل التحديثات عالية الأبعاد للنماذج وقدرات الاتصال والحساب غير المتجانسة (C2) للأجهزة. لمواجهة هذه القضايا، يقترح المؤلفون إطار عمل جديدًا مدركًا لـ C2 للتحكم الأمثل في حجم الدفعة بهدف تقليل الكمون في التعلم من النهاية إلى النهاية (E2E) مع ضمان التقارب.
يكشف الإطار عن تبادل أساسي بين حجم الدفعة وأداء التعلم: أحجام الدفعات الأكبر تعزز دقة تقدير التدرج وتقلل من جولات الاتصال، لكنها تزيد من الكمون لكل جولة. على الرغم من أن مشكلة تقليل الكمون معقدة، يطور المؤلفون بديلًا قابلًا للحل لسرعة التقارب، مما يؤدي إلى استراتيجيات تحكم مخصصة في حجم الدفعة للسيناريوهات البطيئة والسريعة. تظهر النتائج التجريبية أن هذه الاستراتيجيات تتفوق على طرق تعديل حجم الدفعة التقليدية التي تتجاهل تبادل C2 وتنوع الأجهزة. تسلط الخاتمة الضوء على إمكانيات الإطار في توجيه نشر أنظمة FL بكفاءة وتقترح مجالات بحث مستقبلية، بما في ذلك تأثير المعلمات من تقنيات أخرى مثل تقليم التدرجات وتقسيم النماذج على أداء FL.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على إمكانيات الشبكات المحمولة من الجيل السادس (6G) للتعلم على الحافة، وخاصة من خلال التعلم الفيدرالي (FL)، الذي يسمح بتدريب النماذج بشكل تعاوني مع الحفاظ على خصوصية البيانات. مع سعي 6G لربط الأجهزة ذات الحركة العالية مثل المركبات والطائرات بدون طيار، هناك حاجة ملحة لتنفيذات FL ذات الكمون المنخفض. ومع ذلك، تنشأ التحديات بسبب الطبيعة التكرارية لخوارزميات FL، والتي يمكن أن تؤدي إلى اختناقات في الحساب والاتصال، خاصة بالنظر إلى القدرات غير المتجانسة للأجهزة الطرفية. يقترح المؤلفون إطار عمل جديد للتحكم في حجم الدفعة مصمم لتحسين عمليات الاتصال والحساب، وبالتالي تقليل الكمون في التعلم من النهاية إلى النهاية (E2E) مع الحفاظ على أداء تعلم مرضٍ.
تحدد الورقة اختناقات رئيسية تؤثر على أنظمة FL: الاتصال والحساب. يمكن التخفيف من اختناقات الاتصال من خلال تقنيات مثل تقليم النماذج، والتكميم منخفض الدقة، والتعلم المنقسم، بينما تنشأ اختناقات الحساب من التعقيد المتزايد لنماذج الذكاء الاصطناعي والقدرات المتنوعة للأجهزة الطرفية. يناقش المؤلفون الاستراتيجيات الحالية لمعالجة هذه القضايا، بما في ذلك بروتوكولات التجميع غير المتزامنة وتعديل حجم الدفعة، والتي يمكن أن تساعد في إدارة تأثير الأجهزة الأبطأ، المعروفة باسم “المتخلفين”. يهدف الإطار المقترح إلى التحكم ديناميكيًا في أحجام الدفعات لتحقيق التوازن بين تبادل الكمون ودقة التعلم، مع معالجة فجوة في البحث الحالي الذي غالبًا ما يتجاهل تأثيرات ظروف القناة اللاسلكية وتنوع الأجهزة. تختتم الورقة بملخص للمساهمات الرئيسية، بما في ذلك رؤى نظرية حول تبادل الاتصال والحساب وتطوير خوارزميات لكل من القنوات البطيئة والسريعة، مما يظهر تحسينًا في الكمون في التعلم E2E في التقييمات التجريبية.
طرق
توضح الطرق التجريبية الموضحة في هذه الفقرة التكوين والإعدادات المستخدمة لتقييم أداء نظام التعلم الفيدرالي (FL) مع الأجهزة الطرفية غير المتجانسة. يتضمن الإعداد خادمًا واحدًا وعشرة أجهزة، تم تعيين كل منها عرض نطاق ترددي قدره 10 ميجاهرتز عبر قنوات فرعية متعامدة. تظهر الأجهزة تنوعًا في الاتصال من خلال قوة الإرسال المتغيرة، المأخوذة بشكل موحد من [0.01، 0.1] واط، ومعاملات القناة التي تم نمذجتها بواسطة عملية تلاشي رايلي مستقلة ومتطابقة. تستند مهام التعلم إلى مجموعتين من البيانات: MNIST وCIFAR-10، باستخدام شبكة عصبية تلافيفية (CNN) وResNet-18، على التوالي. يتم تدريب النماذج مع هياكل ومعلمات فرعية محددة، بما في ذلك معدل تعلم ثابت وجولات تحديث محلية، بهدف تحقيق عتبات دقة تحقق محددة.
لتقييم التحكم المقترح في حجم الدفعة التكيفية، يتم تنفيذ ثلاثة مخططات مرجعية: (1) نهج حجم دفعة ثابت يطبق أحجام دفعات موحدة عبر الأجهزة، (2) استراتيجية حجم دفعة ديناميكية تعدل أحجام الدفعات لتحسين استخدام وحدة معالجة الرسوميات مع افتراض ظروف متجانسة، و(3) طريقة تعين حجم دفعة عالمي دون تعديل محلي، تركز فقط على تحقيق التوازن بين تبادل الاتصال والحساب. يتم تقييم أداء هذه المخططات من خلال قياسات تجريبية وتنبؤات نظرية، مما يبرز تأثير التحكم في حجم الدفعة على الكمون من النهاية إلى النهاية عبر مجموعات البيانات المختلفة.
نقاش
في هذه الفقرة، تناقش البحث نظام التعلم الفيدرالي (FL) الذي يتضمن خادمًا واحدًا والعديد من الأجهزة الموزعة، مع التركيز على تحسين تدريب النماذج من خلال نهج منظم للكمون في الحساب والاتصال. يقوم نموذج FL بتحديث وزن نموذج عالمي \( w \in \mathbb{R}^D \) بشكل تكراري باستخدام مجموعات البيانات المحلية من كل جهاز، بهدف تقليل دالة خسارة عالمية \( F(w) \). تتم عملية التعلم بشكل متزامن، حيث يقوم كل جهاز بإجراء تحديثات محلية عبر الانحدار العشوائي (SGD) قبل تحميل النموذج المحدث إلى الخادم، الذي يجمع هذه التحديثات باستخدام مخطط متوسط مرجح. تشمل مقاييس الأداء التي تم النظر فيها دقة التحقق، ومعدل التقارب، والكمون في التعلم من النهاية إلى النهاية (E2E)، حيث يتأثر الأخير بأبطأ جهاز في كل جولة اتصال.
يكشف التحليل عن تبادل بين جولات الاتصال وحمولة الحساب المحلية، مما يبرز أهمية حجم الدفعة في تحسين معدلات التقارب. يظهر أن معدل التقارب يتأثر بكل من أخطاء التهيئة وأخطاء حجم الدفعة، مع وجود قانون قياس مشتق يشير إلى أن زيادة حجم الدفعة العالمي تقلل من عدد جولات الاتصال المطلوبة لتحقيق دقة تقارب محددة. تختتم الفقرة باقتراح استراتيجيات تحكم مثالية في حجم الدفعة تتكيف مع تنوع الأجهزة وظروف الاتصال، بهدف تقليل الكمون E2E مع ضمان أداء تعلم فعال. يتم توسيع هذا النهج أيضًا ليأخذ في الاعتبار القنوات السريعة التلاشي، حيث تتطلب الطبيعة الديناميكية للكمون في الاتصال تعديلات في الوقت الحقيقي على أحجام الدفعات عبر الجولات.
DOI: https://doi.org/10.1109/tcomm.2026.3666674
Publication Date: 2026-01-01
Author(s): Huiling Yang et al.
Primary Topic: Privacy-Preserving Technologies in Data
Overview
The section discusses the significance of federated learning (FL) in sixth-generation (6G) networks, emphasizing its privacy-preserving features that are crucial for various Internet-of-Things (IoT) applications such as autonomous driving, augmented reality, and healthcare. The inherent challenges of low-latency FL implementations arise from the computational and transmission overhead of high-dimensional model updates and the heterogeneous communication-and-computation (C2) capabilities of devices. To tackle these issues, the authors propose a novel C2-aware framework for optimal batch-size control aimed at minimizing end-to-end (E2E) learning latency while ensuring convergence.
The framework reveals a fundamental tradeoff between batch size and learning performance: larger batch sizes enhance gradient estimation accuracy and reduce communication rounds, but increase per-round latency. Although the problem of latency minimization is complex, the authors develop a tractable surrogate for convergence speed, leading to two tailored batch-size control strategies for slow and fast fading scenarios. Experimental results demonstrate that these strategies outperform traditional batch-size adaptation methods that overlook the C2 tradeoff and device heterogeneity. The conclusion highlights the framework’s potential for guiding efficient FL system deployment and suggests future research avenues, including the influence of parameters from other techniques like gradient pruning and model partitioning on FL performance.
Introduction
The introduction of this research paper highlights the potential of sixth-generation (6G) mobile networks for edge learning, particularly through Federated Learning (FL), which allows for collaborative model training while preserving data privacy. As 6G aims to connect high-mobility devices like vehicles and UAVs, there is a pressing need for low-latency FL implementations. However, challenges arise due to the iterative nature of FL algorithms, which can lead to computation and communication bottlenecks, particularly given the heterogeneous capabilities of edge devices. The authors propose a novel batch-size control framework designed to optimize communication and computation operations, thereby minimizing end-to-end (E2E) learning latency while maintaining satisfactory learning performance.
The paper identifies two primary bottlenecks affecting FL systems: communication and computation. Communication bottlenecks can be mitigated through techniques such as model pruning, low-resolution quantization, and split learning, while computation bottlenecks arise from the increasing complexity of AI models and the varying capabilities of edge devices. The authors discuss existing strategies to address these issues, including asynchronous aggregation protocols and batch-size adaptation, which can help manage the impact of slower devices, known as “stragglers.” The proposed framework aims to dynamically control batch sizes to balance the tradeoff between latency and learning accuracy, addressing a gap in current research that often overlooks the effects of wireless channel conditions and device heterogeneity. The paper concludes with a summary of key contributions, including theoretical insights into the communication-computation tradeoff and the development of algorithms for both slow and fast fading channels, demonstrating improved E2E learning latency in empirical evaluations.
Methods
The experimental methods outlined in this section detail the configuration and settings used to evaluate the performance of a federated learning (FL) system with heterogeneous edge devices. The setup includes one server and ten devices, each assigned a bandwidth of 10 MHz across orthogonal subchannels. The devices exhibit communication heterogeneity through varying transmit power, uniformly sampled from [0.01, 0.1] W, and channel coefficients modeled by an i.i.d. Rayleigh fading process. The learning tasks are based on two datasets: MNIST and CIFAR-10, employing a convolutional neural network (CNN) and ResNet-18, respectively. The models are trained with specific architectures and hyperparameters, including a fixed learning rate and local update rounds, aiming for defined validation accuracy thresholds.
To assess the proposed adaptive batch-size control, three benchmarking schemes are implemented: (1) a fixed batch size approach that applies uniform batch sizes across devices, (2) a dynamic batch size strategy that adjusts batch sizes to optimize GPU utilization while assuming homogeneous conditions, and (3) a method that assigns a global batch size without local adaptation, focusing solely on balancing communication and computation trade-offs. The performance of these schemes is evaluated through empirical measurements and theoretical predictions, highlighting the impact of batch size control on end-to-end latency across the different datasets.
Discussion
In this section, the research discusses a Federated Learning (FL) system involving a single server and multiple distributed devices, focusing on the optimization of model training through a structured approach to computation and communication latencies. The FL model iteratively updates a global model weight \( w \in \mathbb{R}^D \) using local datasets from each device, aiming to minimize a global loss function \( F(w) \). The learning process is synchronous, with each device performing local updates via stochastic gradient descent (SGD) before uploading the updated model to the server, which aggregates these updates using a weighted averaging scheme. The performance metrics considered include validation accuracy, convergence rate, and end-to-end (E2E) learning latency, with the latter being influenced by the slowest device in each communication round.
The analysis reveals a tradeoff between communication rounds and local computation workload, emphasizing the importance of batch size in optimizing convergence rates. The convergence rate is shown to be affected by both initialization errors and batch-size-induced errors, with a derived scaling law indicating that increasing the global batch size reduces the number of required communication rounds for achieving a specified convergence accuracy. The section concludes by proposing optimal batch-size control strategies that adapt to device heterogeneity and communication conditions, aiming to minimize E2E latency while ensuring effective learning performance. This approach is further extended to account for fast-fading channels, where the dynamic nature of communication latency necessitates real-time adjustments to batch sizes across rounds.