DOI: https://doi.org/10.1109/tifs.2026.3671104
تاريخ النشر: 2026-01-01
المؤلف: Xian Rong Qin وآخرون
الموضوع الرئيسي: التقنيات التي تحافظ على الخصوصية في البيانات
نظرة عامة
تقدم ورقة البحث مخططًا جديدًا للتعلم الفيدرالي (FL) يعالج تحديات الحفاظ على الخصوصية، والصلابة ضد الهجمات البيزنطية، والكفاءة الحسابية. الطريقة المقترحة تدمج التشفير المتجانس مع ضغط الأبعاد باستخدام تحويل جونسون-ليندنشتراوس، المنفذ ضمن بنية خادم مزدوج. يسمح هذا التصميم بالدفاع الآمن ضد الهجمات البيزنطية في مجال النص المشفر مع تقليل الحمل الحسابي بشكل كبير من خلال ضغط التدرجات، مما يخفض التعقيد من \(O(dn)\) إلى \(O(kn)\)، حيث \(k \ll d\).
تظهر التجارب الواسعة أن النهج المقترح يحافظ على دقة النموذج مقارنةً بالتعلم الفيدرالي غير الخاص، حتى عند مواجهة ما يصل إلى 40% من العملاء البيزنطيين. تؤدي تقنية ضغط الأبعاد إلى تقليل الحمل الحسابي بمعدل يتراوح بين 25× إلى 35× وتقليل الحمل الاتصالي بمعدل 17× مقارنةً بالإصدار غير المضغوط. علاوة على ذلك، عند مقارنتها بالطرق الحالية مثل ShieldFL، تظهر الخطة المقترحة تحسينات كبيرة في كل من الكفاءة الحسابية والاتصالية مع ضمانات خصوصية مكافئة وصلابة بيزنطية متفوقة، مما يجعلها مناسبة لنشر الشبكات العصبية على نطاق واسع.
مقدمة
تناقش مقدمة الورقة التعلم الفيدرالي (FL)، وهو إطار تعلم آلي لامركزي يسمح لعدة عملاء بتدريب النماذج بشكل تعاوني مع الحفاظ على خصوصية البيانات. يقوم العملاء بحساب تحديثات نماذج محلية من مجموعاتهم الخاصة من البيانات وإرسال هذه التحديثات إلى خادم مركزي، الذي يجمعها لتحسين نموذج عالمي. على الرغم من مزاياها، تواجه FL تحديات كبيرة في الأمن والخصوصية، خاصة خطر تسرب المعلومات الحساسة من تحديثات النماذج وتهديد العملاء البيزنطيين الذين قد يقدمون تحديثات ضارة، مما يهدد نزاهة النموذج.
لمعالجة هذه القضايا، يقترح المؤلفون مخططًا جديدًا للتعلم الفيدرالي الذي يحافظ على الخصوصية (PPFL) يدمج التشفير الإضافي والتشفير المتجانس لتعزيز كل من الخصوصية والصلابة ضد الهجمات البيزنطية دون تكبد حمل حسابي مفرط. يستخدم نهجهم ضغط الأبعاد عبر تحويل جونسون-ليندنشتراوس لتقليل تعقيد العمليات التشفيرية، مما يمكّن الدفاع الفعال ضد الهجمات البيزنطية مع الحفاظ على دقة النموذج. يدعي المؤلفون أن طريقتهم تتفوق بشكل كبير على الحلول الحالية الرائدة من حيث الكفاءة، حيث تحقق دفاعات قوية حتى مع نسب ضغط متطرفة، وتحافظ على ضمانات خصوصية قوية طوال عملية التدريب.
طرق
تحدد قسم الطرق إعداد التجارب ومعايير التقييم لتقييم النهج المقترح مقابل طرق الأساس المختلفة في سياق التعلم الفيدرالي (FL) تحت ظروف عدائية. تم إجراء التجارب في بيئة مسيطر عليها باستخدام معالج AMD Ryzen Threadripper 3970X ووحدة معالجة الرسومات NVIDIA GeForce RTX 3080 Ti، مع Python 3.10.13 وPyTorch 2.1.0. تم استخدام ثلاث مجموعات بيانات قياسية—SVHN وCIFAR-10 وCIFAR-100—باستخدام هياكل نماذج تتراوح من ResNet20 إلى MobileNetV1. تم تغيير المعلمات الفائقة مثل معدلات التعلم، وأحجام الدفعات، ومعلمات الأمان بشكل منهجي، كما هو ملخص في الجدول III.
شمل التقييم هجمات تسميم مختلفة، مثل قلب الإشارات، وقلب التسميات، وهجمات الضوضاء الغاوسية، لاختبار صلابة المخطط المقترح. أظهرت النتائج أن الطريقة المقترحة حافظت باستمرار على الدقة حتى مع وجود ما يصل إلى 40% من العملاء العدائيين، متفوقة على طرق الأساس مثل Krum وTrimmed Mean، خاصة تحت الهجمات البيزنطية. من حيث الكفاءة، حققت الطريقة المقترحة تخفيضات كبيرة في الحمل الحسابي (25× إلى 35×) وتكاليف الاتصال، خاصة في عمليات النقل بين الخوادم، مع الحفاظ على ضمانات أمان قوية. بشكل عام، تشير النتائج إلى أن النهج المقترح يوازن بشكل فعال بين الصلابة ضد الهجمات العدائية والكفاءة الحسابية والاتصالية.
نقاش
في هذا القسم، يناقش المؤلفون تنفيذ والأسس النظرية لنظام التعلم الفيدرالي (PPFL) الذي يحافظ على الخصوصية ويكون قويًا ضد الهجمات البيزنطية. يستخدم النظام بنية خادم مزدوج تتكون من خادمين غير متعاونين (يشار إليهما بـ $S_0$ و$S_1$) والعديد من العملاء، كل منهم يحمل مجموعات بيانات خاصة. تتضمن عملية التعلم الفيدرالي قيام العملاء بحساب التدرجات المحلية بناءً على مجموعاتهم من البيانات، والتي يتم تجميعها بعد ذلك بواسطة الخوادم لتحديث نموذج عالمي. يستخدم المؤلفون خوارزمية FedAvg لهذا التجميع، مما يضمن عدم مشاركة العملاء لبياناتهم الخام مباشرة.
لزيادة الخصوصية والأمان، يدمج المؤلفون التشفير المتجانس الإضافي، وبشكل خاص نظام تشفير بايليير، مما يسمح بإجراء عمليات على البيانات المشفرة دون فك التشفير. يتم تكملة ذلك بتحويل جونسون-ليندنشتراوس (JL)، الذي يقلل من أبعاد البيانات مع الحفاظ على الخصائص الهندسية الأساسية، مما يحسن الكفاءة الحسابية. يتضمن النظام المقترح أيضًا آلية دفاع قوية ضد الهجمات البيزنطية، حيث يقوم $S_1$ بتقييم نزاهة تحديثات العملاء من خلال حساب تشابهات جيب التمام ومعايير التدرجات، مما يمكّن من تحديد المساهمات الضارة المحتملة دون المساس بخصوصية العملاء. تؤكد أهداف التصميم على الحفاظ على دقة النموذج، وضمان الصلابة ضد الهجمات، وتوفير ضمانات خصوصية قوية، وتقليل الحمل الحسابي، مما يعالج التحديات الكامنة في بيئات التعلم الفيدرالي.
DOI: https://doi.org/10.1109/tifs.2026.3671104
Publication Date: 2026-01-01
Author(s): Xian Rong Qin et al.
Primary Topic: Privacy-Preserving Technologies in Data
Overview
The research paper presents a novel scheme for Federated Learning (FL) that addresses the challenges of privacy preservation, Byzantine robustness, and computational efficiency. The proposed method integrates homomorphic encryption with dimension compression using the Johnson-Lindenstrauss transformation, implemented within a dual-server architecture. This design allows for secure defense against Byzantine attacks in the ciphertext domain while significantly reducing computational overhead through gradient compression, lowering the complexity from \(O(dn)\) to \(O(kn)\), where \(k \ll d\).
Extensive experiments demonstrate that the proposed approach maintains model accuracy comparable to non-private FL, even when facing up to 40% Byzantine clients. The dimension compression technique results in a 25× to 35× reduction in computational overhead and a 17× reduction in communication overhead compared to the non-compressed version. Furthermore, when compared to existing methods like ShieldFL, the proposed scheme shows substantial improvements in both computational and communication efficiency while ensuring equivalent privacy guarantees and superior Byzantine robustness, making it suitable for large-scale neural network deployments.
Introduction
The introduction of the paper discusses Federated Learning (FL), a decentralized machine learning framework that allows multiple clients to collaboratively train models while maintaining data privacy. Clients compute local model updates from their private datasets and send these updates to a central server, which aggregates them to improve a global model. Despite its advantages, FL faces significant security and privacy challenges, particularly the risk of sensitive information leakage from model updates and the threat of Byzantine clients that may introduce malicious updates, compromising the model’s integrity.
To address these issues, the authors propose a novel scheme for Privacy-Preserving Federated Learning (PPFL) that integrates additive masking and homomorphic encryption to enhance both privacy and robustness against Byzantine attacks without incurring excessive computational overhead. Their approach utilizes dimension compression via the Johnson-Lindenstrauss transformation to reduce the complexity of cryptographic operations, thereby enabling efficient Byzantine defense while preserving model accuracy. The authors claim that their method significantly outperforms existing state-of-the-art solutions in terms of efficiency, achieving robust defenses even with extreme compression ratios, and maintaining strong privacy guarantees throughout the training process.
Methods
The methods section outlines the experimental setup and evaluation criteria for assessing the proposed approach against various baseline methods in the context of federated learning (FL) under adversarial conditions. The experiments were conducted in a controlled environment using an AMD Ryzen Threadripper 3970X CPU and an NVIDIA GeForce RTX 3080 Ti GPU, with Python 3.10.13 and PyTorch 2.1.0. Three standard datasets—SVHN, CIFAR-10, and CIFAR-100—were employed, utilizing model architectures ranging from ResNet20 to MobileNetV1. Hyperparameters such as learning rates, batch sizes, and security parameters were systematically varied, as summarized in Table III.
The evaluation included various poisoning attacks, such as sign-flipping, label-flipping, and Gaussian noise attacks, to test the robustness of the proposed scheme. The results demonstrated that the proposed method consistently maintained accuracy even with up to 40% adversarial clients, outperforming baseline approaches like Krum and Trimmed Mean, particularly under Byzantine attacks. In terms of efficiency, the proposed method achieved significant reductions in computational overhead (25× to 35×) and communication costs, particularly in server-to-server transmissions, while maintaining strong security guarantees. Overall, the findings indicate that the proposed approach effectively balances robustness against adversarial attacks with computational and communication efficiency.
Discussion
In this section, the authors discuss the implementation and theoretical underpinnings of a Byzantine-robust privacy-preserving federated learning (PPFL) system. The system utilizes a dual-server architecture comprising two non-colluding servers (denoted as $S_0$ and $S_1$) and multiple clients, each holding private datasets. The federated learning process involves clients computing local gradients based on their datasets, which are then aggregated by the servers to update a global model. The authors employ the FedAvg algorithm for this aggregation, ensuring that clients do not share their raw data directly.
To enhance privacy and security, the authors incorporate additive homomorphic encryption, specifically the Paillier cryptosystem, allowing computations on encrypted data without decryption. This is complemented by the Johnson-Lindenstrauss (JL) transformation, which reduces the dimensionality of the data while preserving essential geometric properties, thereby improving computational efficiency. The proposed system also includes a robust defense mechanism against Byzantine attacks, where $S_1$ assesses the integrity of client updates by calculating cosine similarities and norms of gradients, enabling the identification of potentially malicious contributions without compromising client privacy. The design goals emphasize maintaining model accuracy, ensuring robustness against attacks, providing strong privacy guarantees, and minimizing computational overhead, thus addressing the challenges inherent in federated learning environments.