DOI: https://doi.org/10.62762/tmi.2025.882476
تاريخ النشر: 2026-02-08
المؤلف: Xudong Wang وآخرون
الموضوع الرئيسي: التقنيات التي تحافظ على الخصوصية في البيانات
نظرة عامة
يوفر هذا القسم نظرة عامة على البحث في التعلم الفيدرالي، وخاصة في سياق أنظمة التوصية، مع التأكيد على قدرته على الحفاظ على خصوصية المستخدمين أثناء تمكين تدريب النماذج التعاونية. يقدم المؤلفون FedTLRec (التوصية الفيدرالية مع تجميع المعلمات المعتمد على المحولات وLoRA التعاونية)، وهو إطار عمل جديد مصمم لمعالجة تحديات كفاءة الاتصال، وأداء النموذج، وخصوصية المستخدم في أنظمة التوصية الفيدرالية.
يستفيد FedTLRec من التكيف منخفض الرتبة (LoRA) لضغط المعلمات، محققًا تقليلًا كبيرًا في عبء الاتصال – أكثر من 100× أقل من نقل البيانات في مجموعات البيانات التجريبية. بالإضافة إلى ذلك، يستخدم نموذج تجميع المعلمات المعتمد على المحولات الذي يعزز من التقاط علاقات العملاء، مما يحسن دقة التوصية. يتضمن الإطار أيضًا استراتيجية تجميع K-means لتحسين كفاءة التجميع. تظهر النتائج التجريبية أن FedTLRec يتفوق على طرق التوصية الفيدرالية الحالية، مع الحفاظ على أداء عالٍ حتى مع انسحاب العملاء وفي بيئات معقدة. يحدد المؤلفون خططًا للبحث المستقبلي، بما في ذلك استكشاف طرق تجميع العملاء الديناميكية وتطبيق إطارهم على سيناريوهات التعلم الفيدرالي الأخرى.
مقدمة
تسلط المقدمة الضوء على الحاجة المتزايدة لأنظمة التوصية التي تحافظ على الخصوصية في سياق زيادة الخدمات الرقمية، مع التأكيد على قيود الأساليب المركزية التقليدية التي تعرض سرية بيانات المستخدم للخطر. ظهر التعلم الفيدرالي كبديل قابل للتطبيق، مما يسمح بتدريب النماذج التعاونية دون مشاركة البيانات مباشرة. ومع ذلك، تواجه أنظمة التوصية الفيدرالية الحالية، مثل FedMF وFedNCF، تحديات بسبب الطبيعة غير المستقلة وغير الموزعة بشكل متطابق (Non-IID) لبيانات العملاء، مما يؤدي إلى تخصيص غير مثالي.
لمعالجة هذه القضايا، يقترح المؤلفون FedTLRec، وهو إطار عمل جديد للتوصية الفيدرالية يدمج التكيف منخفض الرتبة (LoRA) لضغط المعلمات مع تجميع المعلمات المعتمد على المحولات. يهدف هذا النهج إلى تقليل عبء الاتصال من خلال الاستفادة من الفضاء الفرعي منخفض الأبعاد لتحديثات نموذج جانب العميل وتعزيز تجميع المعلمات من خلال مراعاة علاقات العملاء بدلاً من المتوسطات البسيطة. تشمل المساهمات الرئيسية تقنية ضغط تعتمد على LoRA، ونموذج تجميع معتمد على المحولات، واستراتيجية تجميع K-means لتجميع العملاء، والتحقق التجريبي الواسع على أربعة مجموعات بيانات من العالم الحقيقي، مما يظهر أداءً متفوقًا في دقة التوصية وكفاءة الاتصال مقارنة بالطرق الحالية.
طرق
في هذا القسم، يتم توضيح المنهجية لنظام توصية فيدرالي، مع التركيز على تفاعلات المستخدم-العنصر الممثلة كـ $r_{ui}$، حيث $u$ تشير إلى المستخدمين و$i$ تشير إلى العناصر. يتنبأ النموذج، المسمى $f$، بتفضيلات المستخدم $\hat{y}_{ui} = f(u, i | \theta)$ بناءً على المعلمات $\theta$. يتم تمثيل رسم تفاعل المستخدم كـ $G(U, E)$، مع مصفوفة مجاورة $A \in \{0, 1\}^{N \times N}$، حيث $N$ هو العدد الإجمالي للمستخدمين. تشير إدخال $A_{ui} = 1$ إلى وجود اتصال بين المستخدمين $u$ و$i$.
الهدف الأساسي من نظام التوصية الفيدرالي هو تحسين توقع تفضيل المستخدم $u$ للعناصر $i$ من خلال تحديد المعلمات المثلى للنموذج $\theta^*_i$. يتم تحقيق ذلك من خلال تقليل الخسارة المحلية $L_i(\theta)$ عبر جميع العملاء المشاركين، مع وزنها بواسطة $\omega_i$، كما هو معبر عنه في المعادلة (1): $\theta^*_i = \arg \min_\theta \sum_{i=1}^N \omega_i L_i(\theta)$. يتم اشتقاق المعلمة المثلى $\theta^*_i$ من كل من معلمات التدريب المحلية $\theta_{\text{local}, i}$ ومعلمة عالمية $\theta_{\text{global}, i}$، والتي يتم تجميعها باستخدام وحدة المحولات.
نقاش
يسلط قسم النقاش في ورقة البحث الضوء على التقدم في أنظمة التوصية الفيدرالية (FedRS) ودمجها مع تقنيات التعديل الدقيق الفعالة من حيث المعلمات والنماذج المعتمدة على المحولات. نجحت تطبيقات FedRS المبكرة، مثل FedMF وFedNCF، في تكييف نماذج التوصية التقليدية مع الإعدادات الفيدرالية مع الحفاظ على خصوصية المستخدم. ركزت التطورات الأخيرة على تعزيز التخصيص، مع استخدام طرق مثل PFedGraph وGPFedRec التي تستخدم أساليب قائمة على الرسوم البيانية لتشابه المستخدمين وتعلم تضمين العناصر. ومع ذلك، غالبًا ما تواجه هذه الطرق تحديات تتعلق بتكاليف الاتصال العالية وتجميع المعلمات غير المثالي بسبب عدم كفاية مراعاة علاقات العملاء.
تقدم الورقة FedTLRec، وهو إطار عمل جديد للتوصية الفيدرالية يجمع بين ضغط المعلمات المعتمد على LoRA، وتجميع K-means لتجميع العملاء، ونموذج تجميع معتمد على المحولات. تقلل تقنية LoRA من عبء الاتصال من خلال نقل تحديثات منخفضة الرتبة بدلاً من مصفوفات التضمين الكاملة، محققة معدلات ضغط كبيرة. يقوم آلية التجميع المعتمدة على المحولات بنمذجة الاعتماديات بين العملاء من خلال الانتباه الذاتي، مما يسمح بتحديثات معلمات أكثر إبلاغًا مقارنة بأساليب المتوسط التقليدية. يظهر الإطار المقترح أداءً قويًا عبر مجموعات بيانات متنوعة، متفوقًا على المعايير الحالية في مقاييس رئيسية مثل نسبة النجاح وNDCG، حتى في ظل ظروف الخصوصية التفاضلية المحلية وانسحاب العملاء. لا يعزز هذا الدمج من دقة التوصية فحسب، بل يحافظ أيضًا على الكفاءة والخصوصية في سيناريوهات التعلم الفيدرالي.
DOI: https://doi.org/10.62762/tmi.2025.882476
Publication Date: 2026-02-08
Author(s): Xudong Wang et al.
Primary Topic: Privacy-Preserving Technologies in Data
Overview
The section provides an overview of the research on federated learning, particularly in the context of recommendation systems, emphasizing its ability to maintain user privacy while enabling collaborative model training. The authors introduce FedTLRec (Federated Recommendation with Transformer-based Parameter Aggregation and Collaborative LoRA), a novel framework designed to tackle the challenges of communication efficiency, model performance, and user privacy in federated recommendation systems.
FedTLRec leverages Low-Rank Adaptation (LoRA) for parameter compression, achieving a significant reduction in communication overhead—over 100× less data transmission in experimental datasets. Additionally, it employs a Transformer-based parameter aggregation model that enhances the capture of client relationships, thereby improving recommendation accuracy. The framework also incorporates a K-means clustering strategy to optimize aggregation efficiency. Experimental results demonstrate that FedTLRec outperforms existing federated recommendation methods, maintaining high performance even with client dropout and in complex environments. The authors outline plans for future research, including the exploration of dynamic client clustering methods and the application of their framework to other federated learning scenarios.
Introduction
The introduction highlights the growing need for privacy-preserving recommendation systems in the context of increasing digital services, emphasizing the limitations of traditional centralized approaches that compromise user data confidentiality. Federated learning has emerged as a viable alternative, allowing for collaborative model training without direct data sharing. However, existing federated recommendation systems, such as FedMF and FedNCF, face challenges due to the non-independent and identically distributed (Non-IID) nature of client data, leading to suboptimal personalization.
To address these issues, the authors propose FedTLRec, a novel federated recommendation framework that integrates Low-Rank Adaptation (LoRA) for parameter compression with Transformer-based parameter aggregation. This approach aims to reduce communication overhead by leveraging the low-dimensional subspace of client-side model updates and to enhance parameter aggregation by considering client relationships rather than simple averaging. Key contributions include a LoRA-based compression technique, a Transformer aggregation model, a K-means clustering strategy for client grouping, and extensive experimental validation on four real-world datasets, demonstrating superior performance in recommendation accuracy and communication efficiency compared to existing methods.
Methods
In this section, the methodology for a federated recommendation system is outlined, focusing on user-item interactions represented as $r_{ui}$, where $u$ denotes users and $i$ denotes items. The model, denoted as $f$, predicts user preferences $\hat{y}_{ui} = f(u, i | \theta)$ based on parameters $\theta$. The user interaction graph is represented as $G(U, E)$, with an adjacency matrix $A \in \{0, 1\}^{N \times N}$, where $N$ is the total number of users. An entry $A_{ui} = 1$ indicates a connection between users $u$ and $i$.
The primary objective of the federated recommendation system is to optimize the prediction of user $u$’s preference for item $i$ by determining the optimal model parameters $\theta^*_i$. This is achieved by minimizing the local loss $L_i(\theta)$ across all participating clients, weighted by $\omega_i$, as expressed in equation (1): $\theta^*_i = \arg \min_\theta \sum_{i=1}^N \omega_i L_i(\theta)$. The optimal parameter $\theta^*_i$ is derived from both local training parameters $\theta_{\text{local}, i}$ and a global parameter $\theta_{\text{global}, i}$, which are aggregated using a Transformer module.
Discussion
The discussion section of the research paper highlights the advancements in Federated Recommendation Systems (FedRS) and their integration with parameter-efficient fine-tuning techniques and Transformer-based models. Early FedRS implementations, such as FedMF and FedNCF, successfully adapted traditional recommendation models to federated settings while preserving user privacy. Recent developments have focused on enhancing personalization, with methods like PFedGraph and GPFedRec utilizing graph-based approaches for user similarity and item embedding learning. However, these methods often face challenges related to high communication costs and suboptimal parameter aggregation due to inadequate consideration of client relationships.
The paper introduces FedTLRec, a novel federated recommendation framework that combines LoRA-based parameter compression, K-means clustering for client grouping, and a Transformer-based aggregation model. The LoRA technique reduces communication overhead by transmitting low-rank updates instead of full embedding matrices, achieving significant compression rates. The Transformer-based aggregation mechanism models inter-client dependencies through self-attention, allowing for more informed parameter updates compared to traditional averaging methods. The proposed framework demonstrates robust performance across various datasets, outperforming existing baselines in key metrics such as Hit Ratio and NDCG, even under conditions of local differential privacy and client dropout. This integration of techniques not only enhances recommendation accuracy but also maintains efficiency and privacy in federated learning scenarios.