التعلم الموزع بدون عينة للتعرف البصري Distributed Zero-Shot Learning for Visual Recognition

شارك:
المجلة: IEEE Transactions on Multimedia، المجلد: 28
DOI: https://doi.org/10.1109/tmm.2026.3673561
تاريخ النشر: 2026-01-01
المؤلف: Zhi Chen وآخرون
الموضوع الرئيسي: تكييف المجال والتعلم من عدد قليل من الأمثلة

نظرة عامة

في هذه الورقة، يقدم المؤلفون إطار عمل التعلم الصفري الموزع (DistZSL) المصمم للاستفادة من البيانات اللامركزية من أجل التعلم الفعال للفئات غير المرئية. لمعالجة التحديات التي تطرحها تباين البيانات عبر العقد الموزعة، يتضمن الإطار مكونين حاسمين: مُنظم السمات عبر العقد وتوافق السمات العالمية مع المرئيات (V2A). يضمن مُنظم السمات عبر العقد أن تظل المسافات بين ميزات السمات متسقة عبر العقد، مما stabilizes مساحة ميزات السمات العامة ويسهل إنشاء علاقات V2A. يعزز توافق السمات العالمية مع المرئيات هذا من خلال فرض الاتساق في التوزيعات الثنائية بين السمات وميزات المرئيات عبر العقد، مما يحسن من قوة التعلم الصفري.

يبرز المؤلفون أن طرق التعلم الصفري العام التقليدية (GZSL)، التي تعتمد عادةً على البيانات المركزية، تواجه صعوبات في الإعدادات اللامركزية. من خلال دمج التعلم القائم على السمات مع مبادئ التعلم الفيدرالي، يعالج إطار عمل DistZSL المقترح بفعالية قيود طرق GZSL الحالية في البيئات غير المستقلة. تظهر النتائج التجريبية أن DistZSL يتفوق على أحدث الطرق في سيناريوهات البيانات الموزعة، لا سيما في إدارة توزيعات البيانات المتنوعة والتخفيف من تحديات التجميع العالمي. تؤكد النتائج قدرة الإطار على التكيف مع ديناميكيات مشاركة المشاركين المتنوعة، بما في ذلك كسور العينة المختلفة وأعداد العملاء، مما يضع معيارًا جديدًا للبحوث المستقبلية في هذا المجال.

مقدمة

في هذا القسم، يقدم المؤلفون النتائج الرئيسية لتجاربهم التي تقارن نموذجهم المقترح، DistZSL، مع أحدث الطرق في كل من الإعدادات المركزية والفيدرالية. استخدمت التجارب بيانات مأخوذة من توزيعات مستقلة وموزعة بشكل متطابق (i.i.d.) وغير i.i.d.، حيث تم توليد الأخيرة باستخدام توزيع ديريشليه مع معلمة تركيز قدرها $\alpha = 0.5$. تكشف مقارنات الأداء، المفصلة في الجدول I، أنه على الرغم من أن نهجهم ليس مصممًا خصيصًا للإعدادات المركزية، إلا أنه لا يزال يحقق نتائج تنافسية. من الجدير بالذكر أن التنبؤ المباشر بتسميات الفئات عبر التعلم الفيدرالي (FL) فعال فقط لمجموعات بيانات CUB وAwA2 تحت شرط i.i.d.، بينما أظهرت مجموعة بيانات SUN مشاكل في التقارب.

تشير النتائج إلى أن الأسس التقليدية للتعلم الصفري (ZSL)، مثل APN وGEM وMSDN وSVIP، تعزز الأداء بشكل كبير عبر جميع مجموعات البيانات والإعدادات. علاوة على ذلك، يظهر نموذج DistZSL المقترح، الذي يتضمن مُنظم السمات عبر الأجهزة واتصال دلالي-مرئي ثنائي، تحسنًا ملحوظًا مقارنة بهذه الطرق الأساسية، مما يبرز فعاليته في تعزيز قدرات التعرف على الصفري في كل من سيناريوهات i.i.d. وغير i.i.d.

طرق

يوفر القسم نظرة عامة على طرق الأساس المختلفة في التعلم الصفري (ZSL) والتعلم الفيدرالي (FL). في ZSL، تستخدم طرق مثل شبكة نموذج السمات (APN) ميزات محلية وعالمية لتعزيز فهم الصورة من خلال تحويل خرائط الميزات إلى خرائط سمات، مما يوفر سياقًا مكانيًا للمعاني الدلالية. يحاكي نموذج الانتباه المدفوع بالنظر (GEM) العمليات المعرفية البشرية من خلال توقع أنماط النظر لبناء خرائط انتباه السمات، مما يساعد في التعرف على الفئات غير المرئية. تستخدم شبكة التقطير متعددة المقاييس (MSDN) آلية انتباه ثنائية الاتجاه بين شبكتين فرعيتين لتحسين فهم الفئات غير المرئية من خلال التوجيه المتبادل. يعالج إطار عمل البقعة المرئية الدلالية (SVIP) المعلومات المرئية غير ذات الصلة من خلال تحديد البقع غير الدلالية واستبدالها بالتضمينات الدلالية، مما يعزز تمييز السمات.

في مجال FL، تعمل طرق مثل FedAvg كمعايير من خلال السماح بتحديثات النماذج المحلية عبر عدة عصور، مما يحسن كفاءة الاتصال. يعزز FedProx FedAvg من خلال تقييد التحديثات المحلية مع مصطلح تنظيم L2 لتقليل التباين عن النموذج العالمي. يقوم FedNova بتطبيع التحديثات المحلية بناءً على عدد الخطوات المحلية التي اتخذها العملاء، مما يضمن مساهمات متوازنة في النموذج العالمي. تعالج SCAFFOLD تباين بيانات غير i.i.d. من خلال متغيرات التحكم، بينما تستخدم MOON التعلم التبايني لتعزيز تشابه النموذج عبر العملاء، مما يقلل من التباين. أخيرًا، ينقل FedGloSS تحسين الوعي بالحدة إلى جانب الخادم لتحقيق مستوى عالمي، مما يعزز التعميم مع الحفاظ على كفاءة الاتصال. تعمل هذه الطرق مجتمعة على تعزيز الأداء والموثوقية لأنظمة ZSL وFL.

نقاش

يناقش القسم دمج التعلم الصفري (ZSL) والتعلم الفيدرالي (FL) لمعالجة التحديات في الأنظمة الموزعة، لا سيما في السيناريوهات التي تحتوي على توزيعات شرطية جزئية للفئات (p.c.c.d.). يهدف ZSL إلى تصنيف الفئات غير المرئية بناءً على العلاقات المرئية-الدلالية المكتسبة، عادةً من خلال طرق قائمة على التضمين أو توليدها. يستفيد إطار عمل التعلم الصفري الموزع (DistZSL) من الطرق القائمة على التضمين لتعزيز التعميم المرئي-الدلالي مع مراعاة مخاوف خصوصية البيانات من خلال استخدام بيانات محلية من عدة عملاء دون مشاركتها.

يستخدم إطار عمل DistZSL استراتيجية تعلم قائمة على السمات فريدة من نوعها، حيث تتنبأ النماذج المحلية بالسمات الدلالية بدلاً من تصنيف الصور مباشرة. تساعد هذه الطريقة في التخفيف من القضايا الناجمة عن تباين البيانات وحدود القرار غير المتسقة عبر العملاء. من خلال استخدام المراسي الدلالية المشتركة، يوجه الإطار النماذج المحلية نحو مانيفولد دلالي مشترك، مما يمنع الوقوع في فخ الأمثل المحلي ويضمن تحديثات نموذج عالمي متماسكة. بالإضافة إلى ذلك، يتضمن الإطار تنظيم السمات عبر الأجهزة واتصالات دلالية-مرئية ثنائية لتعزيز الاتساق وتعزيز العلاقات بين الأنماط المرئية والدلالية عبر العملاء. الهدف العام هو تحقيق أداء قوي في مهام ZSL مع معالجة تعقيدات بيئات التعلم الموزعة.

Journal: IEEE Transactions on Multimedia, Volume: 28
DOI: https://doi.org/10.1109/tmm.2026.3673561
Publication Date: 2026-01-01
Author(s): Zhi Chen et al.
Primary Topic: Domain Adaptation and Few-Shot Learning

Overview

In this paper, the authors introduce a Distributed Zero-Shot Learning (DistZSL) framework designed to leverage decentralized data for effective learning of unseen classes. To address the challenges posed by data heterogeneity across distributed nodes, the framework incorporates two critical components: a cross-node attribute regularizer and a global attribute-to-visual (V2A) consensus. The cross-node attribute regularizer ensures that the distances between attribute features remain consistent across nodes, stabilizing the overall attribute feature space and facilitating the establishment of V2A relationships. The global attribute-to-visual consensus further enhances this by enforcing consistency in the bilateral mapping between attribute and visual feature distributions across nodes, thereby improving the robustness of zero-shot learning.

The authors highlight that traditional Generalized Zero-Shot Learning (GZSL) methods, which typically rely on centralized data, struggle in decentralized settings. By integrating attribute-based learning with federated learning principles, the proposed DistZSL framework effectively addresses the limitations of existing GZSL approaches in non-i.i.d. environments. Empirical results demonstrate that DistZSL outperforms state-of-the-art methods in distributed data scenarios, particularly in managing diverse data distributions and mitigating global aggregation challenges. The findings underscore the framework’s capability to adapt to varying participant engagement dynamics, including different sampling fractions and client numbers, thereby setting a new benchmark for future research in this area.

Introduction

In this section, the authors present the main results of their experiments comparing their proposed model, DistZSL, with state-of-the-art methods in both centralized and federated learning settings. The experiments utilized data sampled from both independent and identically distributed (i.i.d.) and non-i.i.d. distributions, with the latter being generated using a Dirichlet distribution with a concentration parameter of $\alpha = 0.5$. Performance comparisons, detailed in Table I, reveal that while their approach is not specifically tailored for centralized settings, it still achieves competitive results. Notably, the direct prediction of class labels via federated learning (FL) is effective only for the CUB and AwA2 datasets under the i.i.d. condition, while the SUN dataset exhibited convergence issues.

The results indicate that traditional zero-shot learning (ZSL) baselines, such as APN, GEM, MSDN, and SVIP, significantly enhance performance across all datasets and settings. Furthermore, the proposed DistZSL model, which incorporates a cross-device attribute regularizer and a bilateral semantic-visual connection, demonstrates a marked improvement over these baseline methods, underscoring its efficacy in enhancing zero-shot recognition capabilities in both i.i.d. and non-i.i.d. scenarios.

Methods

The section provides an overview of various baseline methods in zero-shot learning (ZSL) and federated learning (FL). In ZSL, methods such as the Attribute Prototype Network (APN) utilize local and global features to enhance image understanding by converting feature maps into attribute maps, thereby providing spatial context for semantic meanings. The Gaze-Driven Attention Model (GEM) mimics human cognitive processes by predicting gaze patterns to construct attribute attention maps, aiding in the recognition of unseen classes. The Multi-Scale Distillation Network (MSDN) employs a bidirectional attention mechanism between two subnetworks to improve the understanding of unseen classes through mutual guidance. The Semantic Visual Patch (SVIP) framework addresses irrelevant visual information by identifying non-semantic patches and replacing them with semantic embeddings, enhancing attribute discriminability.

In the realm of FL, methods such as FedAvg serve as benchmarks by allowing local model updates across multiple epochs, thus improving communication efficiency. FedProx enhances FedAvg by constraining local updates with an L2 regularization term to minimize divergence from the global model. FedNova normalizes local updates based on the number of local steps taken by clients, ensuring balanced contributions to the global model. SCAFFOLD addresses non-i.i.d. data variance through control variates, while MOON employs contrastive learning to promote model similarity across clients, mitigating divergence. Lastly, FedGloSS shifts sharpness-aware optimization to the server side to achieve global flatness, enhancing generalization while maintaining communication efficiency. These methods collectively advance the performance and robustness of ZSL and FL systems.

Discussion

The section discusses the integration of Zero-Shot Learning (ZSL) and Federated Learning (FL) to address challenges in distributed systems, particularly in scenarios with partial class-conditional distributions (p.c.c.d.). ZSL aims to classify unseen classes based on learned visual-semantic relationships, typically through embedding-based or generative methods. The proposed Distributed Zero-Shot Learning (DistZSL) framework leverages embedding-based approaches to enhance visual-semantic generalization while accommodating data privacy concerns by utilizing local data from multiple clients without sharing it.

The DistZSL framework employs a unique attribute-based learning strategy, where local models predict semantic attributes instead of directly classifying images. This approach mitigates issues arising from data heterogeneity and inconsistent decision boundaries across clients. By using shared semantic anchors, the framework aligns local models towards a common semantic manifold, thus preventing local optima traps and ensuring coherent global model updates. Additionally, the framework incorporates cross-device attribute regularization and bilateral visual-semantic connections to enhance consistency and reinforce relationships between visual and semantic modalities across clients. The overall objective is to achieve robust performance in ZSL tasks while addressing the complexities of distributed learning environments.