DOI: https://doi.org/10.1016/j.patcog.2026.113327
تاريخ النشر: 2026-02-24
المؤلف: Lijian Li وآخرون
الموضوع الرئيسي: الشبكات العصبية المتقدمة
نظرة عامة
تقدم ورقة البحث إطار عمل مزيج خبراء الأنماط التكميلية (MoCME)، المصمم لإكمال الرسم البياني المعرفي متعدد الأنماط (MMKGC). يعالج هذا الإطار التحديات التي تطرحها عدم التوازن الفطري في الرسوم البيانية المعرفية متعددة الأنماط، حيث تختلف توزيعات الأنماط عبر الكيانات. غالبًا ما تستخدم طرق MMKGC التقليدية آليات دمج قائمة على الانتباه أو البوابات لكنها تفشل في الاستفادة من التكامل الموجود في البيانات متعددة الأنماط. يتضمن إطار MoCME المقترح وحدة دمج المعرفة الأنماط التكميلية الموجهة (CMKF)، والتي تعزز تمثيلات الكيانات من خلال دمج فعّال للتضمينات متعددة المناظر ومتعددة الأنماط، وآلية أخذ العينات السلبية الموجهة بالانتروبيا (EGNS) التي تعطي الأولوية للعينات السلبية المعلوماتية وغير المؤكدة لتحسين كفاءة التدريب وقوة النموذج.
تظهر التجارب الواسعة التي أجريت على خمسة مجموعات بيانات مرجعية أن MoCME تحقق أداءً رائدًا، متفوقة بشكل كبير على الطرق الحالية عبر مقاييس تقييم متنوعة. تؤكد النتائج على أهمية الدمج المدرك للتكامل في MMKGC، مما يوفر حلاً قويًا للتعامل مع الأنماط المفقودة أو غير المكتملة أو المزعجة في التطبيقات العملية. ستركز الأعمال المستقبلية على توسيع إطار MoCME لاستيعاب سيناريوهات متعددة الأنماط أكثر تعقيدًا، مثل دمج المعلومات الزمنية أو المكانية، واستكشاف تقنيات متقدمة لمحاذاة الأنماط لتعزيز الأداء في بيئات نقص البيانات. بالإضافة إلى ذلك، سيتم التحقيق في قابلية التوسع للرسوم البيانية المعرفية الكبيرة لتسهيل تطبيقها في مهام إكمال الرسوم البيانية المعرفية على مستوى الصناعة.
مقدمة
تناقش مقدمة ورقة البحث التحديات والتقدم في إكمال الرسم البياني المعرفي (KGC) وتوسيعها إلى إكمال الرسم البياني المعرفي متعدد الأنماط (MMKGC). تستخدم طرق KGC التقليدية بشكل أساسي تقنيات تضمين الرسم البياني المعرفي (KGE) للتنبؤ بالثلاثيات المفقودة، معتمدة إما على أساليب قائمة على الترجمة أو المطابقة الدلالية. ومع ذلك، غالبًا ما تتجاهل هذه الطرق المعلومات متعددة الأنماط الغنية المدمجة داخل الكيانات، والتي يمكن أن تعزز التمثيل الدلالي للرسوم البيانية المعرفية. ظهرت الرسوم البيانية المعرفية متعددة الأنماط (MMKGs) لمعالجة هذا القيد من خلال دمج سمات محددة متعددة الأنماط، ومع ذلك، تواجه طرق MMKGC الحالية تحديات مثل توزيع الأنماط غير المتساوي واستراتيجيات الدمج البسيطة التي تفشل في التقاط الديناميات المعقدة بين الأنماط.
لتجاوز هذه القيود، يقترح المؤلفون إطار عمل جديد يسمى مزيج خبراء الأنماط التكميلية (MoCME). يستفيد هذا الإطار من وحدة دمج المعرفة الأنماط التكميلية الموجهة (CMKF)، التي تستخدم شبكات خبراء متوازية لمعالجة التضمينات المحددة للأنماط وتدمجها ديناميكيًا لتشكيل تمثيلات متعددة الأنماط قوية. بالإضافة إلى ذلك، يتم تقديم استراتيجية أخذ العينات السلبية الموجهة بالانتروبيا (EGNS) لإعطاء الأولوية للعينات السلبية الأكثر معلوماتية أثناء التدريب، مما يعزز القوة التمييزية للنموذج. يظهر إطار MoCME المقترح أداءً رائدًا في مهام تمثيل وإكمال المعرفة متعددة الأنماط، مما يبرز فعاليته في معالجة تعقيدات دمج البيانات متعددة الأنماط.
طرق
في هذا القسم، يقدم المؤلفون إطار عمل مزيج خبراء الأنماط التكميلية (MoCME)، الذي يهدف إلى تعزيز إكمال الرسم البياني المعرفي متعدد الأنماط. يتكون الإطار من مكونين رئيسيين: (1) وحدة دمج المعرفة الأنماط التكميلية الموجهة (CMKF)، التي تدمج التضمينات متعددة المناظر ومتعددة الأنماط من خلال وحدة خبير محددة للأنماط ووحدة دمج عبر الأنماط، و(2) آلية أخذ العينات السلبية الموجهة بالانتروبيا (EGNS)، التي تعطي الأولوية للعينات السلبية المعلوماتية لتحسين فعالية التدريب. يستخدم الإطار دالة تسجيل RotatE لتقييم احتمالية الثلاثيات المعرفية من خلال نمذجة أنماط العلاقات المعقدة في فضاء متجه معقد.
يقارن المؤلفون MoCME ضد 19 طريقة رائدة عبر ثلاث فئات: إكمال الرسم البياني المعرفي التقليدي (KGC)، KGC متعدد الأنماط، وطرق أخذ العينات السلبية. تشير النتائج، المعروضة في الجدول 2، إلى أن MoCME يتفوق باستمرار على جميع طرق الأساس عبر خمس مجموعات بيانات KGC متعددة الأنماط باستخدام مقاييس مثل متوسط الترتيب العكسي (MRR)، Hit@1، وHit@10. من الجدير بالذكر أنه بينما يظهر MoCME تحسينات متواضعة على مجموعات البيانات ذات الأنماط المحدودة، فإنه يظهر مكاسب كبيرة على مجموعات البيانات ذات المدخلات متعددة الأنماط الأكثر ثراءً، مما يتفوق بشكل خاص في البيئات ذات توزيعات الأنماط المتنوعة. تؤكد النتائج التجريبية قدرة MoCME على دمج ميزات الأنماط التكميلية بشكل فعال، خاصة في الإعدادات المعقدة والمزعجة، مما يؤدي إلى أداء متفوق عبر جميع سيناريوهات التقييم.
مناقشة
في قسم المناقشة من ورقة البحث، يستكشف المؤلفون التقدم في إكمال الرسم البياني المعرفي (KGC) ودمج البيانات متعددة الأنماط لتعزيز أداء النموذج. تعتمد طرق KGC التقليدية، التي تستند بشكل أساسي إلى تضمين الرسم البياني المعرفي (KGE)، على استخدام وظائف تسجيل متنوعة لتقييم صلاحية الثلاثيات داخل الرسوم البيانية المعرفية. يتم تصنيف هذه الطرق إلى أساليب قائمة على الترجمة، مثل TransE وRotatE، وطرق المطابقة الدلالية مثل DistMult وComplEx. يبرز المؤلفون ظهور تقنيات إكمال الرسم البياني المعرفي متعدد الأنماط (MMKGC) التي تدمج أنواع بيانات متنوعة—بصرية، نصية، ورقمية—لإثراء تمثيلات الكيانات. ومع ذلك، غالبًا ما تتجاهل الطرق الحالية لـ MMKGC أهمية التكامل بين الأنماط، مما يمكن أن يحسن من القوة والعمومية في المهام متعددة الأنماط.
يقترح المؤلفون إطار عمل دمج المعرفة الأنماط التكميلية الموجهة (CMKF) الذي يقوم بنمذجة التكامل بين الأنماط الداخلية والخارجية بشكل صريح لتعزيز تعلم تمثيل الكيانات. يستخدم هذا الإطار مشفرات مدربة مسبقًا للأنماط البصرية والنصية، ويجمع المعلومات الهيكلية كأحد الأنماط الإضافية، ويستخدم تصميم مزيج من الخبراء لالتقاط التغيرات الدقيقة داخل الأنماط. يتم الاستفادة من المعلومات المتبادلة بين المناظر المختلفة لتقييم وتعزيز تنوع الميزات أثناء الدمج، مما يقلل من التكرار. علاوة على ذلك، يقدم المؤلفون استراتيجية أخذ عينات سلبية قائمة على الانتروبيا تصنف العينات السلبية بناءً على معلوماتها، مما يسمح للنموذج بالتركيز على الأمثلة الأكثر تحديًا أثناء التدريب. بشكل عام، يهدف إطار CMKF المقترح إلى تحسين أداء MMKGC من خلال الاستفادة الفعالة من الطبيعة التكميلية للبيانات متعددة الأنماط مع معالجة التحديات مثل الضوضاء والتغطية غير المكتملة للأنماط.
DOI: https://doi.org/10.1016/j.patcog.2026.113327
Publication Date: 2026-02-24
Author(s): Lijian Li et al.
Primary Topic: Advanced Graph Neural Networks
Overview
The research paper presents the Mixture of Complementary Modality Experts (MoCME) framework, designed for Multi-modal Knowledge Graph Completion (MMKGC). This framework addresses the challenges posed by the inherent imbalance in multimodal knowledge graphs, where modality distributions vary across entities. Traditional MMKGC methods often utilize attention or gate-based fusion mechanisms but fail to leverage the complementarity present in multimodal data. The proposed MoCME framework incorporates a Complementarity-guided Modality Knowledge Fusion (CMKF) module, which enhances entity representations by effectively integrating multi-view and multi-modal embeddings, and an Entropy-guided Negative Sampling (EGNS) mechanism that prioritizes informative and uncertain negative samples to improve training efficiency and model robustness.
Extensive experiments conducted on five benchmark datasets demonstrate that MoCME achieves state-of-the-art performance, significantly outperforming existing methods across various evaluation metrics. The findings underscore the importance of complementarity-aware fusion in MMKGC, providing a robust solution for handling missing, incomplete, or noisy modalities in practical applications. Future work will focus on extending the MoCME framework to accommodate more complex multimodal scenarios, such as incorporating temporal or spatial information, and exploring advanced techniques for modality alignment to enhance performance in data-scarce environments. Additionally, scalability to large-scale knowledge graphs will be investigated to facilitate its application in industrial-level knowledge graph completion tasks.
Introduction
The introduction of the research paper discusses the challenges and advancements in Knowledge Graph Completion (KGC) and its extension to Multimodal Knowledge Graph Completion (MMKGC). Traditional KGC methods primarily utilize Knowledge Graph Embedding (KGE) techniques to predict missing triples, relying on either translation-based or semantic matching approaches. However, these methods often overlook the rich multimodal information embedded within entities, which can enhance the semantic representation of knowledge graphs. MMKGs have emerged to address this limitation by incorporating diverse modality-specific attributes, yet existing MMKGC methods face challenges such as uneven modality distribution and simplistic fusion strategies that fail to capture the intricate dynamics between modalities.
To overcome these limitations, the authors propose a novel framework called Mixture of Complementary Modality Experts (MoCME). This framework leverages a Complementarity-guided Modality Knowledge Fusion (CMKF) module, which employs parallel expert networks to process modality-specific embeddings and dynamically integrates them to form robust multimodal representations. Additionally, an Entropy-guided Negative Sampling (EGNS) strategy is introduced to prioritize more informative negative samples during training, enhancing the model’s discriminative power. The proposed MoCME framework demonstrates state-of-the-art performance in multimodal knowledge representation and completion tasks, showcasing its effectiveness in addressing the complexities of multimodal data integration.
Methods
In this section, the authors introduce the Mixture of Complementary Modality Experts (MoCME) framework, which aims to enhance multimodal knowledge graph completion. The framework consists of two main components: (1) the Complementarity-guided Modality Knowledge Fusion (CMKF) module, which integrates multi-view and multi-modal embeddings through a Modality-specific Expert Module and a Cross-modality Fusion module, and (2) the Entropy-guided Negative Sampling (EGNS) mechanism, which prioritizes informative negative samples to improve training effectiveness. The framework employs the RotatE scoring function to evaluate the plausibility of knowledge triples by modeling complex relational patterns in a complex vector space.
The authors compare MoCME against 19 state-of-the-art methods across three categories: traditional knowledge graph completion (KGC), multi-modal KGC, and negative sampling methods. The results, presented in Table 2, indicate that MoCME consistently outperforms all baseline methods across five multimodal KGC datasets using metrics such as Mean Reciprocal Rank (MRR), Hit@1, and Hit@10. Notably, while MoCME shows modest improvements on datasets with limited modalities, it demonstrates significant gains on datasets with richer multimodal inputs, particularly excelling in environments with diverse modality distributions. The empirical findings underscore MoCME’s capability to effectively fuse complementary modality features, particularly in complex and noisy settings, leading to superior performance across all evaluation scenarios.
Discussion
In the discussion section of the research paper, the authors explore advancements in Knowledge Graph Completion (KGC) and the integration of multimodal data to enhance model performance. Traditional KGC methods, primarily based on knowledge graph embedding (KGE), utilize various scoring functions to evaluate the validity of triples within knowledge graphs. These methods are categorized into translation-based approaches, such as TransE and RotatE, and semantic matching methods like DistMult and ComplEx. The authors highlight the emergence of multimodal knowledge graph completion (MMKGC) techniques that incorporate diverse data types—visual, textual, and numerical—to enrich entity representations. However, existing MMKGC approaches often neglect the significance of modality complementarity, which can improve robustness and generalization in multimodal tasks.
The authors propose a Complementarity-guided Modality Knowledge Fusion (CMKF) framework that explicitly models both intra-modality and inter-modality complementarity to enhance entity representation learning. This framework employs pre-trained encoders for visual and textual modalities, integrates structural information as an additional modality, and utilizes a mixture-of-experts design to capture fine-grained variations within modalities. The mutual information between different views is leveraged to assess and promote the diversity of features during fusion, thereby reducing redundancy. Furthermore, the authors introduce an entropy-based negative sampling strategy that categorizes negative samples based on their informativeness, allowing the model to focus on more challenging examples during training. Overall, the proposed CMKF framework aims to improve the performance of MMKGC by effectively utilizing the complementary nature of multimodal data while addressing challenges such as noise and incomplete modality coverage.