DOI: https://doi.org/10.1016/j.neucom.2026.133017
تاريخ النشر: 2026-02-12
المؤلف: Zhiwei Hu وآخرون
الموضوع الرئيسي: تطبيقات تعلم الآلة متعددة الوسائط
نظرة عامة
يقدم هذا القسم نظرة عامة على إطار العمل للتفاعل متعدد الحبوب لتوافق الكيانات متعددة الوسائط (MIMEA)، والذي يتناول التحديات المتعلقة بتوافق أزواج الكيانات المعادلة عبر رسومات المعرفة متعددة الوسائط المتنوعة (MMKGs). تركز الطرق الحالية بشكل أساسي على ترميز وتجميع المعلومات من وسائط مختلفة، لكنها تواجه صعوبة مع التباين الفطري بين الوسائط. يقدم MIMEA نهجًا منظمًا يتكون من أربعة وحدات رئيسية: (i) وحدة تضمين المعرفة متعددة الوسائط لاستخراج تمثيلات محددة للوسائط؛ (ii) وحدة دمج الوسائط الموجهة بالاحتمالية التي تدمج التمثيلات الأحادية الوسائط في تضمينات مشتركة الوسائط مع الأخذ في الاعتبار تفاعلاتها؛ (iii) وحدة توافق الوسائط من خلال النقل الأمثل التي تسهل التفاعل بين التضمينات الأحادية الوسائط والتضمينات المشتركة الوسائط من خلال آليات النقل الأمثل؛ و (iv) وحدة التعلم التبايني التكيفية للوسائط التي تميز بين تضمينات الكيانات المعادلة وغير المعادلة عبر الوسائط.
تشير النتائج التجريبية على مجموعتين من البيانات في العالم الحقيقي إلى أن MIMEA يتفوق على الطرق الحديثة (SoTA) في مهام توافق الكيانات متعددة الوسائط. تم توفير مجموعات البيانات والرمز المستخدم في التجارب كمواد إضافية. تؤكد الخاتمة على فعالية MIMEA في الاستفادة من المعرفة متعددة الوسائط لتوافق الكيانات وتلمح إلى العمل المستقبلي المحتمل لتعزيز قدراته بشكل أكبر.
مقدمة
تناقش مقدمة ورقة البحث أهمية رسومات المعرفة (KGs) وتوسعاتها، وبشكل خاص رسومات المعرفة متعددة الوسائط (MMKGs)، التي تتضمن أنواعًا متنوعة من المعلومات، بما في ذلك البيانات المرئية. على الرغم من تقدمها، تواجه كل من KGs التقليدية وMMKGs تحديات تتعلق بعدم الاكتمال وانخفاض التغطية، مما يستلزم دمج MMKGs التي تم تطويرها بشكل مستقل. جانب حاسم من هذا الدمج هو توافق الكيانات متعددة الوسائط (MMEA)، الذي يركز على تحديد الكيانات المعادلة عبر MMKGs المختلفة من خلال الاستفادة من المعلومات الهيكلية والسمات والمعلومات المرئية.
تشير النتائج الرئيسية إلى أن الطريقة المقترحة، MIMEA، تتفوق بشكل كبير على الأسس الحالية الحديثة (SoTA) في مهام توافق الكيانات متعددة الوسائط. تظهر النتائج التجريبية أن MIMEA تحقق تحسينات ملحوظة في متوسط الترتيب العكسي (MRR) على مجموعات بيانات مثل FB15K-YAGO15K وFB15K-DB15K، مع تحسينات تصل إلى 8.9% في الإعدادات غير التكرارية. علاوة على ذلك، فإن تنفيذ استراتيجية تدريب تكرارية يعزز أداء النموذج، مما يؤدي إلى تقلبات في تحسينات MRR تصل إلى 10% اعتمادًا على عدد البذور المتوافقة مسبقًا المستخدمة. يُعزى هذا التحسين إلى حد كبير إلى التوليد التكراري لأزواج توافق الكيانات الزائفة، مما يساعد على تحسين دقة مطابقة الكيانات.
طرق
في هذا القسم، يوضح المؤلفون المنهجيات المستخدمة لتقييم نموذج MIMEA باستخدام مجموعتين بارزتين من البيانات: FB15K-DB15K وFB15K-YAGO15K، اللتين تتكونان من 12,846 و11,199 زوج توافق، على التوالي. تم تقسيم مجموعات البيانات إلى مجموعات تدريب واختبار بنسب متفاوتة (20%، 50%، و80%) من الأزواج المتوافقة مسبقًا التي تعمل كبذور توافق. تم استخدام نهج تدريب تكراري، يتضمن استراتيجية اختبار حيث يتم تخزين أزواج الكيانات التي تتوافق بشكل وثيق في مساحة التضمين عبر رسومات المعرفة المختلفة مؤقتًا في مخزن. في كل تكرار \( R \)، تتم إضافة الأزواج التي تلبي معايير المسافة المحددة إلى المخزن، وإذا ظلت بعد \( M \) تكرارات، يتم دمجها في مجموعة التدريب، مما يزيد فعليًا من البيانات مع تسميات زائفة.
تقوم الدراسة بمقارنة استراتيجيتين للتدريب: التدريب غير التكراري والتدريب التكراري، كل منهما مع أسس مميزة. بالنسبة للتدريب غير التكراري، تم استخدام عدة نماذج مثل PoE وHMEA وMMEA، بينما استخدم التدريب التكراري نماذج مثل EVA وMEAformer. بالإضافة إلى ذلك، تم فحص تأثير وظائف توزيع الاحتمالات المختلفة داخل وحدة PMF. أظهرت النتائج أن استبدال دالة Beta ببدائل مثل Cauchy أو Gamma كان له تأثيرات ضئيلة على أداء MIMEA، مما يشير إلى متانة وحدة PMF، حيث تقاربت معاملات الوزن المستمدة من توزيعات مختلفة بشكل مشابه بعد تحديثات التدرج. تم تقديم مزيد من تفاصيل التنفيذ ومقاييس التقييم في الملاحق.
نقاش
في هذا القسم، يناقش المؤلفون قيود الطرق الحالية لتوافق الكيانات متعددة الوسائط (MMEA) ويقدمون إطارهم المقترح، MIMEA (التفاعل متعدد الحبوب لتوافق الكيانات متعددة الوسائط). يحددون عيبين رئيسيين في الأساليب الحالية: (1) تميز الوسائط، حيث تفشل الطرق الحالية في التمييز بشكل كافٍ بين أهمية الوسائط المختلفة، وخاصة المعرفة الهيكلية، التي ثبت أنها الأكثر إفادة؛ و (2) تنوع تفاعل الوسائط، حيث يتم غالبًا تجاهل التفاعل بين التضمينات الأحادية الوسائط والتضمينات المشتركة الوسائط، مما يحد من ثراء تفاعلات الوسائط. لمعالجة هذه القضايا، يتضمن MIMEA أربع وحدات رئيسية: وحدة تضمين المعرفة متعددة الوسائط للحصول على تمثيلات محددة للوسائط، وحدة دمج الوسائط الموجهة بالاحتمالية التي تركز على المعرفة الهيكلية، وحدة توافق الوسائط من خلال النقل الأمثل لتعزيز التفاعلات بين التضمينات الأحادية الوسائط والتضمينات المشتركة الوسائط، ووحدة التعلم التبايني التكيفية للوسائط لتحسين العلاقات داخل الوسائط.
يؤكد المؤلفون أن MIMEA لا يعزز فقط دمج المعرفة متعددة الوسائط، بل يضمن أيضًا أن الكيانات المتوافقة قريبة دلاليًا من خلال الاستفادة من كل من التفاعلات داخل الوسائط وبين الوسائط. يقدمون نتائج تجريبية شاملة توضح الأداء القوي للإطار على مجموعات البيانات في العالم الحقيقي، مما يبرز فعاليته في معالجة تحديات MMEA. بشكل عام، يمثل MIMEA تقدمًا كبيرًا في هذا المجال من خلال اقتراح نهج شامل يلتقط تعقيدات تمثيل المعرفة متعددة الوسائط وتوافقها.
DOI: https://doi.org/10.1016/j.neucom.2026.133017
Publication Date: 2026-02-12
Author(s): Zhiwei Hu et al.
Primary Topic: Multimodal Machine Learning Applications
Overview
The section presents an overview of the Multi-Grained Interaction framework for Multi-Modal Entity Alignment (MIMEA), which addresses the challenges of aligning equivalent entity pairs across diverse multi-modal knowledge graphs (MMKGs). Existing methods primarily focus on encoding and aggregating information from various modalities, but they struggle with the inherent modal heterogeneity. MIMEA introduces a structured approach comprising four key modules: (i) a Multi-modal Knowledge Embedding module for extracting modality-specific representations; (ii) a Probability-guided Modal Fusion module that integrates uni-modal representations into joint-modal embeddings while accounting for their interactions; (iii) an Optimal Transport Modal Alignment module that facilitates interaction between uni-modal and joint-modal embeddings through optimal transport mechanisms; and (iv) a Modal-adaptive Contrastive Learning module that differentiates between equivalent and non-equivalent entity embeddings across modalities.
The experimental results on two real-world datasets indicate that MIMEA outperforms state-of-the-art (SoTA) methods in multi-modal entity alignment tasks. The datasets and code used for the experiments have been made available as supplementary materials. The conclusion emphasizes the effectiveness of MIMEA in leveraging multi-modal knowledge for entity alignment and hints at potential future work to further enhance its capabilities.
Introduction
The introduction of the research paper discusses the significance of Knowledge Graphs (KGs) and their extensions, specifically Multi-modal Knowledge Graphs (MMKGs), which incorporate diverse types of information, including visual data. Despite their advancements, both traditional KGs and MMKGs face challenges related to incompleteness and low coverage, necessitating the integration of independently developed MMKGs. A critical aspect of this integration is Multi-modal Entity Alignment (MMEA), which focuses on identifying equivalent entities across different MMKGs by leveraging structural, attribute, and visual information.
The main findings indicate that the proposed method, MIMEA, significantly outperforms existing state-of-the-art (SoTA) baselines in multi-modal entity alignment tasks. Experimental results demonstrate that MIMEA achieves notable improvements in Mean Reciprocal Rank (MRR) on datasets such as FB15K-YAGO15K and FB15K-DB15K, with enhancements of up to 8.9% in non-iterative settings. Furthermore, the implementation of an iterative training strategy enhances model performance, yielding fluctuations in MRR improvements of up to 10% depending on the number of pre-aligned seeds used. This improvement is largely attributed to the iterative generation of pseudo-entity alignment pairs, which helps refine the accuracy of entity matching.
Methods
In this section, the authors detail the methodologies employed to evaluate the MIMEA model using two prominent datasets: FB15K-DB15K and FB15K-YAGO15K, which consist of 12,846 and 11,199 alignment pairs, respectively. The datasets were divided into training and testing sets with varying proportions (20%, 50%, and 80%) of pre-aligned pairs serving as alignment seeds. An iterative training approach was utilized, incorporating a probation strategy where a buffer temporarily stores entity pairs that are closely aligned in the embedding space across different knowledge graphs. In each iteration \( R \), pairs meeting specific distance criteria are added to the buffer, and if they remain after \( M \) iterations, they are incorporated into the training set, effectively augmenting the data with pseudo-labels.
The study compares two training strategies: non-iterative and iterative training, each with distinct baselines. For non-iterative training, several models such as PoE, HMEA, and MMEA were employed, while iterative training utilized models like EVA and MEAformer. Additionally, the impact of various probability distribution functions within the PMF module was examined. The results indicated that substituting the Beta function with alternatives such as Cauchy or Gamma had minimal effects on MIMEA’s performance, suggesting the robustness of the PMF module, as the weight coefficients derived from different distributions converged similarly after gradient updates. Further implementation details and evaluation metrics are provided in the appendices.
Discussion
In this section, the authors discuss the limitations of existing methods for Multi-Modal Entity Alignment (MMEA) and introduce their proposed framework, MIMEA (Multi-Grained Interaction for Multi-Modal Entity Alignment). They identify two primary shortcomings in current approaches: (1) Modality Distinctiveness, where existing methods fail to adequately differentiate the importance of various modalities, particularly structural knowledge, which is shown to be the most informative; and (2) Modality Interaction Diversity, where the interaction between uni-modal and joint-modal embeddings is often overlooked, limiting the richness of modality interactions. To address these issues, MIMEA incorporates four key modules: a Multi-modal Knowledge Embedding module for obtaining modality-specific representations, a Probability-guided Modal Fusion module that emphasizes structural knowledge, an Optimal Transport Modal Alignment module to enhance interactions between uni-modal and joint-modal embeddings, and a Modal-adaptive Contrastive Learning module to refine intra-modal relationships.
The authors emphasize that MIMEA not only enhances the integration of multi-modal knowledge but also ensures that aligned entities are semantically close by leveraging both intra-modal and inter-modal interactions. They present extensive experimental results demonstrating the framework’s strong performance on real-world datasets, highlighting its effectiveness in addressing the challenges of MMEA. Overall, MIMEA represents a significant advancement in the field by proposing a comprehensive approach that captures the complexities of multi-modal knowledge representation and alignment.