DOI: https://doi.org/10.1109/tpami.2026.3675685
PMID: https://pubmed.ncbi.nlm.nih.gov/41855053
تاريخ النشر: 2026-03-19
المؤلف: Xiaohao Liu وآخرون
الموضوع الرئيسي: تطبيقات تعلم الآلة متعددة الوسائط
نظرة عامة
يتناول هذا القسم التقدم في تعلم التمثيل متعدد الوسائط، الذي يهدف إلى إنشاء مساحة تمثيل موحدة من خلال دمج أنماط البيانات المختلفة لفهم أفضل. تستخدم الأساليب التقليدية عادة التعلم التبايني الثنائي مع نمط مرجعي ثابت، مما يؤدي إلى قيود في المحاذاة عبر جميع الأنماط. استكشفت الأبحاث الحديثة المحاذاة المتزامنة، لكن التحديات مثل الاعتماد على المرجع وعدم الاستقرار الناتج عن تحسين منتجات القيم الفردية لا تزال قائمة.
للتغلب على هذه المشكلات، يقدم المؤلفون إطار عمل تعلم التمثيل متعدد الوسائط المبدئي (PMRL)، الذي يسهل المحاذاة المتزامنة لعدة أنماط دون الاعتماد على المراجع. يعتمد الإطار على الفرضية النظرية التي تفيد بأن المحاذاة الكاملة تتوافق مع مصفوفة غرام من الرتبة 1، مما يحسن القيمة الفردية السائدة لمصفوفة التمثيل لمحاذاة الأنماط على طول اتجاه مشترك. تم اقتراح دالة خسارة تعتمد على softmax لإعطاء الأولوية لأكبر قيمة فردية، بينما يضمن التنظيم التبايني على المتجهات الذاتية الرائدة قابلية الفصل بين الحالات ويمنع انهيار التمثيل. تشير النتائج التجريبية إلى أن PMRL يتفوق على الأساليب الأساسية الحالية عبر مهام متنوعة، مع توفر الشيفرة المصدرية على https://github.com/Xiaohao-Liu/PMRL.
مقدمة
تناقش مقدمة ورقة البحث مفهوم تعلم التمثيل متعدد الوسائط (MRL)، الذي يهدف إلى دمج أنماط الحواس المختلفة—مثل المعلومات البصرية والسمعية والنصية واللمسية—في تمثيل متماسك. يسمح هذا الدمج بالاسترجاع الفعال وإعادة بناء التمثيلات المقابلة عبر أنماط مختلفة. تسلط الورقة الضوء على أهمية المحاذاة الثنائية، التي غالبًا ما تتحقق من خلال التعلم التبايني، وتقدم طرق ربط الأنماط مثل ImageBind، التي تستخدم التعلم التبايني الثنائي لمحاذاة الأنماط حول مرجع معين.
يقيم قسم النتائج الرئيسية أداء طريقة PMRL (تعلم التمثيل متعدد الوسائط المقترح) مقابل الأساليب الأساسية الموجودة في مهام مثل الاسترجاع عبر الأنماط وتصنيف الصوت والصورة. من الجدير بالذكر أن PMRL يظهر تحسينات كبيرة في استرجاع النص إلى الصوت متعدد الوسائط، محققًا زيادة تصل إلى 7.6% في الأداء مقارنة بـ VAST ويتفوق على GRAM في إعدادات متنوعة. تشير النتائج إلى أن نهج التعلم المبدئي لـ PMRL يعزز المحاذاة متعددة الوسائط، كما يتضح من المكاسب الكبيرة في مقاييس الاسترجاع عبر مجموعات بيانات متعددة. ومع ذلك، يُلاحظ أن PMRL وGRAM يعانيان من أداء أقل مقارنة بـ VAST على مجموعات بيانات أنظف مثل MSR-VTT، مما يشير إلى أن الأساليب المتخصصة قد تتفوق في سياقات معينة. تم تقديم تحليل إضافي، بما في ذلك دراسات الإزالة، لتعميق الفهم حول قدرات PMRL.
الطرق
في هذا القسم، يصف المؤلفون المنهجيات المستخدمة في بحثهم، مع التركيز على مجموعات البيانات، ومقارنات الأساس، وهندسة النموذج، والمعلمات الفائقة. مجموعة البيانات الرئيسية المستخدمة في التدريب متعدد الوسائط هي VAST-150K، التي تشمل أنماط الرؤية والصوت والترجمة والنص. لتقييمات التدفق اللاحق، يتم استخدام مجموعات بيانات متنوعة مثل MSR-VTT وDiDeMo وActivityNet وVATEX لاسترجاع النص والفيديو، بينما يتم استخدام AudioCaps وClotho لاسترجاع النص والصوت. بالإضافة إلى ذلك، يتم دمج مجموعة بيانات ABIDE لاستكشاف قابلية تطبيق الطريقة في تصنيف التوحد عبر أنماط fMRI وsMRI والنص. تم بناء نموذج PMRL على VAST ويستخدم استراتيجية تدريب مستمرة لتعزيز قدراته في عدم وجود بيانات.
يجري المؤلفون مقارنات شاملة ضد عدة أساليب أساسية، بما في ذلك GRAM، الذي يُعتبر الطريقة الأكثر تقدمًا. تركز التقييمات على إعدادات عدم وجود بيانات، حيث يتم قياس الأداء باستخدام Recall@1 (R@1) لمهام الاسترجاع متعدد الوسائط. تشير النتائج إلى أن PMRL يتفوق على GRAM والأساليب الأساسية الأخرى عبر مجموعات بيانات متنوعة، مما يظهر تحسينات كبيرة في مقاييس الاسترجاع. تتكون هندسة النموذج من مشفرات لأنماط الرؤية والصوت والنص، مع تنفيذات محددة لكل نوع. يتم توحيد المعلمات الفائقة، مع معدل تعلم قدره $2 \times 10^{-5}$ وحجم دفعة قدره 64، وتُجرى التجارب على إعداد GPU عالي الأداء. يتم تقديم معلومات مفصلة حول المعلمات الفائقة وهندسات النماذج في الملاحق لضمان إمكانية إعادة الإنتاج.
المناقشة
في هذا القسم، يقدم المؤلفون تعلم التمثيل متعدد الوسائط المبدئي (PMRL)، وهو إطار عمل جديد مصمم لتعزيز محاذاة التمثيلات متعددة الوسائط دون الاعتماد على أنماط مرجعية محددة مسبقًا. يستند الإطار إلى الاتصال النظري بين القيم الفردية للتمثيلات متعددة الوسائط ومحاذاتها الكاملة، تحديدًا من خلال تقريب الرتبة 1 لمصفوفة غرام. يقترح المؤلفون هدف تعلم يعظم القيمة الفردية القصوى، مما يعزز المحاذاة القوية عبر الأنماط. لا تعمل هذه الطريقة فقط على استقرار عملية التعلم مقارنة بالأساليب السابقة المعتمدة على الحجم، بل تسهل أيضًا استراتيجية محاذاة أكثر مرونة تتكيف مع البيانات نفسها.
يتضمن إطار PMRL تنظيمًا تباينيًا على مستوى الحالة لضمان قابلية الفصل بين الحالات ومنع انهيار التمثيل. تظهر التجارب الواسعة أداءً متفوقًا لـ PMRL عبر مهام متنوعة، بما في ذلك استرجاع النص والفيديو واسترجاع النص والصوت، بالإضافة إلى مهام التصنيف اللاحقة. يبرز المؤلفون قوة PMRL ضد الضوضاء وإمكانية تطبيقه في مجالات متنوعة، مثل التشخيص الطبي لتصنيف التوحد. بشكل عام، تؤكد النتائج فعالية PMRL في تعزيز التعلم متعدد الوسائط من خلال تعزيز محاذاة أكثر شمولية واستقرارًا للتمثيلات البيانية المتنوعة.
القيود
يسلط قسم القيود الضوء على القيود التي تواجه إطار عمل PMRL (تعلم التمثيل متعدد الوسائط الاحتمالي) في تطويره وتطبيقه. يلاحظ بشكل خاص أن التغييرات الأخيرة في سياسات يوتيوب بشأن تنزيل الفيديوهات أعاقت جمع مجموعات بيانات متعددة الوسائط واسعة النطاق وعالية الجودة، والتي تعتبر ضرورية لتحسين أداء PMRL. نتيجة لذلك، يعتمد PMRL على التدريب المستمر مع النماذج المدربة مسبقًا لتعويض نقص البيانات على نطاق واسع.
على الرغم من هذه التحديات، تؤكد النتائج التجريبية فعالية PMRL، مما يبرز صحة مبادئ تصميمه الأساسية. وهذا يشير إلى أنه على الرغم من أن قيود الموارد قد أثرت على نطاق البيانات المستخدمة، إلا أن الإطار لا يزال يظهر قدرات واعدة في المحاذاة متعددة الوسائط من خلال نهجه المبتكر في تحسين القيمة الفردية القصوى لمصفوفات غرام وضمان قابلية الفصل بين الحالات.
DOI: https://doi.org/10.1109/tpami.2026.3675685
PMID: https://pubmed.ncbi.nlm.nih.gov/41855053
Publication Date: 2026-03-19
Author(s): Xiaohao Liu et al.
Primary Topic: Multimodal Machine Learning Applications
Overview
The section discusses the advancements in multimodal representation learning, which aims to create a unified representation space by integrating various data modalities for enhanced understanding. Traditional approaches typically utilize pairwise contrastive learning with a fixed anchor modality, leading to limitations in alignment across all modalities. Recent research has explored simultaneous alignment, but challenges such as anchor dependency and instability from optimizing singular value products persist.
To overcome these issues, the authors introduce the Principled Multimodal Representation Learning (PMRL) framework, which facilitates simultaneous alignment of multiple modalities without relying on anchors. The framework is based on the theoretical premise that full alignment corresponds to a rank-1 Gram matrix, optimizing the dominant singular value of the representation matrix to align modalities along a common direction. A softmax-based loss function is proposed to prioritize the largest singular value, while instance-wise contrastive regularization on leading eigenvectors ensures inter-instance separability and prevents representation collapse. Experimental results indicate that PMRL outperforms existing baseline methods across various tasks, with the source code available at https://github.com/Xiaohao-Liu/PMRL.
Introduction
The introduction of the research paper discusses the concept of multimodal representation learning (MRL), which aims to integrate various sensory modalities—such as visual, auditory, textual, and tactile information—into a cohesive representation. This integration allows for effective retrieval and reconstruction of corresponding representations across different modalities. The paper highlights the significance of bimodal alignment, often achieved through contrastive learning, and introduces modality-binding methods like ImageBind, which utilize pairwise contrastive learning to align modalities around a designated anchor.
The main results section evaluates the performance of the proposed PMRL (Proposed Multimodal Representation Learning) method against existing baselines in tasks such as cross-modal retrieval and vision-audio classification. Notably, PMRL demonstrates substantial improvements in multimodal text-to-audio retrieval, achieving up to a 7.6% performance boost over VAST and outperforming GRAM in various settings. The findings suggest that PMRL’s principled learning approach enhances multimodal alignment, as evidenced by significant performance gains in retrieval metrics across multiple datasets. However, it is noted that PMRL and GRAM underperform compared to VAST on cleaner datasets like MSR-VTT, indicating that specialized methods may excel in certain contexts. Further analysis, including ablation studies, is provided to deepen insights into PMRL’s capabilities.
Methods
In this section, the authors describe the methodologies employed in their research, focusing on the datasets, baseline comparisons, model architecture, and hyperparameters. The primary dataset used for multimodal training is VAST-150K, which includes vision, audio, subtitle, and text modalities. For downstream evaluations, various datasets such as MSR-VTT, DiDeMo, ActivityNet, and VATEX are utilized for text-video retrieval, while AudioCaps and Clotho are used for text-audio retrieval. Additionally, the ABIDE dataset is incorporated to explore the method’s applicability in autism classification across fMRI, sMRI, and text modalities. The PMRL model is built on VAST and employs a continual pre-training strategy to enhance its zero-shot capabilities.
The authors conduct extensive comparisons against several baselines, including GRAM, which is noted as the state-of-the-art method. The evaluation focuses on zero-shot settings, measuring performance using Recall@1 (R@1) for multimodal retrieval tasks. Results indicate that PMRL outperforms GRAM and other baselines across various datasets, demonstrating significant improvements in retrieval metrics. The model architecture consists of encoders for vision, audio, and text modalities, with specific implementations for each type. Hyperparameters are standardized, with a learning rate of $2 \times 10^{-5}$ and a batch size of 64, and experiments are conducted on a high-performance GPU setup. Detailed information on hyperparameters and model architectures is provided in the appendices for reproducibility.
Discussion
In this section, the authors introduce Principled Multimodal Representation Learning (PMRL), a novel framework designed to enhance the alignment of multimodal representations without relying on predefined anchor modalities. The framework is grounded in the theoretical connection between the singular values of multimodal representations and their full alignment, specifically through rank-1 approximation of the Gram matrix. The authors propose a learning objective that maximizes the maximum singular value, thereby promoting strong alignment across modalities. This approach not only stabilizes the learning process compared to previous volume-based methods but also facilitates a more flexible alignment strategy that adapts to the data itself.
The PMRL framework incorporates instance-wise contrastive regularization to ensure inter-instance separability and prevent representation collapse. Extensive experiments demonstrate PMRL’s superior performance across various tasks, including text-video and text-audio retrieval, as well as downstream classification tasks. The authors highlight PMRL’s robustness against noise and its potential applicability in diverse fields, such as medical diagnostics for autism classification. Overall, the findings underscore the effectiveness of PMRL in advancing multimodal learning by fostering a more comprehensive and stable alignment of heterogeneous data representations.
Limitations
The section on limitations highlights the constraints faced by the PMRL (Probabilistic Multimodal Representation Learning) framework in its development and application. Specifically, it notes that recent changes in YouTube’s policies regarding video downloads hindered the collection of extensive, high-quality multimodal datasets, which are crucial for optimizing PMRL’s performance. As a result, PMRL relies on continual training with pre-trained models to compensate for the lack of large-scale data.
Despite these challenges, the experimental results affirm the effectiveness of PMRL, underscoring the validity of its core design principles. This suggests that while resource limitations have impacted the scope of data utilized, the framework still demonstrates promising capabilities in multimodal alignment through its innovative approach to optimizing the maximum singular value of Gram matrices and ensuring instance-wise separability.
