DOI: https://doi.org/10.1109/tmm.2026.3673527
تاريخ النشر: 2026-01-01
المؤلف: Ke Shi وآخرون
الموضوع الرئيسي: أنظمة وتقنيات التوصية
نظرة عامة
تناقش هذه القسم تطوير SRGFormer، وهو نظام توصية متعدد الوسائط مصمم لتحسين توقع سلوك شراء المستخدم من خلال دمج أنواع البيانات المختلفة بشكل فعال، مثل الصور والنصوص. غالبًا ما تتجاهل النماذج التقليدية التمييز بين المعلومات الزائدة والقيمة وتعتمد على إطار دلالي واحد، مما يمكن أن يؤدي إلى تمثيلات متحيزة لتفضيلات المستخدم، خاصة بالنسبة للاهتمامات التي يتم التعبير عنها بشكل أقل تكرارًا. بالإضافة إلى ذلك، تكافح هذه النماذج لالتقاط التفاعلات المعقدة بين المستخدمين والعناصر، مما يحد من فعاليتها لمجموعات المستخدمين المتنوعة.
للتغلب على هذه القيود، يستخدم SRGFormer بنية محول معدلة تعزز دمج البيانات متعددة الوسائط من خلال هيكل هايبرغراف، مما يسهل تعلم العلاقات المحلية بين المستخدمين والعناصر. كما يتضمن النموذج مهام ذاتية الإشراف لدمج المعلومات متعددة الوسائط بشكل أفضل، مما يكشف عن الميزات التمثيلية الكامنة. تظهر النتائج التجريبية أن SRGFormer يتفوق على النماذج المرجعية الحالية، محققًا تحسينًا متوسطًا في الأداء بنسبة 4.47% على مجموعة بيانات الرياضة. تؤكد الخاتمة على قدرة النموذج على تحسين هياكل المستخدمين وتعزيز التصفية التعاونية من خلال آلية انتباه متعددة الرؤوس تعتمد على المحول، مع خطط للبحث المستقبلي تركز على استكشاف متغيرات انتباه إضافية لتحسين أداء التوصية بشكل أكبر.
مقدمة
تناقش مقدمة الورقة تطور أنظمة التوصية استجابةً للزيادة في حجم البيانات عبر الإنترنت. في البداية، اعتمدت هذه الأنظمة على التصفية التعاونية (CF)، وواجهت تحديات مثل سجلات التفاعل النادرة ومشكلة البداية الباردة، مما أعاق دقة التوقع. للتخفيف من هذه القضايا، بدأ الباحثون في دمج البيانات متعددة الوسائط—مثل النصوص والصور وتعليقات المستخدمين—في أطر التوصية. أدى هذا التحول إلى تطوير أنظمة توصية متعددة الوسائط تعزز التعرف على أنماط سلوك المستخدم من خلال دمج التفاعلات التقليدية بين المستخدمين والعناصر مع أنماط معلومات متنوعة.
يقدم المؤلفون إطارهم المقترح، SRGFormer، الذي يستخدم التعلم الذاتي الإشراف والهايبرغرافات لالتقاط العلاقات الهيكلية بين المستخدمين والعناصر بشكل أكثر فعالية. يتكون النموذج من ثلاثة وحدات أساسية: التفاعل والنمذجة متعددة الوسائط، التفاعل والنمذجة للمعلومات الهيكلية، والدمج والتوقع. من خلال استخدام آليات الانتباه والمهام ذاتية الإشراف، يهدف SRGFormer إلى تحسين تفضيلات المستخدمين وزيادة دقة التوقع. تظهر النتائج التجريبية أن SRGFormer يتفوق على النماذج الأساسية، محققًا تحسينات ملحوظة في مقاييس الاسترجاع وNDCG عبر مجموعات بيانات متعددة. توضح الورقة مساهماتها، مؤكدة على أهمية المعلومات الهيكلية في تعزيز أنظمة التوصية وتحديد الأساس للأقسام اللاحقة التي تتناول الأعمال ذات الصلة وتعقيدات النموذج والتحليلات التجريبية.
الطرق
في هذا القسم، يحدد المؤلفون الإعدادات التجريبية لدراستهم حول أنظمة التوصية متعددة الوسائط. يستخدمون ثلاث مجموعات بيانات عامة من أمازون—الأطفال، الرياضة، والملابس—كل منها يحتوي على تفاعلات المستخدمين والعناصر وبيانات محددة عن العناصر. تم إثراء مجموعات البيانات بميزات بصرية خام ذات أبعاد 4096 وميزات نصية خام ذات أبعاد 384، كما تم الإشارة إليها من الأبحاث السابقة. يقدم المؤلفون إحصائيات مفصلة في الجدول II.
للتقييم، يتم تقسيم التفاعلات التاريخية داخل كل مجموعة بيانات إلى مجموعات تدريب، تحقق، واختبار، وفقًا لتقسيم 8:1:1. يتم قياس فعالية أنظمة التوصية الأعلى باستخدام مقياسين: الاسترجاع ($R@n$) والربح التراكمي المخصوم المنظم ($N@n$)، مع تغير $n$ بين 10 و20. يتم حساب الأداء المتوسط عبر جميع المستخدمين في مجموعة الاختبار. للتحقق من نموذجهم المقترح، يقوم المؤلفون بإجراء تحليل مقارن ضد عدة نماذج توصية معروفة، مصنفة إلى أربع مجموعات: قائمة على التصفية التعاونية (CF-based)، قائمة على الرسوم البيانية، قائمة على الهايبرغرافات، ونماذج التوصية متعددة الوسائط.
المناقشة
تسلط قسم المناقشة في ورقة البحث الضوء على تطور وتحديات أنظمة التوصية التقليدية، خاصة في معالجة ندرة البيانات ومشاكل البداية الباردة. تعتمد الطرق التقليدية بشكل أساسي على تفاعلات المستخدمين والعناصر، والتي غالبًا ما تفشل في التقاط تفضيلات المستخدم المعقدة بسبب القيود في البيانات المتاحة. للتغلب على هذه التحديات، تم دمج المعلومات متعددة الوسائط مؤخرًا في أنظمة التوصية. تستخدم نماذج بارزة مثل DualGNN وVBPR وAMR أنماطًا متعددة، بما في ذلك البيانات المرئية والنصية، لتعزيز نمذجة تفضيلات المستخدم. تعمل تقنيات مثل التعلم الذاتي الإشراف، كما هو موضح في MMSSL، على تحسين استكشاف علاقات المستخدمين والعناصر من خلال معالجة اعتماد التسمية وبيانات السلوك النادرة.
بالإضافة إلى ذلك، يناقش القسم تنفيذ آليات الانتباه في أنظمة التوصية متعددة الوسائط (MMRec)، والتي تسمح بفهم دقيق لتفضيلات المستخدم عبر عناصر مختلفة. تستفيد نماذج مثل GFormer وMARIO من أوزان الانتباه للتكيف ديناميكيًا مع تفاعلات المستخدم، مما يعزز الأداء التنبؤي. ومع ذلك، تشير الورقة إلى أن الطرق الحالية لا تزال تفتقر إلى تقييمات شاملة للتفاعلات الفردية، مما يشير إلى الحاجة لاستكشاف أعمق لآليات الانتباه. بشكل عام، يمثل دمج البيانات متعددة الوسائط وآليات الانتباه خطوة كبيرة إلى الأمام في تطوير أنظمة توصية أكثر قوة وكفاءة.
DOI: https://doi.org/10.1109/tmm.2026.3673527
Publication Date: 2026-01-01
Author(s): Ke Shi et al.
Primary Topic: Recommender Systems and Techniques
Overview
The section discusses the development of SRGFormer, a multimodal recommendation system designed to improve the prediction of user purchasing behavior by effectively integrating various data types, such as images and text. Traditional models often overlook the distinction between redundant and valuable information and rely on a single semantic framework, which can lead to biased representations of user preferences, particularly for less frequently expressed interests. Additionally, these models struggle to capture the complex interactions between users and items, limiting their effectiveness for diverse user groups.
To overcome these limitations, SRGFormer employs a modified transformer architecture that enhances the integration of multimodal data through a hypergraph structure, facilitating the learning of local user-item relationships. The model also incorporates self-supervised tasks to better integrate multimodal information, revealing inherent representational features. Experimental results demonstrate that SRGFormer outperforms existing benchmark models, achieving an average performance improvement of 4.47% on the Sports dataset. The conclusion emphasizes the model’s ability to refine user structures and enhance collaborative filtering through a transformer-based multi-head attention mechanism, with plans for future research focusing on exploring additional attention variants to further improve recommendation performance.
Introduction
The introduction of the paper discusses the evolution of recommendation systems in response to the increasing volume of online data. Initially reliant on collaborative filtering (CF), these systems faced challenges such as sparse interaction records and the cold start problem, which hindered prediction accuracy. To mitigate these issues, researchers have begun integrating multimodal data—such as text, images, and user comments—into recommendation frameworks. This shift has led to the development of multimodal recommendation systems that enhance user behavior pattern recognition by combining traditional user-item interactions with diverse information modalities.
The authors introduce their proposed framework, SRGFormer, which utilizes self-supervised learning and hypergraphs to capture the structural relationships between users and items more effectively. The model comprises three core modules: multimodal interaction and modeling, structural information interaction and modeling, and fusion and prediction. By employing attention mechanisms and self-supervised tasks, SRGFormer aims to refine user preferences and improve prediction accuracy. Experimental results demonstrate that SRGFormer outperforms baseline models, achieving notable improvements in recall and NDCG metrics across multiple datasets. The paper outlines its contributions, emphasizing the importance of structural information in enhancing recommendation systems and setting the stage for subsequent sections that delve into related work, model intricacies, and experimental analyses.
Methods
In this section, the authors outline the experimental settings for their study on multimedia recommendation systems. They utilize three public Amazon datasets—Baby, Sports, and Clothing—each containing user-item interactions and item-specific data. The datasets are enriched with 4096-dimensional raw visual features and 384-dimensional raw textual features, as referenced from prior research. The authors provide detailed statistics in Table II.
For evaluation, the historical interactions within each dataset are partitioned into training, validation, and testing sets, following an 8:1:1 split. The effectiveness of the top-n recommendation systems is measured using two metrics: Recall ($R@n$) and Normalized Discounted Cumulative Gain ($N@n$), with $n$ varying between 10 and 20. The average performance is computed across all users in the test set. To validate their proposed model, the authors conduct a comparative analysis against several established recommendation models, categorized into four groups: collaborative filtering-based (CF-based), graph-based, hypergraph-based, and multimodal-based recommendation models.
Discussion
The discussion section of the research paper highlights the evolution and challenges of traditional recommendation systems, particularly in addressing data sparsity and cold start issues. Traditional methods primarily rely on user-item interactions, which often fail to capture complex user preferences due to limitations in available data. To overcome these challenges, recent advancements have integrated multimodal information into recommendation systems. Notable models such as DualGNN, VBPR, and AMR utilize various modalities, including visual and textual data, to enhance user preference modeling. Techniques like self-supervised learning, as seen in MMSSL, further improve the exploration of user-item relationships by addressing label dependency and sparse behavior data.
Additionally, the section discusses the implementation of attention mechanisms in multimodal recommendation (MMRec) systems, which allow for a nuanced understanding of user preferences across different items. Models like GFormer and MARIO leverage attention weights to dynamically adjust to user interactions, enhancing predictive performance. However, the paper notes that existing methods still lack comprehensive evaluations of individual interactions, indicating a need for deeper exploration of attention mechanisms. Overall, the integration of multimodal data and attention mechanisms represents a significant step forward in developing more robust and efficient recommendation systems.