DualKanbaFormer: إطار فعال انتقائي نادر لتحليل المشاعر القائم على الجوانب متعددة الأنماط DualKanbaFormer: An Efficient Selective Sparse Framework for Multimodal Aspect-Based Sentiment Analysis

شارك:
المجلة: IEEE Transactions on Emerging Topics in Computational Intelligence، المجلد: 10، العدد: 4
DOI: https://doi.org/10.1109/tetci.2026.3671067
تاريخ النشر: 2026-03-16
المؤلف: Adamu Lawan وآخرون
الموضوع الرئيسي: تحليل المشاعر واستخراج الآراء

نظرة عامة

تقدم البحث DualKanbaFormer، وهو إطار مبتكر مصمم لتعزيز تحليل المشاعر القائم على الجوانب متعدد الوسائط (MABSA) من خلال دمج البيانات النصية والمرئية. تواجه آليات الانتباه التقليدية تحديات بسبب تعقيدها التربيعي، مما يحد من قدرتها على التقاط الاعتماديات السياقية العالمية والمعلومات الدلالية الغنية بشكل فعال. للتغلب على هذه القيود، يستخدم DualKanbaFormer وحدات KanbaFormer النصية والمرئية بالتوازي، مع دمج الانتباه المتناثر المدفوع بالجوانب (ADSA) لتحقيق توازن بين التجميع الخشن والاختيار الدقيق. يضمن ذلك الحفاظ على كل من السياق العالمي والدقة المحلية في تحليل التمثيلات النصية والمرئية. بالإضافة إلى ذلك، يستخدم الإطار نموذج الفضاء الحالة الانتقائي (Mamba) لالتقاط معلومات دلالية عالمية واسعة ويستبدل الشبكات التقليدية ذات التغذية الأمامية بشبكات Kolmogorov-Arnold (KANs) وDynamic Tanh (DyT) لتحسين التعبيرية غير الخطية واستقرار الاستدلال.

تشير النتائج إلى أن DualKanbaFormer يتفوق بشكل كبير على عدة نماذج رائدة في مهام MABSA، كما يتضح من خلال التجارب الشاملة على مجموعتين من البيانات المتاحة للجمهور. ومع ذلك، فإن فعالية الإطار تعتمد على اختيار الجوانب بدقة، والذي يمكن أن يتعرض للخطر بسبب المدخلات المزعجة أو الغامضة، مثل الجوانب المسمى بشكل خاطئ أو الصور ذات الجودة المنخفضة. تسلط هذه القيود الضوء على إمكانية تقليل دقة تحليل المشاعر في وجود مصطلحات جوانب غامضة أو ميزات بصرية محجوبة، مما يبرز الحاجة إلى جودة مدخلات قوية للحفاظ على أداء الإطار.

مقدمة

تناقش مقدمة ورقة البحث المجال الناشئ لتحليل المشاعر القائم على الجوانب متعدد الوسائط (MABSA)، الذي يركز على تحديد قطبية المشاعر لجوانب معينة ضمن بيانات متعددة الوسائط، بما في ذلك النصوص والصور. يعد هذا التحليل الدقيق ضروريًا لتطبيقات مثل تسويق المنتجات وتحليل ملاحظات العملاء. قامت الأعمال السابقة بدمج البيانات النصية والمرئية لتعزيز تقييم المشاعر، مع تقدم ملحوظ بما في ذلك شبكة الانتباه الحساسة للكيانات ودمج الشبكة (ESAFN)، والإطار المعزز بالمعرفة (KEF)، وشبكة مطابقة الهدف للصورة (ITM). وقد حسنت الابتكارات الحديثة، مثل إطار التدريب المسبق للغة الرؤية (VLP-MABSA) وشبكة الدمج متعددة الحبيبات مع التقطير الذاتي (MGFN-SD)، دقة تحليل المشاعر من خلال دمج آليات الانتباه المختلفة ومعالجة تحديات نمذجة الاعتماديات السياقية العالمية.

تقدم الورقة إطارًا جديدًا يسمى DualKanbaFormer، الذي يتميز بوحدات KanbaFormer النصية والمرئية بالتوازي المصممة لمعالجة البيانات النصية والمرئية مع التركيز على ميزات محددة للجوانب. تشمل المكونات الرئيسية لهذا الإطار Mamba، والانتباه المتناثر المدفوع بالجوانب (ADSA)، وشبكات Kolmogorov-Arnold (KANs)، وDynamic Tanh (DyT)، ودمج البوابة داخل الوضع. تعمل هذه المكونات معًا لتعزيز قدرة النموذج على التقاط الغنى الدلالي العالمي وتسهيل التفاعل الديناميكي بين الأوضاع، مما يحسن بشكل كبير فعالية مهام MABSA. يدعي المؤلفون أن DualKanbaFormer هو التطبيق الأول لنماذج الفضاء الحالة الانتقائي وآليات الانتباه المتناثر في هذا السياق، مما يضع نموذجًا جديدًا لفهم المشاعر متعددة الوسائط. تظهر النتائج التجريبية على مجموعات البيانات المرجعية أن DualKanbaFormer يتفوق باستمرار على الأساليب الرائدة الحالية، مما يبرز أدائه المتفوق في تحليل المشاعر المحددة للجوانب.

طرق

في قسم الطرق، يتم تقديم النتائج التجريبية لنموذج DualKanbaFormer المقترح، مما يظهر أدائه المتفوق على مجموعتين مرجعيتين من بيانات تويتر، Twitter-2015 وTwitter-2017، لمهام تحليل المشاعر القائم على الجوانب (ABSA) وتحليل المشاعر القائم على جوانب متعددة (MABSA). يتفوق DualKanbaFormer باستمرار على النماذج الرائدة الحالية (SOTA)، بما في ذلك AMIFN، محققًا درجات F1 ودقة أعلى، لا سيما في الإعدادات متعددة الوسائط حيث يعزز دمج البيانات المرئية الأداء. يتم تسليط الضوء على بنية النموذج، التي تستخدم مكون Mamba لالتقاط الغنى الدلالي العالمي وADSA لتحليل المشاعر المركز على الجوانب، كعامل رئيسي في فعاليته.

توضح دراسات الإزالة أيضًا مساهمات المكونات المختلفة داخل DualKanbaFormer. يؤدي إزالة مكون Mamba إلى انخفاض في الدقة بنسبة 1.34% و1.51%، مما يشير إلى أهميته في الالتقاط الدلالي. يؤدي استبعاد كتلة KanFormer إلى انخفاض في الأداء بنسبة 2.21% و2.95%، مما يبرز ضرورة ADSA للدقة المحددة للجوانب. بالإضافة إلى ذلك، يؤدي استبدال عناصر رئيسية مثل KANs بشبكة ذات تغذية أمامية (FFN) وDyT بتطبيع الطبقات إلى تقليل ملحوظ في درجات F1، مما يؤكد الأدوار الحرجة التي تلعبها هذه المكونات في الحفاظ على أداء النموذج. بشكل عام، تؤكد هذه النتائج تصميم الهيكل وتأثيرات التعاون بين مكوناته في تعزيز قدرات تحليل المشاعر.

مناقشة

تسلط قسم المناقشة في ورقة البحث الضوء على التقدم في تحليل المشاعر القائم على الجوانب (ABSA) وتحليل المشاعر القائم على الجوانب متعدد الوسائط (MABSA) من خلال دمج آليات الانتباه والنماذج المدربة مسبقًا. تشمل المساهمات الرئيسية تطوير نماذج مثل AE-LSTM، IAN، وMGAN، التي تستخدم الانتباه لتعزيز تحليل المشاعر من خلال التركيز على تفاعلات الجوانب والجمل وتنقيح دقة الانتباه. كانت مقدمة BERT علامة فارقة مهمة، حيث استغلت التمثيلات المدربة مسبقًا لتحديد معايير أداء جديدة. في MABSA، ظهرت نماذج أساسية مثل MIMN وTMSC، التي تدمج النص والبيانات المرئية لتحسين دقة المشاعر. ركزت الابتكارات الحديثة على تنقيح آليات الانتباه والمحاذاة عبر الأوضاع، مع نماذج مثل VLP-MABSA وITM التي تعزز مهام التدريب المسبق متعددة الوسائط.

يتم تقديم نموذج DualKanbaFormer المقترح كإطار جديد لـ MABSA، يجمع بين البيانات النصية والمرئية من خلال هيكل منظم يتكون من أربعة مكونات رئيسية: استخراج الميزات الأحادية الوضع، الانتباه متعدد التفاعل، DualKanbaFormer، ووحدات الدمج متعددة الوسائط ذات البوابة. يهدف النموذج إلى تحديد قطبية المشاعر المتعلقة بجوانب معينة ضمن المدخلات متعددة الوسائط، باستخدام تقنيات متقدمة مثل الانتباه المتناثر الهرمي ونمذجة الفضاء الحالة الانتقائي لالتقاط العلاقات المعقدة وتحسين دقة توقع المشاعر. تظهر النتائج التجريبية فعالية DualKanbaFormer، حيث يتفوق على النماذج الحالية على مجموعات البيانات المتاحة للجمهور، مع الاعتراف أيضًا بالقيود المتعلقة باختيار الجوانب وتأثير المدخلات المزعجة على دقة تحليل المشاعر.

Journal: IEEE Transactions on Emerging Topics in Computational Intelligence, Volume: 10, Issue: 4
DOI: https://doi.org/10.1109/tetci.2026.3671067
Publication Date: 2026-03-16
Author(s): Adamu Lawan et al.
Primary Topic: Sentiment Analysis and Opinion Mining

Overview

The research presents DualKanbaFormer, an innovative framework designed to enhance Multimodal Aspect-based Sentiment Analysis (MABSA) by integrating textual and visual data. Traditional attention mechanisms face challenges due to their quadratic complexity, which limits their ability to effectively capture global contextual dependencies and rich semantic information. To overcome these limitations, DualKanbaFormer employs parallel Textual and Visual KanbaFormer modules, incorporating Aspect-Driven Sparse Attention (ADSA) for a balanced approach between coarse-grained aggregation and fine-grained selection. This ensures that both global context and local precision are maintained in the analysis of textual and visual representations. Additionally, the framework utilizes the Selective State Space Model (Mamba) to capture extensive global semantic information and replaces conventional feed-forward networks with Kolmogorov-Arnold Networks (KANs) and Dynamic Tanh (DyT) to improve non-linear expressivity and inference stability.

The findings indicate that DualKanbaFormer significantly outperforms several state-of-the-art models in MABSA tasks, as demonstrated through comprehensive experiments on two publicly available datasets. However, the framework’s effectiveness is contingent upon precise aspect selection, which can be compromised by noisy or ambiguous inputs, such as mislabeled aspects or low-quality images. This limitation highlights the potential for reduced sentiment analysis accuracy in the presence of vague aspect terms or occluded visual features, underscoring the need for robust input quality to maintain the framework’s performance.

Introduction

The introduction of the research paper discusses the emerging field of Multimodal Aspect-Based Sentiment Analysis (MABSA), which focuses on determining sentiment polarity for specific aspects within multimodal data, including text and images. This fine-grained analysis is essential for applications such as product marketing and customer feedback analysis. Previous works have combined text and visual data to enhance sentiment evaluation, with notable advancements including the Entity-Sensitive Attention and Fusion Network (ESAFN), the Knowledge-enhanced Framework (KEF), and the Image-Target Matching network (ITM). Recent innovations, such as the Vision Language Pre-training framework (VLP-MABSA) and the Multi-Grained Fusion Network with Self-Distillation (MGFN-SD), have further improved the accuracy of sentiment analysis by integrating various attention mechanisms and addressing the challenges of modeling global context dependencies.

The paper introduces a novel framework called DualKanbaFormer, which features parallel Textual KanbaFormer and Visual KanbaFormer modules designed to process textual and visual data with a focus on aspect-specific features. Key components of this framework include Mamba, Aspect-Driven Sparse Attention (ADSA), Kolmogorov-Arnold Networks (KANs), Dynamic Tanh (DyT), and Intra-Modal Gated Fusion. These components work together to enhance the model’s ability to capture global semantic richness and facilitate dynamic inter-modality interaction, significantly improving the effectiveness of MABSA tasks. The authors claim that DualKanbaFormer is the first application of Selective State Space Models and sparse attention mechanisms in this context, establishing a new paradigm for multimodal sentiment understanding. Experimental results on benchmark datasets demonstrate that DualKanbaFormer consistently outperforms existing state-of-the-art methods, highlighting its superior performance in aspect-specific sentiment analysis.

Methods

In the Methods section, the experimental results for the proposed DualKanbaFormer model are presented, demonstrating its superior performance on two benchmark Twitter datasets, Twitter-2015 and Twitter-2017, for Aspect-Based Sentiment Analysis (ABSA) and Multi-Aspect-Based Sentiment Analysis (MABSA) tasks. The DualKanbaFormer consistently outperforms existing state-of-the-art (SOTA) models, including AMIFN, achieving higher F1 scores and accuracy, particularly in multimodal settings where the integration of visual data enhances performance. The model’s architecture, which utilizes the Mamba component for capturing global semantic richness and the Aspect-Dedicated Sentiment Analysis (ADSA) for precise aspect-focused representations, is highlighted as a key factor in its effectiveness.

Ablation studies further elucidate the contributions of various components within the DualKanbaFormer. Removing the Mamba component results in a decrease in accuracy by 1.34% and 1.51%, indicating its importance in semantic capture. The exclusion of the KanFormer block leads to a performance drop of 2.21% and 2.95%, emphasizing the necessity of ADSA for aspect-specific precision. Additionally, replacing key elements such as KANs with a feedforward network (FFN) and DyT with layer normalization results in notable reductions in F1 scores, confirming the critical roles these components play in maintaining the model’s performance. Overall, these findings validate the architecture’s design and the synergistic effects of its components in enhancing sentiment analysis capabilities.

Discussion

The discussion section of the research paper highlights the advancements in Aspect-based Sentiment Analysis (ABSA) and Multimodal Aspect-based Sentiment Analysis (MABSA) through the integration of attention mechanisms and pre-trained models. Key contributions include the development of models like AE-LSTM, IAN, and MGAN, which utilize attention to enhance sentiment analysis by focusing on aspect-sentence interactions and refining the granularity of attention. The introduction of BERT marked a significant milestone, leveraging pre-trained representations to set new performance benchmarks. In MABSA, foundational models such as MIMN and TMSC have emerged, integrating text and visual data to improve sentiment accuracy. Recent innovations have focused on refining attention mechanisms and cross-modal alignment, with models like VLP-MABSA and ITM enhancing multimodal pre-training tasks.

The proposed DualKanbaFormer model is presented as a novel framework for MABSA, integrating textual and visual data through a structured architecture comprising four main components: Unimodal Feature Extraction, Multi-Interactive Attention, DualKanbaFormer, and Multimodal Gated Fusion Modules. The model aims to determine sentiment polarity related to specific aspects within multimodal inputs, employing advanced techniques such as hierarchical sparse attention and selective state space modeling to capture complex relationships and improve sentiment prediction accuracy. Experimental results demonstrate the effectiveness of DualKanbaFormer, outperforming existing models on publicly available datasets, while also acknowledging limitations related to aspect selection and the impact of noisy inputs on sentiment analysis accuracy.