DOI: https://doi.org/10.1109/tmm.2026.3741632
تاريخ النشر: 2026-01-01
المؤلف: Pengteng Li وآخرون
الموضوع الرئيسي: تطبيقات تعلم الآلة متعددة الوسائط
نظرة عامة
تقدم البحث EVENTVL، وهو نموذج لغوي كبير متعدد الوسائط قائم على الأحداث يهدف إلى تعزيز الفهم الدلالي من تدفقات الأحداث. اعتمدت نماذج الرؤية واللغة التقليدية بشكل أساسي على CLIP لمهام الإدراك التقليدية، مما يحد من قدرتها على فهم الدلالات والسياق الكاملين المتأصلين في بيانات الأحداث. للتغلب على هذا القيد، أنشأ المؤلفون مجموعة بيانات شاملة تتكون من حوالي 1.4 مليون زوج عالي الجودة من الصور/الفيديوهات/النصوص المتعلقة بالأحداث، مما يسهل التعلم الفعال عبر سيناريوهات متنوعة مثل القيادة وحركة الإنسان.
يستخدم EVENTVL مشفر أحداث متقدم جنبًا إلى جنب مع تمثيل زمني مكاني للأحداث يجمع ويقسم تدفقات الأحداث لاستخراج معلومات غنية. بالإضافة إلى ذلك، يتضمن النموذج محاذاة دلالية ديناميكية لتحسين وإثراء المساحات الدلالية النادرة المرتبطة بالأحداث. تظهر النتائج التجريبية أن EVENTVL يتفوق بشكل كبير على نماذج MLLM الحالية في مهام مثل وصف الأحداث والإجابة على الأسئلة، مما يساهم في تقديم رؤى وموارد قيمة لمجتمع أبحاث الأحداث.
مقدمة
تناقش مقدمة الورقة مزايا كاميرات الأحداث، التي تلتقط التغيرات في الكثافة عند كل بكسل بدقة ميكروثانية، مما يوفر فوائد مثل نطاق ديناميكي عالٍ، ومقاومة لتمويه الحركة، واستهلاك منخفض للطاقة. على الرغم من هذه المزايا، لا يزال استكشاف مهام الفهم عالي المستوى باستخدام بيانات الأحداث محدودًا. يبرز المؤلفون ظهور نماذج الرؤية واللغة القائمة على الأحداث التي تهدف إلى سد الفجوة بين بيانات الأحداث وفهم الصور والنصوص التقليدي، ومع ذلك تركز الطرق الحالية بشكل أساسي على محاذاة زوجية خشنة بين الصور والأحداث والنصوص، مما يحد من قدرتها على أداء مهام دلالية دقيقة.
لمعالجة هذه القيود، يقترح المؤلفون EVENTVL، وهو إطار عمل جديد لنموذج لغوي كبير متعدد الوسائط قائم على الأحداث. يتضمن EVENTVL تمثيلًا زمنيًا مكانيًا للأحداث (ESR) لالتقاط الارتباطات الزمنية المكانية الدقيقة داخل بيانات الأحداث ووحدة محاذاة دلالية ديناميكية (DSA) لربط تمثيلات الأحداث مع المساحات الكامنة للصورة المدربة مسبقًا. تعزز هذه الطريقة قدرة النموذج على أداء مهام مثل وصف الأحداث وتوليد الحوار. بالإضافة إلى ذلك، يقدم المؤلفون مجموعة بيانات تتكون من حوالي 1.4 مليون زوج عالي الجودة من الصور والنصوص والأحداث، وهي الأكبر من نوعها في مجتمع الأحداث. تظهر النتائج أن EVENTVL يتفوق على النماذج الرائدة في مهام متنوعة مع الحفاظ على عدد منخفض من المعلمات، مما يسهل نشره في العالم الحقيقي.
النتائج
في قسم النتائج، يتم تسليط الضوء على أداء نموذج EVENTVL، مما يظهر قدرته على وصف المشاهد المعقدة بدقة من خلال التعرف على الكائنات، والأفعال، والسمات، خاصة في السياقات الصعبة. بالمقابل، يظهر نموذج VideoLLaMA2 هلوسات بسبب نقص تمثيل الأحداث في بيانات التدريب. على سبيل المثال، في أمثلة HARDVS، يصف EVENTVL حركة الإنسان بفعالية ويستنتج سمات مثل لون الملابس، بينما في سيناريوهات القيادة، يقدم أوصافًا أكثر دقة لحالات إشارات المرور وعلاقات الكائنات، متفوقًا على الأساسيات الفيديو.
تدعم النتائج الكمية فعالية EVENTVL، كما هو موضح في الجداول IV و V. يحقق النموذج درجات أعلى عبر مقاييس متنوعة (Bleu-4، METEOR، ROUGE-L، وCIDEr) في مهام توليد الوصف القليل مقارنة بمجموعات بيانات N-IMAGENET و HARDVS. على وجه التحديد، يصل EVENTVL إلى درجة ROUGE-L تبلغ 0.405 ودرجة CIDEr تبلغ 2.721 على HARDVS مع 20 عينة، مما يشير إلى تحسينات كبيرة مقارنة بالنماذج المنافسة. بالإضافة إلى ذلك، تكشف دراسة الإزالة في الجدول VI أن تمثيل الأحداث الزمني المكاني المقترح (ESR) يعزز الأداء، خاصة عند استخدام كل من الانقسامات الزمنية الهرمية والانقسامات المكانية التكيفية، محققًا درجة ROUGE-L تبلغ 0.397 ودرجة CIDEr تبلغ 2.619 على مجموعة بيانات HARDVS.
نقاش
في هذا القسم، يقدم المؤلفون إطار عمل تمثيل الأحداث الزمني المكاني (ESR)، الذي يعزز فهم المشهد من خلال ترميز تدفقات الأحداث بفعالية عبر الانقسام الزمني الهرمي (HTS) والانقسام المكاني التكيفي (ASS). يجمع HTS المعلومات الزمنية عبر مستويات متعددة دون إدخال معلمات إضافية، محولًا نقاط الأحداث إلى تمثيلات على نمط RGB. تسمح هذه الطريقة الهرمية بالحفاظ على الدلالات الزمنية الدقيقة. من ناحية أخرى، يعالج ASS فقدان المعلومات المكانية الذي يحدث عندما يتم تغيير حجم إطارات الأحداث لتتوافق مع الصور. من خلال تقسيم تمثيلات الأحداث بشكل تكيفي إلى رقع عالية الدقة، يضمن ASS الحفاظ على التفاصيل المكانية، مما يؤدي في النهاية إلى دمج هذه الرقع مع تمثيلات الأحداث متعددة المستويات لتشكيل تمثيل زمني مكاني شامل.
يناقش المؤلفون أيضًا المحاذاة الدلالية الديناميكية، التي تقوم بمحاذاة تمثيلات الأحداث والصور داخل نفس المساحة الكامنة باستخدام خسارة تشابه جيب التمام لتعزيز المعلومات المتبادلة. هذه المحاذاة حاسمة حيث أن تمثيلات الأحداث غالبًا ما تفتقر إلى أوصاف سطحية مفصلة موجودة في الصور. يتم تحسين الإطار من خلال عملية تدريب من مرحلتين، تركز أولاً على مشفر الأحداث ثم على مفكك النص، لتحسين فهم النموذج لزوج الأحداث والنصوص. يؤكد المؤلفون على أهمية مجموعات البيانات عالية الجودة للتدريب، موضحين خط أنابيب التوليد الموحد الخاص بهم لإنشاء أزواج متعددة الوسائط وصفية ومجموعات بيانات QA. بشكل عام، تظهر الطرق والتحسينات المقترحة تحسينات كبيرة في الفهم القائم على الأحداث والمحاذاة مع بيانات الصور، كما يتضح من مقاييس الأداء التنافسية عبر معايير متنوعة.
DOI: https://doi.org/10.1109/tmm.2026.3741632
Publication Date: 2026-01-01
Author(s): Pengteng Li et al.
Primary Topic: Multimodal Machine Learning Applications
Overview
The research presents EVENTVL, a novel generative event-based Multimodal Large Language Model (MLLM) aimed at enhancing semantic understanding from event streams. Traditional Vision-Language Models (VLMs) have primarily relied on CLIP for conventional perception tasks, which limits their ability to grasp the full semantics and context inherent in event data. To overcome this limitation, the authors created a comprehensive dataset comprising approximately 1.4 million high-quality event-image/video-text pairs, facilitating effective learning across diverse scenarios such as driving and human motion.
EVENTVL employs an advanced event encoder alongside an Event Spatiotemporal Representation that aggregates and segments event streams to extract rich information. Additionally, the model incorporates Dynamic Semantic Alignment to refine and enrich the sparse semantic spaces associated with events. Experimental results demonstrate that EVENTVL significantly outperforms existing MLLM baselines in tasks such as event captioning and question-answering, thereby contributing valuable insights and resources to the event research community.
Introduction
The introduction of the paper discusses the advantages of event cameras, which capture changes in intensity at each pixel with microsecond precision, offering benefits such as high dynamic range, resistance to motion blur, and low power consumption. Despite these advantages, the exploration of high-level understanding tasks using event data remains limited. The authors highlight the emergence of event-based Vision-Language Models (VLMs) aimed at bridging the gap between event data and traditional image-text understanding, yet existing methods primarily focus on coarse image-event-text pair alignments, which restrict their ability to perform fine-grained semantic tasks.
To address these limitations, the authors propose EVENTVL, a novel event-based multimodal large language model (MLLM) framework. EVENTVL incorporates an Event Spatiotemporal Representation (ESR) to capture fine-grained spatiotemporal correlations within event data and a Dynamic Semantic Alignment (DSA) module to connect event representations with pretrained image latent spaces. This approach enhances the model’s ability to perform tasks such as event captioning and dialogue generation. Additionally, the authors present a dataset of approximately 1.4 million high-quality image-text-event pairs, which is the largest of its kind in the event community. The results demonstrate that EVENTVL outperforms state-of-the-art models in various tasks while maintaining a low parameter count, facilitating real-world deployment.
Results
In the results section, the performance of the EVENTVL model is highlighted, demonstrating its ability to accurately describe complex scenes by recognizing objects, actions, and attributes, particularly in challenging contexts. In contrast, the VideoLLaMA2 model exhibits hallucinations due to its lack of event representation in training data. For instance, in HARDVS examples, EVENTVL effectively describes human motion and infers attributes like clothing color, while in driving scenarios, it provides more accurate descriptions of traffic-light states and object relationships, outperforming the video baseline.
Quantitative results further substantiate EVENTVL’s efficacy, as shown in Tables IV and V. The model achieves higher scores across various metrics (Bleu-4, METEOR, ROUGE-L, and CIDEr) in few-shot caption generation tasks compared to the N-IMAGENET and HARDVS datasets. Specifically, EVENTVL reaches a ROUGE-L score of 0.405 and a CIDEr score of 2.721 on HARDVS with 20 samples, indicating significant improvements over competing models. Additionally, the ablation study in Table VI reveals that the proposed Event Spatiotemporal Representation (ESR) enhances performance, particularly when both hierarchical temporal and adaptive spatial splits are employed, achieving a ROUGE-L score of 0.397 and a CIDEr score of 2.619 on the HARDVS dataset.
Discussion
In this section, the authors introduce the Event Spatiotemporal Representation (ESR) framework, which enhances scene understanding by effectively encoding event streams through Hierarchical Temporal Split (HTS) and Adaptive Spatial Split (ASS). HTS aggregates temporal information across multiple levels without introducing additional parameters, transforming event points into RGB-style representations. This hierarchical approach allows for the preservation of fine-grained temporal semantics. ASS, on the other hand, addresses the loss of spatial information that occurs when event frames are resized for alignment with images. By adaptively splitting event representations into high-resolution patches, ASS ensures that spatial details are maintained, ultimately concatenating these patches with the multilevel event representations to form a comprehensive spatiotemporal representation.
The authors also discuss Dynamic Semantic Alignment, which aligns event and image embeddings within the same latent space using cosine similarity loss to enhance mutual information. This alignment is crucial as event representations often lack detailed surface descriptions found in images. The framework is optimized through a two-stage training process, focusing first on the event encoder and then on the text decoder, to refine the model’s understanding of event-text pairs. The authors emphasize the importance of high-quality datasets for training, detailing their unified generation pipeline for creating descriptive multimodal pairs and QA datasets. Overall, the proposed methods and optimizations demonstrate significant improvements in event-based understanding and alignment with image data, as evidenced by competitive performance metrics across various benchmarks.