DOI: https://doi.org/10.1007/s11263-026-02951-8
تاريخ النشر: 2026-07-27
المؤلف: Hongzhi You وآخرون
الموضوع الرئيسي: الرؤية المتقدمة والتصوير
نظرة عامة
في هذا القسم، يقدم المؤلفون نهجًا جديدًا لتقدير التدفق البصري لكاميرات الأحداث، مع التركيز على مطابقة الميزات من خلال تطوير موصوف ميزات عالي الأبعاد (HD) باستخدام الهياكل الرمزية المتجهة (VSA). يعزز الموصوف HD المقترح تشابه التمثيل لموصوفات الميزات من خلال الاستفادة من العلاقات الطوبولوجية بين المتغيرات المجاورة، مما يساعد في مطابقة التدفق عبر إطارات الأحداث. بالإضافة إلى ذلك، يسمح التمثيل الرمزي المنظم لـ VSA بدمج فعال للميزات من قطبي الأحداث المختلفين ومقاييس مكانية متنوعة.
يقدم المؤلفون إطار عمل شامل لمطابقة الميزات لتقدير التدفق البصري القائم على الأحداث، والذي يتضمن كل من الأساليب القائمة على النماذج (VSA-Flow) والتعلم الذاتي الإشراف (VSA-SM). يظهر VSA-Flow فعالية موصوفات الميزات HD من خلال تقدير دقيق للتدفق البصري، بينما يقترح VSA-SM تقنية تعظيم التشابه التي تمكن من تعلم التدفق البصري مباشرة من الأحداث دون الاعتماد على صور رمادية مساعدة. تشير التقييمات على معيار DSEC إلى أن النهج القائم على VSA يتفوق على الأساليب الحالية القائمة على النماذج والأساليب الذاتية الإشراف، مما يظهر دقته الفائقة وأدائه التنافسي عبر كلا النموذجين.
مقدمة
تناقش المقدمة إمكانيات كاميرات الأحداث، التي توفر تغييرات في سطوع البكسل غير المتزامن، لتحسين تقدير الحركة، خاصة في مهام التدفق البصري. على الرغم من مزاياها، مثل الدقة الزمنية العالية والكمون المنخفض، تظهر تحديات في تقدير التدفق البصري بسبب الطبيعة النادرة وغير المتزامنة لبيانات الأحداث وصعوبة الحصول على حقائق أرضية موثوقة. وهذا يستلزم تطوير طرق تقدير التدفق البصري غير المشرف التي تستفيد من الخصائص الفريدة لبيانات الأحداث، مما يقلل من الاعتماد على الحقائق الأرضية المكلفة والمعرضة للأخطاء.
يقترح المؤلفون موصوف ميزات عالي الأبعاد (HD) جديد لإطارات الأحداث، باستخدام بنية رمزية متجهة (VSA) لتعزيز مطابقة الميزات في تقدير التدفق البصري. يعالج هذا الموصوف العشوائية الكامنة في بيانات الأحداث من خلال استخدام خصائص التشابه المحلي، مما يمكّن من دمج الميزات عبر مقاييس مكانية متعددة وقطبين. تدمج طريقة VSA-Flow المقترحة هذه الموصوفات HD ضمن إطار موحد لتقدير التدفق البصري القائم على الأحداث، مما يحقق تقديرًا دقيقًا للتدفق البصري الكثيف دون الحاجة إلى معلومات حساسية إضافية. تشير نتائج التقييم إلى أن الطرق المقترحة تتفوق على التقنيات الحالية في معيار DSEC-Flow وتظهر أداءً تنافسيًا في معيار MVSEC.
طرق
في هذا القسم، يتم تفصيل المنهجية المستخدمة في الدراسة، مع التركيز على تجارب الطيران المختلفة في الداخل والخارج. يتم تقديم النتائج من حيث تقديرات أداء الخطأ (EPE) وتقديرات الأداء ثلاثية الأبعاد (3PE) عبر طرق وظروف مختلفة، مع إشارات محددة إلى الأعمال السابقة من قبل ناغاتا وآخرين (2021)، أكولكار وآخرين (2020)، بريبيون وآخرين (2022)، وآخرين. تشير البيانات إلى مجموعة من مقاييس الأداء لكل طريقة، مع نتائج ملحوظة مثل تحقيق طريقة VSA-SM (VFA) لأفضل النتائج بين تقنيات التعلم الذاتي الإشراف، خاصة في سياق مجموعة التدريب الذاتية الإشراف.
تشير مقاييس الأداء إلى أن طريقة VSA-SM (VFA) المقترحة لا تتفوق فقط على الطرق الذاتية الإشراف الأخرى ولكن تظهر أيضًا تحسينًا مستمرًا عبر مقاييس التقييم المختلفة، مما يتماشى مع نتائج طريقة VSA-Flow (VFA). وهذا يشير إلى أداء قوي في كل من السيناريوهات الداخلية والخارجية، مما يبرز فعالية المنهجية المقترحة في تعزيز دقة النماذج التي تم تقييمها.
نتائج
تقيم النتائج المقدمة في هذا القسم أداء طرق VSA-Flow وVSA-SM على معيار MVSEC، كما هو موضح في الجدول 2. يستخدم التقييم مجموعة واحدة من النوى عالية الأبعاد (HD) التي تم إنشاؤها عشوائيًا، حيث تظهر المقاييس تباينًا طفيفًا عندما يكون $d = 1024$. يظهر VSA-Flow أداءً متفوقًا في تسلسلات الطيران الداخلية، محققًا أفضل النتائج لتدفق بصري كبير ($dt = 4$) ونتائج تنافسية لتدفق بصري منخفض ($dt = 1$). ومع ذلك، فإن أدائه أقل تنافسية في تسلسلات النهار الخارجية، على الأرجح بسبب الأحداث الأكثر ندرة في هذه المشاهد، مما يؤثر سلبًا على تمثيل موصوفات الميزات HD.
بالإضافة إلى ذلك، تظهر طريقة VSA-SM، التي تتضمن التعلم الذاتي الإشراف مع توقعات تدفق بصري مقاسة في فترات زمنية مختلفة، أداءً تنافسيًا ضد طرق ذاتية الإشراف أخرى وتتفوق على بعض الطرق شبه المشرفة التي تستخدم صور رمادية. من الجدير بالذكر أن كل من VSA-Flow وVSA-SM تحقق تقديرات دقيقة للتدفق البصري، خاصة في المناطق الغنية بالأحداث، مع توفير VSA-SM نتائج أكثر سلاسة. ومع ذلك، لوحظت عدم دقة بالقرب من حدود الصورة في VSA-Flow، والتي تم التخفيف منها في VSA-SM من خلال استخدام تقنيات تشويه الصورة الكاملة. تواجه كلتا الطريقتين تحديات في المناطق التي تفتقر إلى الأحداث، مما يؤدي إلى انخفاض الدقة وتقديرات تدفق صفرية أحيانًا، وهو اتجاه يتماشى مع أساليب التعلم الذاتي الأخرى.
نقاش
يسلط النقاش حول تقدير التدفق البصري القائم على الأحداث الضوء على ثلاثة نهج منهجية رئيسية: الطرق المعتمدة على التدرجات، وطرق مطابقة الميزات، وطرق تعظيم التباين. تستخدم الطريقة المعتمدة على التدرجات المشتقات المكانية والزمنية من بيانات الأحداث لحساب التدفق البصري، مع تعديلات على الخوارزميات الكلاسيكية مثل هورن-شونك ولوكاس-كانادي. تقيم طريقة مطابقة الميزات تشابه ميزات البكسل عبر إطارات الأحداث المتتالية، كما يتضح من نماذج مثل EDFLOW والشبكات المعتمدة على التعلم مثل E-RAFT وEV-FlowNet. تهدف طريقة تعظيم التباين، الفريدة من نوعها لكاميرات الأحداث، إلى إعادة بناء الصور المعوضة عن الحركة من خلال تعظيم دالة موضوعية تتعلق بالتباين، وغالبًا ما تعمل كدالة خسارة في أطر التعلم غير المشرف.
يدمج الإطار القائم على VSA المقترح لتقدير التدفق البصري نهج مطابقة ميزات كلاسيكي، قابل للتكيف مع كل من الأساليب القائمة على النماذج والأساليب الذاتية الإشراف. يستخدم هذا الإطار الهياكل الرمزية المتجهة (VSAs) لإنشاء تمثيلات عالية الأبعاد لبيانات الأحداث، مما يعزز دقة تقدير التدفق البصري من خلال استخدام تمثيلات رمزية منظمة. يقدم البحث إطار عمل جديد لمطابقة الميزات قائم على VSA يستفيد من أسطح الزمن التراكمية (TS) وموصوفات الميزات الهرمية، مما يعالج الطبيعة العشوائية لبيانات الأحداث ويحسن من قوة تقدير التدفق البصري. يتم التحقق من صحة الإطار من خلال تنفيذين: VSA-Flow، وهو طريقة قائمة على النموذج، وVSA-SM، وهو طريقة تعلم ذاتية الإشراف، كلاهما يظهر أداءً محسنًا في تقدير التدفق البصري من بيانات الأحداث.
DOI: https://doi.org/10.1007/s11263-026-02951-8
Publication Date: 2026-07-27
Author(s): Hongzhi You et al.
Primary Topic: Advanced Vision and Imaging
Overview
In this section, the authors present a novel approach to optical flow estimation for event cameras, focusing on feature matching through the development of a high-dimensional (HD) feature descriptor utilizing Vector Symbolic Architectures (VSA). The proposed HD descriptor enhances the representation similarity of feature descriptors by leveraging the topological relationships among neighboring variables, which aids in flow-matching across event frames. Additionally, the structured symbolic representation of VSA allows for effective feature fusion from different event polarities and various spatial scales.
The authors introduce a comprehensive feature matching framework for event-based optical flow that includes both model-based (VSA-Flow) and self-supervised learning (VSA-SM) methodologies. VSA-Flow demonstrates the efficacy of the HD feature descriptors through accurate optical flow estimation, while VSA-SM proposes a similarity maximization technique that enables learning optical flow directly from events without relying on auxiliary grayscale images. Evaluation on the DSEC benchmark indicates that the VSA-based approach outperforms existing model-based and self-supervised methods, showcasing its superior accuracy and competitive performance across both paradigms.
Introduction
The introduction discusses the potential of event-based cameras, which provide asynchronous per-pixel brightness changes, to improve motion estimation, particularly in optical flow tasks. Despite their advantages, such as high temporal resolution and low latency, challenges arise in estimating optical flow due to the sparse and asynchronous nature of event data and the difficulty in obtaining reliable ground truth. This necessitates the development of unsupervised optical flow methods that leverage the unique characteristics of event data, thereby reducing reliance on costly and error-prone ground truth.
The authors propose a novel high-dimensional (HD) feature descriptor for event frames, utilizing Vector Symbolic Architecture (VSA) to enhance feature matching in optical flow estimation. This descriptor addresses the inherent randomness in event data by employing local similarity characteristics, enabling multi-spatial-scale and two-polarity feature fusion. The proposed VSA-Flow method integrates these HD feature descriptors within a unifying framework for event-based optical flow, achieving accurate dense optical flow estimation without the need for additional sensor information. Evaluation results indicate that the proposed methods outperform existing techniques on the DSEC-Flow benchmark and demonstrate competitive performance on the MVSEC benchmark.
Methods
In this section, the methodology employed in the study is detailed, focusing on various indoor and outdoor flying experiments. The results are presented in terms of Error Performance Estimates (EPE) and 3D Performance Estimates (3PE) across different methods and conditions, with specific references to prior works by Nagata et al. (2021), Akolkar et al. (2020), Brebion et al. (2022), and others. The data indicates a range of performance metrics for each method, with notable findings such as the VSA-SM (VFA) method achieving the best results among self-supervised learning techniques, particularly in the context of the self-supervised training group.
The performance metrics suggest that the proposed VSA-SM (VFA) method not only outperforms other self-supervised methods but also shows consistent improvement across various evaluation metrics, aligning with the results of the VSA-Flow (VFA) method. This indicates a robust performance in both indoor and outdoor scenarios, highlighting the effectiveness of the proposed methodology in enhancing the accuracy of the evaluated models.
Results
The results presented in this section evaluate the performance of the VSA-Flow and VSA-SM methods on the MVSEC benchmark, as reported in Table 2. The evaluation utilizes a single set of randomly generated high-dimensional (HD) kernels, as the metrics show minimal variation when $d = 1024$. VSA-Flow demonstrates superior performance in indoor flying sequences, achieving the best results for large optical flow ($dt = 4$) and competitive results for low optical flow ($dt = 1$). However, its performance is less competitive in outdoor day sequences, likely due to the sparser events in these scenes, which negatively affect the representation of HD feature descriptors.
Additionally, the VSA-SM method, which incorporates self-supervised learning with scaled optical flow predictions at various time intervals, shows competitive performance against other self-supervised methods and outperforms some semi-supervised methods that utilize grayscale images. Notably, both VSA-Flow and VSA-SM yield accurate optical flow estimations, particularly in event-rich regions, with VSA-SM providing smoother results. However, inaccuracies near image boundaries are observed in VSA-Flow, which are mitigated in VSA-SM through the use of full-image warping techniques. Both methods face challenges in areas lacking events, leading to diminished accuracy and occasional zero flow estimations, a trend consistent with other self-supervised learning approaches.
Discussion
The discussion on event-based optical flow estimation highlights three primary methodological approaches: gradient-based methods, feature matching methods, and contrast maximization methods. The gradient-based approach utilizes spatial and temporal derivatives from event data to compute optical flow, with adaptations of classical algorithms like Horn-Schunck and Lucas-Kanade. The feature matching method assesses the similarity of pixel features across consecutive event frames, exemplified by models such as EDFLOW and learning-based networks like E-RAFT and EV-FlowNet. The contrast maximization method, unique to event cameras, aims to reconstruct motion-compensated images by maximizing an objective function related to contrast, often serving as a loss function in unsupervised learning frameworks.
The proposed VSA-based framework for optical flow estimation integrates a classical feature matching approach, adaptable to both model-based and self-supervised learning methods. This framework employs Vector Symbolic Architectures (VSAs) to create high-dimensional representations of event data, enhancing the accuracy of optical flow estimation by utilizing structured symbolic representations. The study introduces a novel VSA-based feature matching framework that leverages accumulative Time Surfaces (TS) and hierarchical feature descriptors, addressing the stochastic nature of event data and improving the robustness of optical flow estimation. The framework is validated through two implementations: VSA-Flow, a model-based method, and VSA-SM, a self-supervised learning method, both of which demonstrate enhanced performance in estimating optical flow from event-based data.