DOI: https://doi.org/10.1109/tro.2026.3654619
تاريخ النشر: 2026-01-01
المؤلف: Zhenyun Du وآخرون
الموضوع الرئيسي: الرؤية المتقدمة والتصوير
نظرة عامة
تقدم هذه الورقة EROAM، وهو نظام مبتكر لتقدير الحركة الدورانية ورسم الخرائط يعتمد على الأحداث، مصمم للتقدير الدقيق لدوران الكاميرا في الوقت الحقيقي. يتميز EROAM عن الطرق الحالية من خلال استخدام تمثيل حدث كروي، والذي يقوم بإسقاط الأحداث على كرة وحدة، ومن خلال تنفيذ إطار عمل نقطة الأقرب الكروية التكرارية (ES-ICP) المصمم لبيانات كاميرا الأحداث. تبسط هذه الطريقة الكروية صياغة الحركة الدورانية في مجال مستمر، مما يعزز الدقة المكانية. بالإضافة إلى ذلك، يتضمن EROAM استراتيجية فعالة لإدارة الخرائط باستخدام هياكل شجرة k-d التزايدية والتحكم في الكثافة الإقليمية، مما يحسن الأداء الحسابي أثناء العمليات المطولة. تساهم تحسينات النظام المتوازية من النقطة إلى الخط أيضًا في كفاءته دون التضحية بالدقة.
تظهر التقييمات الشاملة لـ EROAM على كل من مجموعات البيانات الاصطناعية والعالمية الحقيقية تفوقه على التقنيات الحديثة من حيث الدقة والموثوقية والكفاءة الحسابية. يعمل EROAM باستمرار بشكل جيد تحت ظروف صعبة، مثل السرعات الزاوية العالية والتسلسلات الطويلة، حيث تكافح الطرق الأخرى عادة أو تظهر انحرافًا كبيرًا. علاوة على ذلك، يتفوق EROAM في إنشاء إعادة بناء بانورامية عالية الجودة تحتفظ بالتفاصيل الهيكلية الدقيقة. بشكل عام، تشير التقدمات المقدمة في EROAM، ولا سيما تمثيله الكروي وقدرات المعالجة الفعالة، إلى إمكانياته لتطبيقات أوسع في مهام كاميرا الأحداث، مما يقدم تحسينات ملحوظة على الأساليب التقليدية لتعظيم التباين.
مقدمة
في هذا القسم، يقدم المؤلفون نهجًا مبتكرًا للحفاظ على خريطة حدث كروية وتحديثها للتطبيقات في الوقت الحقيقي، مع التركيز على التمثيل الفعال والتكاليف الحسابية القابلة للتنبؤ. يستخدم الأسلوب تحديثات تزايدية والتحكم في الكثافة الإقليمية، مع تحديد الإطارات الرئيسية بناءً على معيار عتبة الدوران. على وجه التحديد، يتم اعتبار الإطار الحالي إطارًا رئيسيًا جديدًا إذا تم استيفاء الشرط \( \| \log(R_c R_k^{-1}) \|_2 > \theta_t \) ، حيث تمثل \( R_c \) و \( R_k \) دورات الإطار الرئيسي الحالي والأخير، على التوالي. يسمح استخدام شجرة k-d التزايدية (ikd-Tree) بتحديثات الخرائط بكفاءة دون الحاجة إلى إعادة البناء بالكامل، مما يدعم الأداء في الوقت الحقيقي.
لمعالجة تحدي النقاط الزائدة الناتجة عن الملاحظات المتكررة لنفس المنطقة، يقدم المؤلفون نهج إدارة الكثافة الإقليمية (RDM). يقوم هذا الأسلوب بتقسيم الكرة الوحدة إلى خلايا شبكية بسعة نقطة قصوى يتم تعديلها وفقًا لمساحة السطح، مما يضمن كثافة مكانية متجانسة ويمنع التمثيل المفرط للمناطق التي تم ملاحظتها بشكل متكرر. من خلال السماح بإضافة نقاط جديدة فقط في المناطق ذات السعة المنخفضة، تحافظ RDM على الكفاءة الحسابية والاستقرار. تؤدي دمج ikd-Tree و RDM إلى خريطة كروية تتطور ديناميكيًا توازن بين الموارد الحسابية والنزاهة الهندسية، مما يضمن أوقات تنفيذ محدودة ضرورية للعمليات في الوقت الحقيقي.
طرق
يستعرض القسم منهجين رئيسيين لتقدير الحركة المعتمد على الأحداث: طرق قائمة على نموذج توليد الأحداث (EGM) وطرق قائمة على تعظيم التباين (CM)، مع تسليط الضوء على قيودها وابتكاراتها. تواجه طرق EGM، بما في ذلك تتبع حركة المستشعر (SMT) وتتبع الوضع في الوقت الحقيقي (RTPT)، صعوبات في الموثوقية ضد ضوضاء المستشعر والإضاءة المتغيرة، وتواجه متطلبات حسابية باهظة عند الدقة العالية، وتعاني من أخطاء التكميم بسبب تخزين الخرائط المقطعة.
على النقيض من ذلك، يقوم إطار عمل CM، الذي قدمه غاليغو وسكاراموزا، بصياغة تقدير الحركة كمشكلة تحسين تهدف إلى تعظيم تباين صورة حدث مشوه، مما ينسق الأحداث لإنشاء أنماط حادة للحواف. تشمل التقدمات الملحوظة في هذا الإطار محاذاة الأحداث العالمية لتقدير الحركة الدورانية (CM-GAE)، التي تستخدم تحسينًا مزدوجًا لتقليل الانحراف، ونظام SLAM الدوراني المعتمد على الأحداث (CMax-SLAM)، الذي يدمج تقدير سرعة الزاوية في الواجهة الأمامية مع تحسين المسار في الخلفية. ومع ذلك، تواجه طرق CM أيضًا تحديات مثل التوازن في اختيار نافذة زمنية، والعبء الحسابي الكبير الناتج عن العمليات التكرارية، والمشكلات المحتملة مع الأمثل المحلية التي تؤثر على الموثوقية. ينتهي قسم المنهجية بوصف لمقاييس التقييم المستخدمة لتقييم أداء الطريقة المقترحة، وتحديدًا خطأ الوضع المطلق (APE) وخطأ الوضع النسبي (RPE)، اللذان يقيسان الاتساق العالمي والدقة المحلية في تقدير دوران الكاميرا.
مناقشة
في هذا القسم، يناقش المؤلفون التقدمات في تقدير الحركة الدورانية باستخدام كاميرات الأحداث، التي تقدم مزايا كبيرة على الكاميرات التقليدية المعتمدة على الإطارات، خاصة في ظروف السرعة العالية والإضاءة المنخفضة. يقدم الأسلوب المقترح تمثيل حدث كروي جديد وخوارزمية نقطة الأقرب الكروية التكرارية (ES-ICP)، التي تعمل في الفضاء ثلاثي الأبعاد المستمر بدلاً من شبكات البكسل المنفصلة. تعزز هذه الطريقة دقة تقدير الحركة من خلال تبسيط التحولات الهندسية المعنية في الحركة الدورانية والسماح بدقة تحت البكسل في تحديد مواقع الأحداث. كما يبرز المؤلفون أهمية إدارة الخرائط التزايدية، التي تستخدم هياكل شجرة k-d الديناميكية للحفاظ على الكفاءة الحسابية خلال العمليات الممتدة.
تعتبر خوارزمية ES-ICP مركزية للنظام المقترح، حيث تقوم بمحاذاة سحب نقاط الأحداث النادرة مع خريطة حدث كروية أكثر كثافة من خلال إطار عمل تحسين قوي يركز على الهياكل الهندسية المحلية. من خلال معالجة الأحداث بترددات عالية (1000 هرتز)، يخفف الأسلوب بشكل فعال التحديات المرتبطة بالتهيئة والأدنى المحلية، مما يؤدي إلى تحسين الدقة في تقدير الدوران. تظهر التقييمات التجريبية الشاملة أداءً متفوقًا للطريقة عبر سيناريوهات متنوعة، ويقدم المؤلفون الوصول إلى تنفيذهم ومجموعات البيانات لدعم المزيد من البحث في هذا المجال.
القيود
ترتبط قيود طريقة EROAM بشكل أساسي باعتمادها على افتراض الحركة الدورانية البحتة، مما يؤثر على أدائها في ظروف الحركة الانتقالية الكبيرة. على وجه التحديد، أظهرت الاختبارات التي أجريت على تسلسل env2_backflip1 من مجموعة بيانات CEAR أن EROAM يواجه صعوبات عندما يواجه ترجمات كبيرة (0.7 م)، ودورات 360° متزامنة، ومشاهد قريبة جدًا (0.3-0.5 م). تؤدي هذه العوامل إلى تأثيرات بارالاكس شديدة، مما يجعل الحركة غير قابلة للتقريب كدوران بحت.
كما هو موضح في النتائج، ينحرف تقدير مسار EROAM عن الحركة الفعلية خلال المناورات المعقدة، مثل القفز الخلفي الذي ينفذه روبوت رباعي الأرجل Mini-Cheetah. تؤدي هذه الانحرافات إلى تشويش وعيوب ظل في إعادة البناء البانورامية، خاصة في المنطقة المركزية. تشير النتائج التجريبية إلى أن EROAM فعال في الترجمات المعتدلة (حتى حوالي 0.3 م) ولكنه يفشل في الحفاظ على الدقة عندما يواجه ترجمات أكبر وتأثيرات بارالاكس القريبة. وبالتالي، بالنسبة للتطبيقات التي تتطلب تقدير ستة درجات من الحرية (6-DOF) في مثل هذه السيناريوهات الصعبة، يُوصى بتنفيذ أنظمة SLAM الكاملة.
DOI: https://doi.org/10.1109/tro.2026.3654619
Publication Date: 2026-01-01
Author(s): Zhenyun Du et al.
Primary Topic: Advanced Vision and Imaging
Overview
This paper introduces EROAM, an innovative event-based rotational odometry and mapping system designed for real-time and precise camera rotation estimation. EROAM distinguishes itself from existing methods by utilizing a spherical event representation, which projects events onto a unit sphere, and by implementing the Event Spherical Iterative Closest Point (ES-ICP) framework tailored for event camera data. This spherical approach simplifies the formulation of rotational motion in a continuous domain, enhancing spatial resolution. Additionally, EROAM incorporates an efficient map management strategy using incremental k-d tree structures and regional density control, optimizing computational performance during prolonged operations. The system’s parallel point-to-line optimization further contributes to its efficiency without sacrificing accuracy.
The extensive evaluation of EROAM on both synthetic and real-world datasets demonstrates its superiority over state-of-the-art techniques in terms of accuracy, robustness, and computational efficiency. EROAM consistently performs well under challenging conditions, such as high angular velocities and long sequences, where other methods typically struggle or exhibit significant drift. Furthermore, EROAM excels in generating high-quality panoramic reconstructions that retain fine structural details. Overall, the advancements presented in EROAM, particularly its spherical representation and efficient processing capabilities, indicate its potential for broader applications in event camera tasks, offering notable improvements over traditional contrast maximization approaches.
Introduction
In this section, the authors present an innovative approach to maintaining and updating a spherical event map for real-time applications, focusing on efficient representation and predictable computational costs. The method employs incremental updates and regional density control, designating key frames based on a rotation threshold criterion. Specifically, a current frame is considered a new key frame if the condition \( \| \log(R_c R_k^{-1}) \|_2 > \theta_t \) is met, where \( R_c \) and \( R_k \) represent the current and last key frame rotations, respectively. The use of an incremental k-d tree (ikd-Tree) allows for efficient map updates without the need for complete rebuilding, thus supporting real-time performance.
To address the challenge of redundant points generated by repeated observations of the same area, the authors introduce a Regional Density Management (RDM) approach. This method partitions the unit sphere into grid cells with a maximum point capacity that is scaled according to surface area, ensuring uniform spatial density and preventing over-representation of frequently observed regions. By allowing new points to be added only in under-capacity regions, RDM maintains computational efficiency and stability. The integration of ikd-Tree and RDM results in a dynamically evolving spherical map that balances computational resources with geometric integrity, ensuring bounded execution times crucial for real-time operations.
Methods
The section outlines two primary methodologies for event-based motion estimation: Event Generation Model (EGM) based methods and Contrast Maximization (CM) based methods, highlighting their respective limitations and innovations. EGM methods, including Sensor Motion Tracking (SMT) and Real-Time Pose Tracking (RTPT), struggle with robustness against sensor noise and varying illumination, face prohibitive computational demands at higher resolutions, and suffer from quantization errors due to discretized map storage.
In contrast, the CM framework, introduced by Gallego and Scaramuzza, formulates motion estimation as an optimization problem aimed at maximizing the variance of a warped event image, which aligns events to create sharp edge patterns. Notable advancements in this framework include the Global Events Alignment for Rotational Motion Estimation (CM-GAE), which employs dual optimization to reduce drift, and the Event-based Rotational SLAM System (CMax-SLAM), which integrates front-end angular velocity estimation with back-end trajectory refinement. However, CM methods also face challenges such as the trade-off in temporal window selection, significant computational overhead from iterative processes, and potential issues with local optima affecting reliability. The methodology section concludes with a description of the evaluation metrics used to assess the proposed method’s performance, specifically Absolute Pose Error (APE) and Relative Pose Error (RPE), which measure global consistency and local accuracy in camera rotation estimation.
Discussion
In this section, the authors discuss the advancements in rotational motion estimation using event cameras, which offer significant advantages over traditional frame-based cameras, particularly in high-speed and low-light conditions. The proposed method introduces a novel spherical event representation and the Event Spherical Iterative Closest Point (ES-ICP) algorithm, which operates in continuous 3D space rather than discrete pixel grids. This approach enhances motion estimation accuracy by simplifying the geometric transformations involved in rotational motion and allowing for sub-pixel precision in event positioning. The authors also highlight the importance of incremental map management, which utilizes dynamic k-d tree structures to maintain computational efficiency during extended operations.
The ES-ICP algorithm is central to the proposed system, aligning sparse event point clouds with a denser spherical event map through a robust optimization framework that focuses on local geometric structures. By processing events at high frequencies (1000 Hz), the method effectively mitigates challenges associated with initialization and local minima, leading to improved accuracy in rotation estimation. Comprehensive experimental validation demonstrates the method’s superior performance across diverse scenarios, and the authors provide access to their implementation and datasets to support further research in this area.
Limitations
The limitations of the EROAM method are primarily linked to its reliance on the assumption of pure rotational motion, which affects its performance under conditions of significant translational movement. Specifically, tests conducted on the env2_backflip1 sequence from the CEAR dataset revealed that EROAM struggles when faced with large translations (0.7 m), simultaneous 360° rotations, and extreme close-range scenes (0.3-0.5 m). These factors lead to severe parallax effects, rendering the motion non-approximable as pure rotation.
As illustrated in the results, EROAM’s trajectory estimation diverges from the actual motion during complex maneuvers, such as a backflip performed by a Mini-Cheetah quadruped robot. This misalignment results in blurring and shadow artifacts in the panoramic reconstruction, particularly in the central region. Empirically, the findings suggest that EROAM is effective for moderate translations (up to approximately 0.3 m) but fails to maintain accuracy when faced with larger translations and close-range parallax. Consequently, for applications necessitating six degrees of freedom (6-DOF) estimation in such challenging scenarios, the implementation of full SLAM systems is recommended.