DOI: https://doi.org/10.1109/tpami.2026.3674575
PMID: https://pubmed.ncbi.nlm.nih.gov/41838510
تاريخ النشر: 2026-03-16
المؤلف: Jianing Li وآخرون
الموضوع الرئيسي: الرؤية المتقدمة والتصوير
نظرة عامة
تقدم الورقة البحثية نموذجًا جديدًا لاستشعار العمق فائق السرعة يسمى الرؤية الاستريو المعتمدة على الأحداث النشطة، والذي يدمج كاميرات الأحداث الثنائية مع جهاز عرض نمط ثنائي الأبعاد بالأشعة تحت الحمراء. تتناول هذه الطريقة قيود التصوير التقليدي القائم على الإطارات في سيناريوهات الحركة السريعة. قام المؤلفون بتطوير نموذج أولي لكاميرا استريو وأنشأوا مجموعة بيانات من العالم الحقيقي تضم أكثر من 21,500 علامة متزامنة زمانيًا ومكانيًا بمعدل 15 هرتز، إلى جانب مجموعة بيانات صناعية تحتوي على 23,800 علامة متزامنة بمعدل 20 هرتز.
المحور الرئيسي في هذا العمل هو ActiveEventNet+ المقترح، وهو شبكة عصبية خفيفة مصممة لمطابقة الاستريو المعتمدة على الأحداث والتي تولد خرائط تباين كثيفة عالية الجودة مع زمن استجابة منخفض. تشمل الابتكارات الرئيسية دمج كتل خفيفة الوزن في إطار مطابقة الاستريو، وحجم تكلفة جديد يسهل التفاعلات الديناميكية بين أزواج الاستريو، وهندسة فعالة للتناسق الزمني تستفيد من الإشارات الزمنية الغنية من تدفقات الأحداث. تشير النتائج إلى أن ActiveEventNet+ يتفوق بشكل كبير على الأساليب الحالية الرائدة مع تقليل التعقيد الحسابي، محققًا سرعات معالجة في الوقت الحقيقي تصل إلى 150 إطارًا في الثانية. لا تعزز هذه الأبحاث فقط أداء استشعار العمق في الظروف الصعبة ولكنها أيضًا تضع الأساس للتقدم المستقبلي في أنظمة كاميرات الاستريو العصبية. المجموعات البرمجية والرمز متاحة للجمهور على الرابط المقدم في GitHub.
مقدمة
تناقش المقدمة التحديات والتقدم في إدراك العمق الاستريو، وهو مجال حاسم في رؤية الكمبيوتر والروبوتات. تكافح الرؤية الاستريو السلبية التقليدية في البيئات ذات الإضاءة المنخفضة وبدون نسيج، بينما تعزز الرؤية الاستريو النشطة رسم الخرائط العمقية من خلال إسقاط أنماط الأشعة تحت الحمراء. ومع ذلك، فإن كاميرات الاستريو النشطة التقليدية محدودة بمعدلات الإطارات الخاصة بها، والتي قد تكون غير كافية للتطبيقات عالية السرعة، مثل الطائرات بدون طيار، حيث يكون الإدراك السريع للعمق أمرًا حيويًا لتجنب الاصطدامات.
لمعالجة هذه القيود، تسلط الورقة الضوء على إمكانيات كاميرات الأحداث، التي تعمل بشكل غير متزامن من خلال اكتشاف تغييرات كثافة البكسل بدقة زمنية على مستوى الميكروثانية. تضع هذه القدرة كاميرات الأحداث كمرشحين مناسبين لمهام استشعار العمق عالية السرعة. يشير المؤلفون إلى أنه بينما تقدم الرؤية الاستريو المعتمدة على الأحداث دقة عمق محسنة مقارنة بالطرق الأحادية، فإن الأنظمة الحالية غالبًا ما تعتمد على تقنيات الاستريو السلبية التي تفشل في الظروف الصعبة. تتضمن الحل المقترح نظامًا ثنائي العينين يجمع بين أنماط الأشعة تحت الحمراء النشطة ومعلومات النسيج السلبية، مستفيدًا من مثلث الاستريو لتقدير العمق بشكل أكثر موثوقية عبر بيئات متنوعة.
طرق
في قسم الطرق، يحدد المؤلفون إطار بحثهم، بدءًا من نظرة عامة على الهيكل المقترح في القسم 5.1. يقدمون دمج كتل MobileNet الخفيفة المصممة خصيصًا لمطابقة الاستريو في القسم 5.2. ثم يقدم المؤلفون نهج حجم تكلفة جديد في القسم 5.3، يليه هيكل فعّال للتناسق الزمني موضح في القسم 5.4. يختتم القسم بوصف موجز لدالة الخسارة المستخدمة في الدراسة (القسم 5.5).
بالإضافة إلى ذلك، يوفر قسم إعدادات التجربة رؤى حول مجموعة البيانات الصناعية المستخدمة، إلى جانب تفاصيل التنفيذ ومقاييس التقييم. كما يقارن المؤلفون طريقتهم، ActiveEventNet+، مع التقنيات الرائدة، محللين أدائها المتفوق من منظورين مختلفين، على الرغم من أن النتائج المحددة لهذه المقارنة غير مفصلة في هذا القسم.
مناقشة
في هذا القسم، يناقش المؤلفون تطوير والتحقق من صحة نظام مبتكر للرؤية الاستريو المعتمدة على الأحداث النشطة، يسمى ActiveEventNet+، والذي يدمج كاميرات الأحداث الثنائية مع جهاز عرض نمط ثنائي الأبعاد بالأشعة تحت الحمراء لاستشعار العمق الكثيف عالي السرعة. يتناول النظام التحديات الحرجة في الرؤية الاستريو المعتمدة على الأحداث السلبية الحالية، مثل محدودية توفر مجموعات بيانات العمق الكثيف وعدم كفاءة الحسابات في طرق مطابقة الاستريو الحالية. تم تصميم ActiveEventNet+ لتحسين التوازن بين الدقة والسرعة من خلال الاستفادة من الإشارات الزمنية الغنية من تدفقات الأحداث الاستريو، مما يؤدي إلى تقدير عمق منخفض الزمن.
يقدم المؤلفون مجموعة بيانات شاملة تضم أكثر من 21,500 علامة عمق حقيقية متزامنة زمانيًا ومكانيًا، تم تسجيلها بمعدل 15 هرتز، إلى جانب مجموعة بيانات صناعية تحتوي على 23,800 علامة متزامنة بمعدل 20 هرتز. يتضمن النموذج المقترح العديد من الابتكارات الرئيسية، بما في ذلك دمج كتل MobileNet الخفيفة، وحجم تكلفة جديد للتفاعلات الديناميكية بين أزواج الأحداث الاستريو، وهندسة فعالة للتناسق الزمني. تشير النتائج التجريبية إلى أن ActiveEventNet+ يتفوق بشكل كبير على الأساليب الرائدة مع تقليل التعقيد الحسابي، محققًا سرعات معالجة في الوقت الحقيقي تصل إلى 150 إطارًا في الثانية. لا تعزز هذه الأبحاث فقط قدرات استشعار العمق في البيئات الصعبة ولكنها أيضًا تمهد الطريق للتقدم المستقبلي في أنظمة كاميرات الاستريو العصبية.
القيود
ت stem القيود في هذه الدراسة بشكل أساسي من قيود كاميرا RealSense المستخدمة لجمع بيانات العمق الحقيقية، والتي تقتصر على الحركة بسرعة طبيعية. تتماشى هذه الطريقة مع الممارسات الشائعة في مجموعات بيانات تقدير العمق المعتمدة على الأحداث الحالية، حيث تكافح أجهزة الاستشعار RGB-D التقليدية وأنظمة LiDAR لتوفير علامات عمق دقيقة في السيناريوهات عالية السرعة. وبالتالي، يتم إجراء تقييم استشعار العمق في مشاهد عالية السرعة الحقيقية فقط من خلال تقييمات بصرية نوعية، بسبب غياب علامات الحقيقة الكمية لهذه الظروف.
علاوة على ذلك، فإن علامات العمق الخام المستمدة من كاميرا RealSense عرضة للضوضاء والاعتراضات، مما قد يؤثر على جودة البيانات. يمكن أن تعزز الأبحاث المستقبلية موثوقية تقدير العمق من خلال تنفيذ تقنيات معالجة البيانات، مثل التصفية الزمنية، لتحسين دقة علامات العمق. بشكل عام، تظل تحديات الحصول على بيانات حقيقة عالية الجودة لتقدير العمق في البيئات عالية السرعة منطقة مهمة لمزيد من الاستكشاف.
DOI: https://doi.org/10.1109/tpami.2026.3674575
PMID: https://pubmed.ncbi.nlm.nih.gov/41838510
Publication Date: 2026-03-16
Author(s): Jianing Li et al.
Primary Topic: Advanced Vision and Imaging
Overview
The research paper introduces a novel paradigm for ultrafast depth sensing termed active event-based stereo vision, which integrates binocular event cameras with an infrared 2D pattern projector. This approach addresses the limitations of conventional frame-based imaging in fast-motion scenarios. The authors developed a stereo camera prototype and created a real-world dataset comprising over 21,500 spatiotemporal synchronized labels at 15 Hz, alongside a synthetic dataset with 23,800 synchronized labels at 20 Hz.
Central to this work is the proposed ActiveEventNet+, a lightweight neural network designed for event-based stereo matching that generates high-quality dense disparity maps with low latency. Key innovations include the incorporation of lightweight blocks into the stereo matching framework, a novel cost volume that facilitates dynamic interactions between stereo pairs, and an effective temporal consistency architecture that leverages rich temporal cues from event streams. The results indicate that ActiveEventNet+ significantly outperforms existing state-of-the-art methods while reducing computational complexity, achieving real-time processing speeds of up to 150 FPS. This research not only enhances depth sensing performance in challenging conditions but also lays the groundwork for future advancements in neuromorphic stereo camera systems. The datasets and code are publicly available at the provided GitHub link.
Introduction
The introduction discusses the challenges and advancements in stereo depth perception, a critical area in computer vision and robotics. Traditional passive stereo vision struggles in low-light and texture-less environments, while active stereo vision enhances depth mapping by projecting infrared patterns. However, conventional active stereo cameras are limited by their frame rates, which can be inadequate for high-speed applications, such as in racing drones, where rapid depth perception is crucial to avoid collisions.
To address these limitations, the paper highlights the potential of event cameras, which operate asynchronously by detecting pixel intensity changes with microsecond-level temporal resolution. This capability positions them as suitable candidates for high-speed depth sensing tasks. The authors note that while event-based stereo vision offers improved depth accuracy over monocular methods, current systems often rely on passive stereo techniques that falter in challenging conditions. The proposed solution involves a binocular system that combines active infrared patterns with passive texture information, leveraging stereo triangulation for more reliable depth estimation across diverse environments.
Methods
In the Methods section, the authors outline their research framework, beginning with an overview of the proposed architecture in Section 5.1. They introduce the integration of lightweight MobileNet blocks specifically designed for stereo matching in Section 5.2. The authors then present a novel cost volume approach in Section 5.3, followed by an efficient temporal consistency architecture detailed in Section 5.4. The section concludes with a brief description of the loss function utilized in the study (Section 5.5).
Additionally, the Experimental Settings subsection provides insights into the synthetic dataset used, along with implementation specifics and evaluation metrics. The authors also compare their method, ActiveEventNet+, with state-of-the-art techniques, analyzing its superior performance from two distinct perspectives, although the specific findings of this comparison are not detailed in this section.
Discussion
In this section, the authors discuss the development and validation of an innovative active event-based stereo vision system, termed ActiveEventNet+, which integrates binocular event cameras with an infrared 2D pattern projector for high-speed dense depth sensing. The system addresses critical challenges in existing passive event-based stereo vision, such as the limited availability of dense depth datasets and the computational inefficiencies of current stereo matching methods. ActiveEventNet+ is designed to optimize the trade-off between accuracy and speed by leveraging rich temporal cues from stereo event streams, resulting in low-latency depth estimation.
The authors present a comprehensive dataset comprising over 21,500 spatiotemporal synchronized true depth labels, recorded at 15 Hz, alongside a synthetic dataset with 23,800 synchronized labels at 20 Hz. The proposed model incorporates several key innovations, including the integration of lightweight MobileNet blocks, a novel cost volume for dynamic interactions between stereo event pairs, and an efficient temporal consistency architecture. Experimental results indicate that ActiveEventNet+ significantly outperforms state-of-the-art methods while reducing computational complexity, achieving real-time processing speeds of up to 150 FPS. This research not only enhances depth sensing capabilities in challenging environments but also sets the stage for future advancements in neuromorphic stereo camera systems.
Limitations
The limitations of this study primarily stem from the constraints of the RealSense camera used for ground truth depth data collection, which is limited to normal-speed motion. This approach aligns with common practices in existing event-based depth estimation datasets, as conventional RGB-D sensors and LiDAR systems struggle to provide accurate depth labels in high-speed scenarios. Consequently, the evaluation of depth sensing in real high-speed scenes is conducted solely through qualitative visual assessments, due to the absence of quantitative ground truth labels for these conditions.
Moreover, the raw depth labels obtained from the RealSense camera are subject to noise and occlusions, which can compromise the quality of the data. Future research could enhance the reliability of depth estimation by implementing data preprocessing techniques, such as temporal filtering, to improve the accuracy of depth labels. Overall, the challenge of obtaining high-quality ground truth for depth estimation in high-speed environments remains a significant area for further exploration.
