DOI: https://doi.org/10.1109/jsac.2025.3623179
تاريخ النشر: 2025-10-20
المؤلف: Zhengru Fang وآخرون
الموضوع الرئيسي: عصر تحسين المعلومات
نظرة عامة
في هذه الورقة، يقدم المؤلفون إطار عمل جديد للتصور التعاوني التكيفي في الوقت الحقيقي (R-ACP) مصمم لتعزيز التصور التعاوني متعدد المناظر تحت ظروف الشبكة المقيدة. تشمل المساهمات الرئيسية للإطار تقنية المعايرة الذاتية المدركة للقناة التي تستخدم استخراج الميزات المعتمد على إعادة التعريف وضغط النقاط الرئيسية التكيفي، مما يحقق تحسينًا مثيرًا للإعجاب في دقة المعايرة الخارجية تصل إلى 89.39%، حتى مع تداخل محدود في مجال الرؤية (FOV). بالإضافة إلى ذلك، يقدم المؤلفون طريقة ترميز قائمة على اختناق المعلومات (IB) التي تعمل على تحسين نقل ومشاركة الميزات، مما يضمن تسليم البيانات في الوقت المناسب مع تقليل عبء الاتصال.
يواجه إطار R-ACP بفعالية التحديات المرتبطة بفقدان الحزم الشديد من خلال ضغط البيانات بذكاء وتنفيذ آلية جدولة قائمة على الأولويات. تظهر نتائج المحاكاة أن R-ACP يتفوق بشكل كبير على الطرق التقليدية، مثل PIB وH.265 وH.264 وAV1، محققًا زيادة بنسبة 25.49% في دقة اكتشاف الأجسام المتعددة (MODA) وتقليل بنسبة 51.36% في تكاليف الاتصال، خاصة في السيناريوهات التي تصل فيها نسبة فقد الحزم إلى 40%. تؤكد هذه النتائج على إمكانية الإطار في تحسين التصور التعاوني في التطبيقات في الوقت الحقيقي.
طرق
تستند منهجية إطار R-ACP إلى أربعة مكونات رئيسية تهدف إلى تعزيز التصور التعاوني ومعالجة البيانات. أولاً، يستخدم المعايرة الذاتية التعاونية، مستفيدًا من تقنيات إعادة التعريف (Re-ID) لتسهيل المعايرة الخارجية في الوقت الحقيقي من خلال بيانات التصور المشتركة. ثانيًا، يتم تنفيذ ضغط موجه نحو المهمة لتقليل حجم الميزات البصرية بشكل خاص لتطبيقات تتبع المشاة وإعادة التعريف.
ثالثًا، يتضمن الإطار جدولة تكيفية وموثوقة، والتي تضغط الميزات بشكل أكبر بناءً على الارتباطات الزمنية مع الأخذ في الاعتبار معدلات فقد الحزم المتغيرة. يتضمن ذلك حساب أولويات مدركة للقناة لتصفية البيانات الخاطئة بشكل فعال. أخيرًا، يتم استخدام دمج بيانات متعدد المناظر لإنشاء خريطة شغل، مما يدمج البيانات من وجهات نظر متعددة لتحسين الوعي بالوضع. يتم تمثيل الهيكل العام لـ R-ACP بصريًا في الشكل 5.
نقاش
تسلط قسم النقاش في ورقة البحث الضوء على التقدم في الشبكات متعددة الكاميرات، ومعايرة المستشعرات البصرية، والاتصالات الموجهة نحو المهمة، مع التأكيد على أدوارها في تعزيز التصور التعاوني في الوقت الحقيقي. تعمل الشبكات متعددة الكاميرات على تحسين تتبع الأجسام واكتشافها من خلال استخدام وجهات نظر متعددة لتخفيف التداخلات. ومن الجدير بالذكر أن يانغ وآخرين قدموا نظام استشعار تعاوني مدعوم بالحافة لمراقبة حركة المرور، بينما طور ليو وآخرون خوارزمية تتبع قائمة على شبكة سيامية موثوقة. ومع ذلك، غالبًا ما تتجاهل الطرق الحالية تحسين الارتباطات المكانية والزمنية بين وجهات نظر الكاميرا، مما قد يعزز التغطية والدقة.
تعتبر تقنيات المعايرة ضرورية للحفاظ على الدقة في البيئات الديناميكية، ومع ذلك، تواجه الطرق التقليدية تحديات مثل عدم الجدوى في الإعدادات المتغيرة بسرعة واستهلاك النطاق الترددي العالي أثناء المعايرة في الوقت الحقيقي. تقترح الورقة استراتيجية جديدة للتواصل الموجه نحو المهمة من أجل التصور التعاوني التكيفي في الوقت الحقيقي (R-ACP)، والتي تعمل على تحسين كل من المعايرة ونقل الميزات، مما يحسن بشكل كبير من دقة التصور ويقلل من عبء الاتصال. تم تقديم عمر الأهداف المدركة (AoPT) كمقياس جديد لضمان جودة البيانات ووقتها، مع معالجة قيود المقاييس التقليدية مثل عمر المعلومات (AoI) في الأنظمة متعددة المصادر. يظهر الإطار المقترح تحسينات كبيرة في دقة اكتشاف الأجسام المتعددة وكفاءة الاتصال تحت ظروف الشبكة المقيدة، مما يبرز إمكانيته للتطبيقات في الوقت الحقيقي في الأنظمة المستقلة.
DOI: https://doi.org/10.1109/jsac.2025.3623179
Publication Date: 2025-10-20
Author(s): Zhengru Fang et al.
Primary Topic: Age of Information Optimization
Overview
In this paper, the authors present a novel real-time adaptive collaborative perception (R-ACP) framework designed to enhance multi-view collaborative perception under constrained network conditions. The framework’s primary contributions include a channel-aware self-calibration technique that employs Re-ID-based feature extraction and adaptive keypoint compression, achieving an impressive improvement in extrinsic calibration accuracy of up to 89.39%, even with limited field of view (FOV) overlap. Additionally, the authors introduce an Information Bottleneck (IB)-based encoding method that optimizes the transmission and sharing of features, ensuring timely data delivery while minimizing communication overhead.
The R-ACP framework effectively addresses challenges associated with severe packet loss by intelligently compressing data and implementing a priority-based scheduling mechanism. Simulation results demonstrate that R-ACP significantly outperforms traditional methods, such as PIB, H.265, H.264, and AV1, achieving a 25.49% increase in multiple object detection accuracy (MODA) and a 51.36% reduction in communication costs, particularly in scenarios with up to 40% packet loss. These findings underscore the framework’s potential for improving collaborative perception in real-time applications.
Methods
The methodology of the R-ACP framework is structured around four key components aimed at enhancing collaborative perception and data processing. First, it employs Collaborative Self-calibration, utilizing Re-Identification (Re-ID) techniques to facilitate real-time extrinsic calibration through shared perception data. Second, Task-Oriented Compression is implemented to reduce the size of visual features specifically for pedestrian tracking and Re-ID applications.
Third, the framework incorporates Adaptive & Robust Scheduling, which further compresses features based on temporal correlations while accounting for varying packet loss rates. This involves calculating channel-aware priorities to effectively filter out erroneous data. Lastly, Multiview Data Fusion is utilized to generate an occupancy map, integrating data from multiple perspectives to improve situational awareness. The overall architecture of R-ACP is visually represented in Figure 5.
Discussion
The discussion section of the research paper highlights advancements in multi-camera networks, visual sensor calibration, and task-oriented communications, emphasizing their roles in enhancing real-time collaborative perception. Multi-camera networks improve object tracking and detection by utilizing multiple views to mitigate occlusions. Notably, Yang et al. introduced an edge-empowered cooperative sensing system for traffic surveillance, while Liu et al. developed a robust Siamese network-based tracking algorithm. However, existing methods often overlook the optimization of spatial and temporal correlations among camera views, which could enhance coverage and accuracy.
Calibration techniques are crucial for maintaining accuracy in dynamic environments, yet traditional methods face challenges such as impracticality in rapidly changing settings and high bandwidth consumption during real-time calibration. The paper proposes a novel robust task-oriented communication strategy for Real-time Adaptive Collaborative Perception (R-ACP), which optimizes both calibration and feature transmission, significantly improving perception accuracy and reducing communication overhead. The Age of Perceived Targets (AoPT) is introduced as a new metric to ensure data quality and timeliness, addressing the limitations of conventional metrics like Age of Information (AoI) in multi-source systems. The proposed framework demonstrates substantial improvements in multiple object detection accuracy and communication efficiency under constrained network conditions, showcasing its potential for real-time applications in autonomous systems.