DOI: https://doi.org/10.1016/j.patcog.2026.113793
تاريخ النشر: 2026-05-12
المؤلف: Meng’en Qin وآخرون
الموضوع الرئيسي: تطبيقات الشبكات العصبية المتقدمة
نظرة عامة
تقدم البحث شبكة الانتباه الهرمية المدركة للمحتوى غير المتناهية (A³-FPN)، المصممة لتعزيز تمثيل الميزات متعددة المقاييس في مهام التنبؤ الكثيف، مع التركيز بشكل خاص على معالجة قيود الشبكات الهرمية الحالية في التعرف على الأجسام الصغيرة. تستخدم A³-FPN شبكة عمودية منتشرة أفقياً تسهل التفاعل العالمي غير المتناهي للميزات وتفكك التمثيلات الهرمية. تدمج وحدات انتباه مدركة للمحتوى تولد انحرافات وأوزان حسب الموقع لإعادة أخذ العينات المدركة للسياق، مما يحسن من التشابه داخل الفئات ويعزز تعلم الميزات التمييزية.
تظهر التجارب الواسعة التي أجريت على مجموعات بيانات مثل MS COCO وVisDrone2019-DET وCityscapes أن A³-FPN يمكن دمجها بسلاسة في هياكل CNN وTransformer الحديثة، محققة تحسينات كبيرة في الأداء. ومن الجدير بالذكر أنها تصل إلى دقة متوسط القناع (AP) تبلغ 49.6 على MS COCO ومتوسط تقاطع على اتحاد (mIoU) يبلغ 85.6 على Cityscapes عند دمجها مع هياكل OneFormer وSwin-L. يعترف المؤلفون بأن هناك حاجة لمزيد من التحقيق لتقييم قوة A³-FPN في السيناريوهات الصعبة، مثل المدخلات خارج التوزيع وظروف الإضاءة المنخفضة، والتي تعتبر حاسمة للتطبيقات في العالم الحقيقي. ستركز الأعمال المستقبلية على استكشاف تكيف النموذج لتعزيز الأداء تحت هذه الظروف.
مقدمة
تناقش مقدمة الورقة أهمية مهام التنبؤ البصري الكثيف في رؤية الكمبيوتر، وخاصة في التطبيقات مثل القيادة الذاتية والتصوير الطبي. تتطلب هذه المهام توقعات دقيقة على مستوى البكسل، مما يستلزم كلاً من التفاصيل المكانية لتجزئة الأجسام والمعلومات الدلالية للتصنيف. تبرز الورقة التقدم المحرز من خلال التعلم العميق، وخاصة مع الشبكات العصبية التلافيفية (CNNs) ومحولات الرؤية، في مختلف مهام التنبؤ الكثيف مثل اكتشاف الأجسام والتجزئة. التحدي المركزي في هذه المهام هو تعلم هرمية الميزات بكفاءة على مقاييس مختلفة، حيث يتم التعرف على الأجسام ذات الأحجام المتفاوتة بشكل أفضل على خرائط الميزات ذات الدقة المختلفة.
تُعتبر شبكة الهرم الميزاتي (FPN) هيكلًا شائعًا لتوليد الميزات متعددة المقاييس، حيث تستخدم نهجًا من أعلى إلى أسفل لنقل المعلومات الدلالية. ومع ذلك، يشير المؤلفون إلى عدة عيوب تصميمية في FPN، بما في ذلك فقدان المعلومات بسبب دمج الميزات على مستوى الطبقات، مما يضعف التفاعل بين المستويات غير المتجاورة. بالإضافة إلى ذلك، تؤدي الطبيعة غير المدركة للسياق لعمليات الزيادة والإنقاص إلى عدم دقة في معلومات الحدود، مما قد يؤدي إلى تصنيف خاطئ للأجسام. بينما حاولت بعض الطرق الحديثة معالجة هذه القضايا، إلا أنها لا تستفيد بالكامل من المعلومات السياقية الغنية المتاحة في هرم الميزات متعددة المقاييس، مما يشير إلى الحاجة لاستراتيجيات محسنة في كل من الزيادة والإنقاص لتعزيز دقة التعرف على الأجسام.
نقاش
في قسم النقاش، يتناول المؤلفون قيود الشبكات الهرمية الحالية (FPNs) في التعامل مع تمثيل الميزات متعددة المقاييس، مع التركيز بشكل خاص على قضايا مثل عدم تناسق الأنماط وفقدان المعلومات أثناء دمج الميزات من مستويات الهرم المختلفة. تفشل الطرق التقليدية، بما في ذلك الجمع العنصري، في أخذ الفروق الدلالية بين الميزات في الاعتبار، مما يؤدي إلى صراعات داخل الفئات وزيادة الإيجابيات الكاذبة. على الرغم من أن الأساليب الحديثة مثل AFPN وFreqFusion قد حاولت التخفيف من هذه القضايا، إلا أنها لا تزال تعتمد على عمليات الجمع البسيطة ولا تُعالج العلاقات المعقدة بين الميزات على مقاييس مختلفة بشكل كافٍ.
لتجاوز هذه التحديات، يقترح المؤلفون شبكة الانتباه الهرمية المدركة للمحتوى غير المتناهية (A³-FPN)، التي تعزز تمثيل الميزات متعددة المقاييس من خلال إطار عمل غير متناهي مفكك وآليات انتباه مدركة للمحتوى. تقدم A³-FPN هيكلًا عموديًا منتشرًا أفقياً يقلل من فقدان المعلومات ويحسن من تفكيك الميزات. تستخدم انحرافات وأوزان مدركة للسياق لإعادة أخذ العينات من الميزات، مما يعزز التشابه داخل الفئات ويعالج إزاحة الأجسام. يتم التحقق من فعالية النموذج من خلال تجارب واسعة على مجموعات بيانات مرجعية مثل MS COCO وCityscapes، مما يظهر تحسينات كبيرة في مقاييس الأداء، بما في ذلك تحقيق دقة متوسطة جديدة على COCO.
DOI: https://doi.org/10.1016/j.patcog.2026.113793
Publication Date: 2026-05-12
Author(s): Meng’en Qin et al.
Primary Topic: Advanced Neural Network Applications
Overview
The research presents the Asymptotic Content-Aware Pyramid Attention Network (A³-FPN), designed to enhance multi-scale feature representation in dense prediction tasks, particularly addressing the limitations of existing feature pyramid networks in recognizing small objects. A³-FPN employs a horizontally-spread column network that facilitates asymptotic global feature interaction and disentangles hierarchical representations. It integrates content-aware attention modules that generate position-wise offsets and weights for context-aware resampling, thereby improving intra-category similarity and enhancing discriminative feature learning.
Extensive experiments conducted on datasets such as MS COCO, VisDrone2019-DET, and Cityscapes demonstrate that A³-FPN can be seamlessly integrated into state-of-the-art CNN and Transformer architectures, achieving significant performance improvements. Notably, it reaches a mask Average Precision (AP) of 49.6 on MS COCO and a mean Intersection over Union (mIoU) of 85.6 on Cityscapes when combined with OneFormer and Swin-L backbones. The authors acknowledge that further investigation is needed to assess A³-FPN’s robustness in challenging scenarios, such as out-of-distribution inputs and low-light conditions, which are critical for real-world applications. Future work will focus on exploring model adaptation to enhance performance under these conditions.
Introduction
The introduction of the paper discusses the significance of dense visual prediction tasks in computer vision, particularly in applications like autonomous driving and medical imaging. These tasks require precise pixel-level predictions, necessitating both spatial details for object segmentation and semantic information for classification. The paper highlights the advancements made through deep learning, particularly with Convolutional Neural Networks (CNNs) and Vision Transformers, in various dense prediction tasks such as object detection and segmentation. A central challenge in these tasks is efficiently learning a hierarchy of features at different scales, as objects of varying sizes are best recognized on feature maps of different resolutions.
The Feature Pyramid Network (FPN) is identified as a prevalent architecture for generating multi-scale features, employing a top-down approach to propagate semantic information. However, the authors point out several design flaws in FPN, including information loss due to its layer-wise feature fusion, which weakens the interaction between non-adjacent levels. Additionally, the context-agnostic nature of the upsampling and downsampling processes leads to inaccuracies in boundary information, potentially resulting in misclassification of objects. While some recent methods have attempted to address these issues, they do not fully leverage the rich contextual information available in the multi-scale feature hierarchy, indicating a need for improved strategies in both upsampling and downsampling to enhance object recognition accuracy.
Discussion
In the discussion section, the authors address the limitations of existing feature pyramid networks (FPNs) in handling multi-scale feature representation, particularly focusing on issues such as pattern inconsistency and information loss during the fusion of features from different pyramid levels. Traditional methods, including element-wise summation, fail to account for semantic discrepancies between features, leading to intra-category conflicts and increased false positives. Although recent approaches like AFPN and FreqFusion have attempted to mitigate these issues, they still rely on simplistic summation operations and do not adequately model the complex relationships between features at different scales.
To overcome these challenges, the authors propose the Asymptotic Content-Aware Pyramid Attention Network (A³-FPN), which enhances multi-scale feature representation through an asymptotically disentangled framework and content-aware attention mechanisms. A³-FPN introduces a horizontally-spread column-wise architecture that reduces information loss and improves feature disentanglement. It employs context-aware offsets and weights for feature resampling, enhancing intra-category similarity and addressing object displacement. The model’s effectiveness is validated through extensive experiments on benchmark datasets such as MS COCO and Cityscapes, demonstrating significant improvements in performance metrics, including achieving a new record average precision on COCO.
