DOI: https://doi.org/10.1109/tip.2026.3694135
PMID: https://pubmed.ncbi.nlm.nih.gov/42208026
تاريخ النشر: 2026-01-01
المؤلف: Yue Wang وآخرون
الموضوع الرئيسي: طرق المراقبة بالفيديو والتتبع
نظرة عامة
تناقش هذه القسم تطوير إطار عمل جديد لإعادة تحديد هوية الأشخاص بين الأرض والجو (AG-ReID) يسمى SD-ReID. يعالج هذا الإطار تحديات الحفاظ على اتساق الهوية عبر وجهات نظر الكاميرا المتنوعة، والتي كانت محور تركيز الأبحاث السابقة. على عكس الأساليب السابقة التي أكدت بشكل أساسي على النماذج التمييزية، يدمج SD-ReID النماذج التوليدية لتعزيز تمثيل الأفراد من خلال تقليد توزيعات الميزات من وجهات نظر مختلفة. تتضمن المنهجية تدريب نموذج قائم على محول الرؤية (ViT) لاستخراج تمثيلات الأشخاص مشروطة على الهوية ووجهة النظر، تليها تحسين نموذج الانتشار المستقر (SD) لتحسين هذه التمثيلات. كما تم تقديم مُفكك تشفير مُحسن للعرض (VRD) للتوفيق بين الميزات على مستوى الحالة والميزات على المستوى العالمي، مما يسهل استرجاع الأفراد المستهدفين.
في الختام، يمثل SD-ReID إطار عمل من مرحلتين يولد بفعالية ميزات محددة للعرض لتعزيز التمثيلات غير المتغيرة للعرض. تركز المرحلة الأولى على استخراج تمثيلات خشنة مع الشروط المرتبطة، بينما تستخدم المرحلة الثانية هذه التمثيلات لتوجيه توليد ميزات محددة للعرض. للتغلب على تحدي نقص شروط العرض على مستوى الحالة أثناء الاستدلال، يتم استخدام بنك ذاكرة لشروط العرض على المستوى العالمي جنبًا إلى جنب مع VRD لمواءمة الميزات المولدة مع تلك من العمود الفقري لـ ReID. تؤدي دمج الميزات المكررة من جميع العروض مع ميزات ReID الأصلية إلى تمثيلات قوية لاسترجاع الأشخاص، مع تجارب واسعة تؤكد فعالية الإطار عبر خمسة معايير AG-ReID.
مقدمة
تناقش مقدمة الورقة التحديات والتقدم في إعادة تحديد هوية الأشخاص (ReID)، مع التركيز بشكل خاص على إعادة تحديد هوية الأشخاص بين الأرض والجو (AG-ReID). تهدف ReID إلى تحديد الأفراد عبر وجهات نظر كاميرا مختلفة، وهو ما أصبح ذا صلة متزايدة بسبب التطبيقات في الأمن والمراقبة. غالبًا ما تعتمد طرق ReID التقليدية على إعدادات كاميرا ثابتة، مما يؤدي إلى قيود في الأداء بسبب تغطية الكاميرا المحدودة والقيود البيئية. أدى ظهور الطائرات بدون طيار (UAVs) إلى إثارة الاهتمام في AG-ReID، الذي يجب أن يتعامل مع اختلافات بصرية كبيرة ناجمة عن وجهات النظر المتنوعة.
يبرز المؤلفون أن الأساليب الحالية تستخرج بشكل أساسي ميزات مشتركة بين العرض بينما تتجاهل الفوائد المحتملة للميزات المحددة للعرض. يقترحون إطار عمل جديد من مرحلتين يسمى SD-ReID، الذي يدمج النماذج التوليدية لتوليد ميزات تكملية مشروطة على وجهات نظر مختلفة. في المرحلة الأولى، يتم تدريب نموذج ReID مدرك للعرض لاستخراج تمثيلات الأشخاص، بينما تستخدم المرحلة الثانية نموذج الانتشار المستقر (SD) لتوليد ميزات محددة للعرض. لمعالجة تحدي الوصول إلى شروط العرض على مستوى الحالة أثناء الاستدلال، يقدم المؤلفون بنك ذاكرة لشروط العرض على المستوى العالمي ومفكك تشفير مُحسن للعرض (VRD) لتحسين جودة الميزات. يهدف الإطار المقترح إلى تحسين فعالية الاسترجاع عبر العرض، مع تجارب واسعة تؤكد أدائه عبر خمسة معايير AG-ReID.
الطرق
في هذا القسم، يتم تقييم أداء الطريقة المقترحة، SD-ReID، مقابل خمسة معايير AG-ReID: CARGO، AG-ReID.v1، AG-ReID.v2، LAGPeR، وG2APS-ReID. تظهر النتائج أن SD-ReID يتفوق باستمرار على الأساليب الحديثة، خاصة في توليد ميزات محددة للعرض تعزز استرجاع الأشخاص عبر العرض. على سبيل المثال، في مجموعة بيانات CARGO، تحقق SD-ReID دقة من المرتبة الأولى تبلغ 53.12% ومتوسط دقة (mAP) يبلغ 46.44%، متجاوزًا أفضل طريقة سابقة بنسبة 2.49% في المرتبة الأولى و0.07% في mAP. عبر جميع المعايير، تحافظ SD-ReID على متوسط مرتبة أولى يبلغ 70.48% وmAP يبلغ 61.42%، مما يشير إلى أدائها المتفوق مقارنة بالمعايير التنافسية مثل SeCap وDTST.
على وجه الخصوص، في AG-ReID.v1، تسجل SD-ReID 85.16% في المرتبة الأولى و75.40% في mAP لبروتوكول A→G، و85.97% في المرتبة الأولى مع 77.02% في mAP لبروتوكول G→A، متفوقة على نماذج متقدمة مثل PCL-CLIP وVDT. في AG-ReID.v2، التي تشمل وجهات نظر متنوعة، تحقق SD-ReID أعلى mAP عبر جميع البروتوكولات، بمتوسط 81.01% mAP و87.86% في المرتبة الأولى. علاوة على ذلك، تظهر أداءً قويًا على مجموعات بيانات LAGPeR وG2APS-ReID، حيث تحقق 32.49% في المرتبة الأولى و27.15% في mAP على LAGPeR، و71.82% في المرتبة الأولى و56.64% في mAP على G2APS-ReID. بشكل عام، تؤكد هذه النتائج قوة وفعالية SD-ReID في سيناريوهات عبر العرض المختلفة، مما يبرز قدرتها على توليد ميزات محددة للعرض تعزز بشكل كبير أداء الاسترجاع.
المناقشة
تناقش هذه القسم التقدم في إعادة تحديد هوية الأشخاص المعتمدة على الصور (ReID)، مع التركيز بشكل خاص على إعادة تحديد هوية الأشخاص بين الأرض والجو (AG-ReID) ودمج نماذج الانتشار. اعتمدت طرق ReID التقليدية على الميزات المصنوعة يدويًا وانتقلت لاحقًا إلى الشبكات العصبية التلافيفية (CNNs)، التي، على الرغم من تحسين تمثيل الميزات، واجهت صعوبات مع الاعتماديات بعيدة المدى والمشاهد المعقدة. أدى ذلك إلى اعتماد طرق قائمة على المحولات تستخدم آليات الانتباه. ومع ذلك، فإن معظم الأساليب الحالية محدودة بإدخالات كاميرا واحدة وتواجه تحديات في السيناريوهات ذات الكاميرات النادرة. لمعالجة هذه القضايا، ظهرت AG-ReID، مما يسمح بالتعرف عبر وجهات نظر جوية وأرضية، مع تعزيز الأداء في هذا المجال من خلال مجموعات البيانات والنماذج الحديثة.
يستخدم الإطار المقترح، SD-ReID، عملية تدريب من مرحلتين. تركز المرحلة الأولى على استخراج الميزات التمييزية باستخدام محول الرؤية (ViT)، بينما تستخدم المرحلة الثانية نموذج انتشار لتوليد ميزات محددة للعرض تكمل التمثيلات الأصلية. تعالج هذه الطريقة قيود الأساليب الحالية من خلال الاستفادة من كل من النماذج التوليدية والتمييزية، مما يعزز قوة تمثيلات الميزات. يتضمن الإطار بنك ذاكرة زمني للحفاظ على نماذج العرض العالمية، التي توجه العملية التوليدية، مما يربط الفجوة التوزيعية بين وجهات النظر المختلفة. تظهر النتائج أن دمج الميزات المولدة يحسن بشكل كبير أداء AG-ReID، مما يؤكد فعالية الطريقة المقترحة في التطبيقات الواقعية.
DOI: https://doi.org/10.1109/tip.2026.3694135
PMID: https://pubmed.ncbi.nlm.nih.gov/42208026
Publication Date: 2026-01-01
Author(s): Yue Wang et al.
Primary Topic: Video Surveillance and Tracking Methods
Overview
The section discusses the development of a novel framework for Aerial-Ground Person Re-Identification (AG-ReID) called SD-ReID. This framework addresses the challenges of maintaining identity consistency across varying camera viewpoints, which has been a focus of previous research. Unlike earlier approaches that primarily emphasized discriminative models, SD-ReID incorporates generative models to enhance the representation of individuals by mimicking feature distributions from different views. The methodology involves training a Vision Transformer (ViT)-based model to extract person representations conditioned on identity and view, followed by fine-tuning a Stable Diffusion (SD) model to improve these representations. A View-Refined Decoder (VRD) is also introduced to reconcile instance-level and global-level features, facilitating the retrieval of target individuals.
In conclusion, SD-ReID represents a two-stage framework that effectively generates view-specific features to bolster view-invariant representations. The first stage focuses on extracting coarse representations with associated conditions, while the second stage utilizes these representations to guide the generation of view-specific features. To overcome the challenge of missing instance-level view conditions during inference, a memory bank for global-level conditions is employed alongside the VRD to align generated features with those from the ReID backbone. The integration of refined all-view features with original ReID features results in robust representations for person retrieval, with extensive experiments validating the framework’s effectiveness across five AG-ReID benchmarks.
Introduction
The introduction of the paper discusses the challenges and advancements in Person Re-Identification (ReID), particularly focusing on Aerial-Ground ReID (AG-ReID). ReID aims to identify individuals across different camera views, which has become increasingly relevant due to applications in security and surveillance. Traditional ReID methods often rely on fixed camera setups, leading to limitations in performance due to sparse camera coverage and environmental constraints. The emergence of Unmanned Aerial Vehicles (UAVs) has prompted interest in AG-ReID, which must contend with significant visual discrepancies caused by varying perspectives.
The authors highlight that existing approaches primarily extract view-shared features while neglecting the potential benefits of view-specific features. They propose a novel two-stage framework called SD-ReID, which integrates generative models to synthesize complementary features conditioned on different views. In the first stage, a view-aware ReID model is trained to extract person representations, while the second stage employs a Stable Diffusion (SD) model to generate view-specific features. To address the challenge of accessing instance-level view conditions during inference, the authors introduce a memory bank for global-level view conditions and a View-Refined Decoder (VRD) to enhance feature quality. The proposed framework aims to improve cross-view retrieval effectiveness, with extensive experiments validating its performance across five AG-ReID benchmarks.
Methods
In this section, the performance of the proposed method, SD-ReID, is evaluated against five AG-ReID benchmarks: CARGO, AG-ReID.v1, AG-ReID.v2, LAGPeR, and G2APS-ReID. The results demonstrate that SD-ReID consistently outperforms state-of-the-art methods, particularly in generating view-specific features that enhance cross-view person retrieval. For instance, on the CARGO dataset, SD-ReID achieves a Rank-1 accuracy of 53.12% and a mean Average Precision (mAP) of 46.44%, surpassing the previous best method by 2.49% in Rank-1 and 0.07% in mAP. Across all benchmarks, SD-ReID maintains an average Rank-1 of 70.48% and an mAP of 61.42%, indicating its superior performance against competitive baselines such as SeCap and DTST.
Specifically, on AG-ReID.v1, SD-ReID records 85.16% Rank-1 and 75.40% mAP for the A→G protocol, and 85.97% Rank-1 with 77.02% mAP for G→A, outperforming advanced models like PCL-CLIP and VDT. In AG-ReID.v2, which includes diverse viewpoints, SD-ReID achieves the highest mAP across all protocols, with an average of 81.01% mAP and 87.86% Rank-1. Furthermore, it demonstrates strong performance on LAGPeR and G2APS-ReID datasets, achieving 32.49% Rank-1 and 27.15% mAP on LAGPeR, and 71.82% Rank-1 and 56.64% mAP on G2APS-ReID. Overall, these findings affirm the robustness and effectiveness of SD-ReID in various cross-view scenarios, highlighting its capability to generate view-specific features that significantly enhance retrieval performance.
Discussion
The section discusses advancements in image-based person re-identification (ReID), particularly focusing on aerial-ground person ReID (AG-ReID) and the integration of diffusion models. Traditional ReID methods relied on handcrafted features and later transitioned to Convolutional Neural Networks (CNNs), which, despite improving feature representation, struggled with long-range dependencies and complex scenes. This led to the adoption of Transformer-based methods that utilize attention mechanisms. However, most existing approaches are limited to single-camera inputs and face challenges in sparse camera scenarios. To address these issues, AG-ReID emerged, allowing for identification across aerial and ground views, with recent datasets and models enhancing performance in this domain.
The proposed framework, SD-ReID, employs a two-stage training process. The first stage focuses on extracting discriminative features using a Vision Transformer (ViT), while the second stage utilizes a diffusion model to generate view-specific features that complement the original representations. This approach addresses the limitations of existing methods by leveraging both generative and discriminative models, enhancing the robustness of feature representations. The framework incorporates a momentum memory bank to maintain global view prototypes, which guide the generative process, thereby bridging the distribution gap between different views. The results demonstrate that the integration of generated features significantly improves AG-ReID performance, confirming the effectiveness of the proposed method in real-world applications.
