DOI: https://doi.org/10.1109/tifs.2025.3569176
تاريخ النشر: 2025-01-01
المؤلف: Yukang Zhang وآخرون
الموضوع الرئيسي: طرق المراقبة بالفيديو والتتبع
نظرة عامة
تتناول ورقة البحث التحدي المتمثل في إعادة تحديد هوية الأشخاص في الأشعة تحت الحمراء المرئية (VIReID) من خلال التركيز على تقليل الفجوة بين الصور المرئية والأشعة تحت الحمراء. تركز الأساليب التقليدية بشكل أساسي على المعلومات المكانية، متجاهلة إمكانيات تحليل مجال التردد. للتغلب على هذه القيود، يقدم المؤلفون طريقة جديدة لاستخراج الفروق في مجال التردد (FDNM)، والتي تتكون من مكونين رئيسيين: وحدة المرحلة الموجهة بالسعة (AGP) ووحدة استخراج الفروق بالسعة (ANM). تعمل هذه الوحدات بشكل متكامل لاستكشاف واستغلال الفروق في مجال التردد، مما يقلل بفعالية من الفجوات بين الأنماط.
تقدم الورقة أيضًا خسارة استخراج الفروق الموجهة بالمركز التي تساعد وحدة ANM في الحفاظ على معلومات الهوية التمييزية أثناء الكشف عن الفروق المتنوعة بين الأنماط. تظهر النتائج التجريبية الواسعة أن طريقة FDNM تعزز بشكل كبير أداء VIReID، محققة تحسينات بنسبة 5.2% في دقة الترتيب الأول و5.8% في متوسط الدقة (mAP) على مجموعة بيانات SYSU-MM01 في وضع البحث الداخلي. بالإضافة إلى ذلك، يتم التحقق من فعالية الطريقة وقابليتها للتعميم من خلال اختبارات على مهمة التعرف على الوجه في الأشعة تحت الحمراء المرئية الصعبة. يخطط المؤلفون لجعل كودهم متاحًا للجمهور.
مقدمة
تناقش مقدمة الورقة المجال الناشئ لإعادة تحديد هوية الأشخاص في الأشعة تحت الحمراء المرئية (VIReID)، وهو أمر حاسم لأنظمة المراقبة. التحدي الرئيسي في VIReID ينشأ من الفجوة الكبيرة بين الصور المرئية والأشعة تحت الحمراء، مما يؤدي إلى تباينات داخلية وبين الأنماط. بينما ركزت الأساليب الحالية على الشبكات المعقدة ودوال الخسارة لاستخراج الميزات غير المتغيرة بين الأنماط، فإنها غالبًا ما تتجاهل إمكانيات معلومات مجال التردد. يبرز المؤلفون أن تعلم ميزات مجال التردد قد أظهر وعدًا في تطبيقات متنوعة ويؤكدون أن مكونات السعة المستمدة من تحويل فورييه تحتوي على معلومات أساسية لـ VIReID.
لمعالجة التحديات التي تطرحها الفجوات بين الأنماط، يقترح المؤلفون طريقة جديدة لاستخراج الفروق في مجال التردد (FDNM). تشمل هذه الطريقة وحدتين رئيسيتين: وحدة المرحلة الموجهة بالسعة (AGP)، التي تعزز تعلم مكون المرحلة من خلال الاستفادة من معلومات السعة، ووحدة استخراج الفروق بالسعة (ANM)، التي تستخدم خسارة استخراج الفروق الموجهة بالمركز لاستكشاف الفروق بين الأنماط. من خلال دمج هذه الوحدات في شبكة شاملة، تقلل طريقة FDNM بفعالية من الفجوات بين الأنماط وتحسن القوة التمييزية للميزات المتعلمة. يذكر المؤلفون أن التجارب الواسعة تظهر تفوق نهجهم على الأساليب المتطورة عبر ثلاث مجموعات بيانات صعبة لـ VIReID، بالإضافة إلى فعاليتها في مهمة التعرف على الوجه في الأشعة تحت الحمراء المرئية.
الطرق
في هذا القسم، يتم تفصيل المنهجية المستخدمة لتقييم نموذج شبكة تباين الميزات المقترح (FDNM)، مع التركيز على أدائه مقارنة بعدة أساليب متطورة عبر مجموعات بيانات متنوعة. تشير النتائج الكمية إلى أن FDNM يتفوق على الأساليب المنافسة على مجموعتي بيانات SYSU-MM01 وRegDB، محققًا مقاييس ملحوظة مثل 77.8% دقة الترتيب الأول و75.1% متوسط الدقة (mAP) في وضع البحث الشامل، و87.3% دقة الترتيب الأول و89.1% mAP في وضع البحث الداخلي. بالمقارنة، يتجاوز FDNM أساليب SGIEL وDEEN بفجوات كبيرة، مما يظهر قدراته القوية على التعميم لكل من المشاهد الخارجية والداخلية.
على مجموعة بيانات RegDB، يحقق FDNM دقة الترتيب الأول بنسبة 95.5% و90.0% mAP في وضع VIS إلى IR، متفوقًا على الطريقة الثانية الأفضل (MUN) بنسبة 2.8% في mAP. في وضع IR إلى VIS، يحقق دقة الترتيب الأول بنسبة 94.0% و88.7% mAP، مما يثبت فعالية FDNM في معالجة الفجوات بين الأنماط. بالإضافة إلى ذلك، تظهر النتائج من مجموعة بيانات LLCM أداءً تنافسيًا، حيث يحقق FDNM دقة الترتيب الأول بنسبة 56.6% و62.7% mAP من IR إلى VIS، و70.2% دقة الترتيب الأول و55.8% mAP من VIS إلى IR. كما يبرز التحليل كفاءة FDNM مقارنة بـ DEEN، التي، على الرغم من أدائها المثير للإعجاب، تتطلب موارد حسابية كبيرة. أخيرًا، يتم فحص تأثير المعلمات الفائقة $\lambda_2$ و$m$ على أداء FDNM، مما يكشف عن قيم مثالية تبلغ 0.5 و0.2، على التوالي، بعد ذلك قد يتراجع الأداء.
المناقشة
في هذا القسم، يناقش المؤلفون التقدم في إعادة تحديد هوية الأشخاص في الأشعة تحت الحمراء المرئية (ReID) ويقدمون طريقتهم الجديدة لاستخراج الفروق في مجال التردد (FDNM). يبرزون الأساليب الحالية التي تعالج الفجوة بين الأنماط في VIS-IR، مثل الأساليب على مستوى الصورة التي تولد أزواج صور VIS-IR والشبكات الخفيفة التي تستخدم التحولات الرمادية. ومع ذلك، غالبًا ما تتجاهل هذه الأساليب أهمية معلومات التردد، والتي تعتبر حاسمة لتحسين أداء النموذج. يؤكد المؤلفون على فائدة تحويل فورييه في تحليل محتوى التردد ويقترحون طريقتهم FDNM، التي تستفيد من كل من مكونات السعة والمرحلة لتقليل الفجوات بين الأنماط بفعالية.
تتكون طريقة FDNM من وحدتين رئيسيتين: وحدة المرحلة الموجهة بالسعة (AGP) ووحدة استخراج الفروق بالسعة (ANM). تستخدم وحدة AGP معلومات السعة لتوجيه تعلم مكون المرحلة، مما يحسن تمثيل الميزات ويقلل من الفجوات بين الأنماط. من ناحية أخرى، تركز وحدة ANM على اكتشاف الفروق بين الأنماط في مكون السعة، مدعومة بخسارة استخراج الفروق الموجهة بالمركز التي تحافظ على معلومات الهوية أثناء تسهيل التعلم الفعال. تظهر النتائج التجريبية على مجموعات بيانات صعبة متعددة أن FDNM المقترح يتفوق بشكل كبير على الأساليب الحالية، مما يبرز فعاليته في كل من مهام VIReID والتعرف على الوجه.
DOI: https://doi.org/10.1109/tifs.2025.3569176
Publication Date: 2025-01-01
Author(s): Yukang Zhang et al.
Primary Topic: Video Surveillance and Tracking Methods
Overview
The research paper addresses the challenge of visible-infrared person re-identification (VIReID) by focusing on minimizing the modality discrepancy between visible and infrared images. Traditional approaches have primarily concentrated on spatial information, neglecting the potential of frequency domain analysis. To overcome this limitation, the authors introduce a novel Frequency Domain Nuances Mining (FDNM) method, which comprises two key components: the amplitude guided phase (AGP) module and the amplitude nuances mining (ANM) module. These modules work synergistically to explore and exploit frequency domain nuances, effectively reducing modality discrepancies.
The paper also presents a center-guided nuances mining loss that aids the ANM module in maintaining discriminative identity information while uncovering diverse cross-modality nuances. Extensive experimental results demonstrate that the FDNM method significantly enhances VIReID performance, achieving improvements of 5.2% in Rank-1 accuracy and 5.8% in mean Average Precision (mAP) on the SYSU-MM01 dataset in indoor search mode. Additionally, the method’s effectiveness and generalizability are validated through tests on a challenging visible-infrared face recognition task. The authors plan to make their code publicly available.
Introduction
The introduction of the paper discusses the emerging field of visible-infrared (VIS-IR) person re-identification (VIReID), which is crucial for surveillance systems. The primary challenge in VIReID arises from the significant modality discrepancy between VIS and IR images, leading to intra-modality and inter-modality variations. While existing approaches have focused on complex networks and loss functions to extract modality-invariant features, they often overlook the potential of frequency domain information. The authors highlight that frequency domain feature learning has shown promise in various applications and argue that the amplitude components derived from the Fourier transform contain essential information for VIReID.
To address the challenges posed by modality discrepancies, the authors propose a novel frequency domain nuances mining (FDNM) method. This method includes two key modules: the amplitude guided phase (AGP) module, which enhances the learning of the phase component by leveraging amplitude information, and the amplitude nuances mining (ANM) module, which utilizes a center-guided nuances mining loss to explore cross-modality nuances. By integrating these modules into an end-to-end network, the FDNM method effectively reduces modality discrepancies and improves the discriminative power of the learned features. The authors report that extensive experiments demonstrate the superiority of their approach over state-of-the-art methods across three challenging VIReID datasets, as well as its effectiveness in the VIS-IR face recognition task.
Methods
In this section, the methodology employed to evaluate the proposed Feature Discrepancy Network Model (FDNM) is detailed, focusing on its performance against several state-of-the-art methods across various datasets. The quantitative results indicate that FDNM outperforms competing methods on the SYSU-MM01 and RegDB datasets, achieving notable metrics such as 77.8% Rank-1 accuracy and 75.1% mean Average Precision (mAP) in the all-search mode, and 87.3% Rank-1 accuracy and 89.1% mAP in the indoor-search mode. Comparatively, FDNM surpasses the SGIEL and DEEN methods by significant margins, demonstrating its robust generalization capabilities for both outdoor and indoor scenes.
On the RegDB dataset, FDNM achieves 95.5% Rank-1 accuracy and 90.0% mAP in the VIS to IR mode, outperforming the second-best method (MUN) by 2.8% in mAP. In the IR to VIS mode, it achieves 94.0% Rank-1 accuracy and 88.7% mAP, further validating the effectiveness of FDNM in addressing modality discrepancies. Additionally, results from the LLCM dataset show competitive performance, with FDNM attaining 56.6% Rank-1 accuracy and 62.7% mAP for IR to VIS, and 70.2% Rank-1 accuracy and 55.8% mAP for VIS to IR. The analysis also highlights the efficiency of FDNM compared to DEEN, which, despite its impressive performance, demands considerable computational resources. Lastly, the influence of hyperparameters $\lambda_2$ and $m$ on FDNM’s performance is examined, revealing optimal values of 0.5 and 0.2, respectively, beyond which performance may decline.
Discussion
In this section, the authors discuss advancements in visible-infrared (VIS-IR) person re-identification (ReID) and introduce their novel frequency domain nuances mining (FDNM) method. They highlight existing approaches that address the VIS-IR modality discrepancy, such as image-level methods that generate VIS-IR image pairs and lightweight networks that utilize grayscale transformations. However, these methods often overlook the importance of frequency information, which is critical for enhancing model performance. The authors emphasize the utility of the Fourier Transform in analyzing frequency content and propose their FDNM method, which leverages both amplitude and phase components to effectively reduce modality discrepancies.
The FDNM method comprises two key modules: the amplitude guided phase (AGP) module and the amplitude nuances mining (ANM) module. The AGP module utilizes amplitude information to guide phase component learning, thereby improving feature representation and reducing modality discrepancies. The ANM module, on the other hand, focuses on discovering cross-modality nuances in the amplitude component, supported by a center-guided nuances mining loss that preserves identity information while facilitating effective learning. Experimental results on multiple challenging datasets demonstrate that the proposed FDNM significantly outperforms existing methods, showcasing its effectiveness in both VIReID and face recognition tasks.