DOI: https://doi.org/10.1145/3786798
تاريخ النشر: 2026-01-03
المؤلف: Zhenyun Du وآخرون
الموضوع الرئيسي: تقنيات استرجاع الصور والفيديو المتقدمة
نظرة عامة
تقدم ورقة البحث نهجًا جديدًا لاسترجاع الأشخاص من النص إلى الصورة (TIPR)، وهي مهمة تركز على مطابقة صور الأفراد مع الوصف النصي المقابل. يحدد المؤلفون التحديات الرئيسية في تحقيق التوافق القوي عبر الأنماط المختلفة وينتقدون الأساليب الحالية لاعتمادها على آليات الانتباه التي لا تتحقق بشكل كافٍ من محاذاة الميزات المحلية. لمعالجة هذه القضايا، يقدمون إطار العمل Full-Mode Fine-grained Alignment (FMFA)، الذي يدمج المحاذاة الدقيقة الصريحة مع التفكير العلاقي الضمني، مما يعزز المطابقة العالمية دون الحاجة إلى إشارات إشراف إضافية.
تتكون إطار العمل FMFA من وحدتين مبتكرتين: وحدة مطابقة توزيع التشابه التكيفية (A-SDM)، التي تصحح أزواج العينات الإيجابية غير المتطابقة عن طريق ضبط قربها بشكل تكيفي في فضاء التضمين المشترك، ووحدة المحاذاة الدقيقة الصريحة (EFA)، التي تحسن المحاذاة المحلية من خلال مصفوفة تشابه نادرة وطريقة ترميز صارمة. يتم إثبات فعالية إطار العمل FMFA من خلال تقييمات شاملة على ثلاثة مجموعات بيانات عامة، حيث تحقق أداءً رائدًا في المطابقة العالمية. ومع ذلك، يعترف المؤلفون بوجود قيود تتعلق بالعَتبة الثابتة في العملية النادرة، والتي قد تؤدي إلى فقدان المعلومات الدلالية. يقترحون أن دمج الأساليب التكيفية يمكن أن يعزز أداء النموذج بشكل أكبر.
مقدمة
تناقش مقدمة ورقة البحث استرجاع الأشخاص من النص إلى الصورة (TIPR)، الذي يركز على تحديد الأفراد من أوصاف اللغة الطبيعية ضمن مجموعة كبيرة من الصور. على عكس استرجاع الصور والنصوص العامة، يواجه TIPR تحديات فريدة بسبب التباين الكبير داخل الفئة – الناجم عن الاختلافات في المظاهر البصرية والأوصاف النصية. يحدد البحث فئتين رئيسيتين من الأساليب الحالية لمعالجة هذه التحديات: أساليب المطابقة العالمية، التي تقوم بمحاذاة الصور والنصوص في فضاء التضمين المشترك باستخدام دوال الخسارة مثل مطابقة الإسقاط عبر الأنماط (CMPM) ومطابقة توزيع التشابه (SDM)، وأساليب المطابقة المحلية التي تستخدم آليات الانتباه لتحقيق المحاذاة الدقيقة.
لتحسين هذه الأساليب الحالية، يقترح المؤلفون إطار عمل جديد يسمى Full-Mode Fine-grained Alignment (FMFA). يعزز هذا الإطار المطابقة العالمية من خلال المحاذاة الدقيقة الصريحة بين الصورة والنص والتفكير العلاقي. تشمل الابتكارات الرئيسية وحدة مطابقة توزيع التشابه التكيفية (A-SDM)، التي تضمن المحاذاة الدقيقة لأزواج الصورة والنص الإيجابية، ووحدة المحاذاة الدقيقة الصريحة (EFA)، التي تستخدم مصفوفة تشابه نادرة للتجميع الصريح للتمثيلات متعددة الأنماط. يظهر إطار العمل FMFA أداءً تنافسيًا على المعايير العامة مع الحفاظ على كفاءة استدلال عالية، مما يبرز مساهماته في تعزيز المحاذاة عبر الأنماط دون إشراف إضافي أو عبء حسابي.
الطرق
في هذا القسم، يقارن المؤلفون طريقتهم المقترحة، FMFA، مع التقنيات الرائدة، تحديدًا NAM وHAM، عبر ثلاثة مجموعات بيانات مرجعية عامة: CUHK-PEDES وRSTPReid وICFG-PEDES. تصنف المقارنة الأساليب بناءً على هيكل الشبكة – تلك التي تستخدم VL-Backbones مع وبدون تدريب مسبق في مجال ReID – وتفرق أيضًا بين أساليب المطابقة المحلية والعالمية. النموذج الأساسي، المشار إليه باسم IRRA 𝑅، يعمل كنقطة مرجعية لتقييم أداء FMFA.
تشير النتائج إلى أن FMFA تتفوق باستمرار على IRRA عبر جميع المجموعات والقياسات. على CUHK-PEDES، تحقق FMFA 74.16% في المرتبة الأولى و66.66% في المقياس المتوسط دون تدريب مسبق في مجال ReID، متجاوزة IRRA بنسبة 0.74% في المرتبة الخامسة. مع التدريب المسبق في مجال ReID، تصل FMFA إلى أكثر من 95% دقة في المرتبة الخامسة باستخدام الهيكل الأساسي القائم على HAM. بالمثل، على RSTPReid، تظهر FMFA نتائج تنافسية، متفوقة على IRRA بنسبة 1.55% في المرتبة الأولى و2.05% في المرتبة الخامسة. على ICFG-PEDES، تتصدر FMFA بنسبة 64.29% في المرتبة الأولى و39.43% في المقياس المتوسط، مما يشير إلى تحسينات مقارنة بـ IRRA. بشكل عام، تظهر FMFA أداءً متفوقًا عبر جميع مقاييس التقييم، مما يثبت أنها الطريقة الرائدة بين تقنيات المطابقة العالمية.
النتائج
تشير النتائج النوعية للدراسة إلى ظهور مواضيع هامة من البيانات المجمعة. أفاد المشاركون بتجارب متنوعة تسلط الضوء على تعقيدات الموضوع. تشمل النتائج الرئيسية تحديد أنماط معينة في السلوك والمواقف، مما يشير إلى الدوافع الأساسية والتأثيرات السياقية.
بالإضافة إلى ذلك، كشفت التحليلات أن بعض العوامل أثرت باستمرار على تصورات المشاركين واستجاباتهم، مما يوفر رؤى حول الآثار الأوسع للبحث. تساهم هذه الرؤى النوعية في فهم أعمق للظواهر قيد التحقيق، مما يبرز أهمية السياق في تشكيل التجارب الفردية.
المناقشة
تسلط قسم المناقشة في الورقة الضوء على تطور التحديات في مجال استرجاع الأشخاص من النص إلى الصورة (TIPR)، الذي بدأه لي وآخرون مع مجموعة بيانات CUHK-PEDES. التحدي الرئيسي في TIPR هو إنشاء مساحة كامنة مشتركة تتماشى فيها التمثيلات البصرية والنصية بشكل فعال. يتم تصنيف الأساليب الحالية إلى نهج المطابقة العالمية والمحلية. ركزت الأساليب العالمية المبكرة على محاذاة التمثيلات العالمية لكنها كانت تفتقر إلى التفاعلات الدقيقة، بينما حسنت الأساليب المحلية ذلك من خلال محاذاة الميزات المحلية لكنها غالبًا ما اعتمدت على نماذج مدربة مسبقًا أحادية النمط، مما يفوت إمكانيات نماذج الرؤية واللغة الحديثة (VLMs). أدت التقدمات الحديثة إلى دمج VLMs في أطر المطابقة المحلية، مما يعزز المحاذاة عبر الأنماط ولكن على حساب زيادة التعقيد الحسابي أثناء الاستدلال.
لمعالجة هذه القيود، يقترح المؤلفون إطار العمل FMFA، الذي يهدف إلى تحسين كل من المحاذاة عبر الأنماط العالمية والمحلية من خلال المحاذاة الدقيقة الصريحة ومطابقة توزيع التشابه التكيفية (A-SDM). يستخدم إطار العمل FMFA نماذج CLIP المعدلة لاستخراج الميزات ويقدم وحدة A-SDM التي تعزز بشكل تكيفي قدرة المطابقة من خلال التركيز على الأزواج الإيجابية غير المتطابقة. بالإضافة إلى ذلك، يستخدم الإطار استراتيجية محاذاة دقيقة صريحة تستفيد من مصفوفة تشابه نادرة لضمان تطابقات محلية دقيقة مع تقليل العبء الحسابي. يتم تقييم الأساليب المقترحة مقابل مجموعات البيانات المعتمدة، مما يظهر تحسينات كبيرة في أداء الاسترجاع، خاصة من خلال دمج A-SDM ووحدة المحاذاة الدقيقة الصريحة (EFA)، التي تعزز بشكل جماعي قدرة النموذج على تحقيق تفاعلات فعالة عبر الأنماط.
DOI: https://doi.org/10.1145/3786798
Publication Date: 2026-01-03
Author(s): Zhenyun Du et al.
Primary Topic: Advanced Image and Video Retrieval Techniques
Overview
The research paper presents a novel approach to Text-to-Image Person Retrieval (TIPR), a task focused on matching images of individuals with corresponding textual descriptions. The authors identify key challenges in achieving robust cross-modal correspondence and critique existing methods for their reliance on attention mechanisms that do not adequately verify local feature alignment. To address these issues, they introduce the Full-Mode Fine-grained Alignment (FMFA) framework, which integrates explicit fine-grained alignment with implicit relational reasoning, enhancing global matching without requiring additional supervisory signals.
Central to the FMFA framework are two innovative modules: the Adaptive Similarity Distribution Matching (A-SDM) module, which rectifies unmatched positive sample pairs by adaptively adjusting their proximity in the joint embedding space, and the Explicit Fine-grained Alignment (EFA) module, which improves local alignment through a sparse similarity matrix and a hard coding method. The effectiveness of the FMFA framework is demonstrated through comprehensive evaluations on three public datasets, where it achieves state-of-the-art performance in global matching. However, the authors acknowledge a limitation related to the fixed threshold in the sparse process, which may lead to the loss of semantic information. They suggest that incorporating adaptive methods could further enhance the model’s performance.
Introduction
The introduction of the research paper discusses Text-to-Image Person Retrieval (TIPR), which focuses on identifying individuals from natural language descriptions within a large image gallery. Unlike general image-text retrieval, TIPR faces unique challenges due to significant intra-class variance—stemming from variations in visual appearances and textual descriptions. The paper outlines two primary categories of existing methods for addressing these challenges: global matching methods, which align images and texts in a joint embedding space using loss functions like Cross-Modal Projection Matching (CMPM) and Similarity Distribution Matching (SDM), and local matching methods that utilize attention mechanisms for fine-grained alignment.
To improve upon these existing approaches, the authors propose a novel framework called Full-Mode Fine-grained Alignment (FMFA). This framework enhances global matching through explicit fine-grained image-text alignment and relational reasoning. Key innovations include the Adaptive Similarity Distribution Matching (A-SDM) module, which ensures precise alignment of positive image-text pairs, and the Explicit Fine-Grained Alignment (EFA) module, which employs a sparse similarity matrix for explicit aggregation of multimodal representations. The FMFA framework demonstrates competitive performance on public benchmarks while maintaining high inference efficiency, highlighting its contributions to advancing cross-modal alignment without additional supervision or computational overhead.
Methods
In this section, the authors compare their proposed method, FMFA, with state-of-the-art techniques, specifically NAM and HAM, across three public benchmark datasets: CUHK-PEDES, RSTPReid, and ICFG-PEDES. The comparison categorizes methods based on their network architecture—those using VL-Backbones with and without ReID-domain pre-training—and further distinguishes between local and global matching methods. The baseline model, referred to as IRRA 𝑅, serves as a reference point for evaluating FMFA’s performance.
The results indicate that FMFA consistently outperforms IRRA across all datasets and metrics. On CUHK-PEDES, FMFA achieves 74.16% Rank-1 and 66.66% mAP without ReID-domain pre-training, surpassing IRRA by 0.74% in Rank-5. With ReID-domain pre-training, FMFA reaches over 95% Rank-5 accuracy using the HAM-based backbone. Similarly, on RSTPReid, FMFA shows competitive results, outperforming IRRA by 1.55% in Rank-1 and 2.05% in Rank-5. On ICFG-PEDES, FMFA leads with 64.29% Rank-1 and 39.43% mAP, marking improvements over IRRA. Overall, FMFA demonstrates superior performance across all evaluation metrics, establishing it as the leading method among global matching techniques.
Results
The qualitative results of the study indicate significant themes emerging from the data collected. Participants reported a range of experiences that highlight the complexities of the subject matter. Key findings include the identification of specific patterns in behavior and attitudes, which suggest underlying motivations and contextual influences.
Additionally, the analysis revealed that certain factors consistently impacted participants’ perceptions and responses, providing insights into the broader implications of the research. These qualitative insights contribute to a deeper understanding of the phenomena under investigation, emphasizing the importance of context in shaping individual experiences.
Discussion
The discussion section of the paper highlights the evolution and challenges in the field of Text-to-Image Person Retrieval (TIPR), initiated by Li et al. with the CUHK-PEDES dataset. The primary challenge in TIPR is to create a shared latent space that aligns visual and textual representations effectively. Existing methods are categorized into global and local matching approaches. Early global methods focused on aligning global representations but lacked fine-grained interactions, while local methods improved this by aligning local features but often relied on unimodal pre-trained models, missing the potential of recent Vision-Language Models (VLMs). Recent advancements have integrated VLMs into local matching frameworks, enhancing cross-modal alignment but at the cost of increased computational complexity during inference.
To address these limitations, the authors propose the FMFA framework, which aims to improve both global and local cross-modal alignment through explicit fine-grained alignment and adaptive similarity distribution matching (A-SDM). The FMFA framework utilizes modified CLIP models for feature extraction and introduces an A-SDM module that adaptively enhances the matching capability by focusing on unmatched positive pairs. Additionally, the framework employs an explicit fine-grained alignment strategy that leverages a sparse similarity matrix to ensure precise local correspondences while minimizing computational overhead. The proposed methods are evaluated against established datasets, demonstrating significant improvements in retrieval performance, particularly through the integration of A-SDM and the Explicit Fine-grained Alignment (EFA) module, which collectively enhance the model’s ability to achieve effective cross-modal interactions.