DOI: https://doi.org/10.1016/j.isprsjprs.2026.04.023
تاريخ النشر: 2026-04-22
المؤلف: Zilun Zhang وآخرون
الموضوع الرئيسي: تطبيقات تعلم الآلة متعددة الوسائط
نظرة عامة
يتناول هذا القسم التحديات المتعلقة بفهم التعبيرات الإشارية في الاستشعار عن بعد، وخاصة الصعوبات في التفكير حول العلاقات المعقدة بين الكائنات والسياقات. بينما يظهر التعديل الدقيق تحت الإشراف (SFT) على نماذج اللغة الكبيرة متعددة الوسائط (MLLMs) أداءً قويًا مع مجموعات بيانات موسومة واسعة، إلا أنه يتعثر في البيئات التي تعاني من نقص البيانات، مما يؤدي إلى ضعف التعميم. للتغلب على هذه المشكلة، يقدم المؤلفون Geo-R1، وهو نموذج تعديل دقيق معزز يركز على التفكير (RFT) مصمم للإشارة الجغرافية القليلة. يقوم Geo-R1 بإنشاء سلاسل تفكير واضحة وقابلة للتفسير تقوم بتفكيك التعبيرات الإشارية، مما يسهل تحديد مواقع الكائنات المستهدفة ويعزز القابلية للتفسير. تظهر التحقق على ثلاثة معايير للإشارة الجغرافية القليلة أن Geo-R1 يتفوق بشكل كبير على معايير SFT ويظهر تعميمًا قويًا عبر مجموعات البيانات.
في الختام، يحدد البحث مهمة عامة لفهم التعبيرات الإشارية، مع التركيز على التعرف على الكائنات من التعبيرات الإشارية. يقارن المؤلفون بين نماذج التعلم المعزز (GRPO) ونماذج SFT بعد التدريب عبر مهام مختلفة في مجال الاستشعار عن بعد. تشير النتائج إلى أن نموذج Geo-R1 المدرب باستخدام GRPO يتفوق باستمرار على نماذج SFT المعدلة، خاصة في السيناريوهات ذات البيانات القليلة، ويظهر تعميمًا محسنًا عبر مجموعات البيانات. تشمل اتجاهات البحث المستقبلية توسيع Geo-R1 ليشمل بيانات الطيف المتعدد والرادار ذي الفتحة الاصطناعية (SAR)، واستكشاف مهام أساسية أوسع، وتنقيح منهجيات التدريب لتحسين الأداء بشكل أكبر.
مقدمة
في مقدمة ورقة البحث، يبرز المؤلفون أهمية نماذج الرؤية-اللغة (VLMs) في مجال تحليل صور الاستشعار عن بعد (RS). من خلال دمج اللغة الطبيعية مع صور RS، تسهل VLMs مهام متنوعة، بما في ذلك كتابة التعليقات على الصور، والإجابة على الأسئلة البصرية (VQA)، واكتشاف المفردات المفتوحة (OVD)، وخاصة، فهم التعبيرات الإشارية (REU)، التي تشمل كل من فهم التعبيرات الإشارية (REC) وتقسيم التعبيرات الإشارية (RES). تتطلب هذه المهام من النموذج ترجمة الأوصاف اللغوية الحرة إلى توقعات مكانية دقيقة، مثل صناديق الحدود أو أقنعة التقسيم، في الصور الجوية عالية الدقة.
يشير المؤلفون إلى أنه بينما تم تحقيق تقدمات حديثة في مهام REU من خلال التعديل الدقيق تحت الإشراف (SFT)، تعتمد هذه الطرق بشكل كبير على تسميات تدريب واسعة، والتي تتطلب جهدًا كبيرًا لإنشائها. تتطلب الإشراف عالي الجودة محاذاة مفصلة بين مستوى الصورة والمنطقة اللغوية، مما يتطلب خبرة ووقتًا كبيرين من المعلقين. نظرًا للتحديات المرتبطة بإنشاء تعليقات دقيقة، يدعو المؤلفون إلى أساليب التعلم القليل، التي يمكن أن تمكن VLMs من التعلم بفعالية من أمثلة محدودة. يشيرون إلى أعمال سابقة نجحت في تطبيق التعلم القليل على تصنيف المشاهد، لكنهم يلاحظون أن تعقيد الأساس الإقليمي في REU يقدم تحديات إضافية. تختتم المقدمة بطرح السؤال الحاسم حول ما إذا كانت VLMs يمكن أن تؤسس اللغة بدقة في صور الاستشعار عن بعد مع وجود عدد قليل فقط من الأمثلة المتوافقة، مما يمهد الطريق لاستكشاف التعلم المعزز (RL) كحل محتمل لتعزيز قدرات التفكير في هذا السياق.
طرق
في هذا القسم، يصف المؤلفون تكييف خوارزمية GRPO (تحسين المكافأة التنبؤية العامة) من المهام اللغوية فقط إلى المهام الرؤية-اللغة، مع تعريف رسمي لمهمة REU (التفكير تحت عدم اليقين القليل). يوضحون المنهجية لتطبيق GRPO على هذه المهام، مع التركيز على تطوير وظائف مكافأة مخصصة محددة للمهام لتعزيز الأداء.
بالإضافة إلى ذلك، يقدم المؤلفون نتائج تجريبية إضافية في الملحق، والتي تشمل تحليل القوة عبر عدة بذور عشوائية، وتقييم كمي لسلاسل التفكير المولدة، وتحليل مفصل لحالات الفشل، وفحص استقرار التدريب عبر مهام مختلفة. تدعم النتائج من هذه التجارب الإضافية باستمرار الاستنتاجات الرئيسية للدراسة، مما يوضح بشكل أكبر قوة وفعالية نموذج Geo-R1.
نتائج
يقدم قسم النتائج مقارنة شاملة بين نماذج مختلفة تم تدريبها على مجموعة بيانات VRS-Bench، مع تسليط الضوء على الأداء المتفوق لطرق التعلم المعزز (RL) مقارنة بأساليب التعديل الدقيق تحت الإشراف (SFT). على وجه الخصوص، يظهر النموذج القائم على GRPO ميزة كبيرة في إعداد 10-shot، حيث يحقق درجة Acc@0.5 أعلى بنسبة 12.30% من نظيره SFT، حتى عند تدريبه على 0.71% فقط من البيانات. بالإضافة إلى ذلك، يتفوق أسلوب DAPO باستمرار على GRPO، مما يشير إلى أن تحسينات إضافية في تدريب RL قد تؤدي إلى نتائج أفضل في السيناريوهات ذات البيانات القليلة. من الجدير بالذكر أن طرق RL تظهر فعالية أكبر في المهام الأبسط، كما يتضح من مكاسبها الملحوظة على مجموعة Unique مقارنة بمجموعة Non-Unique.
يكشف التحليل الإضافي أن SFT يمكن أن يكون ضارًا في السيناريوهات ذات البيانات القليلة، حيث غالبًا ما تفشل النماذج في تجاوز أداء الأسس الصفرية بسبب الإفراط في التكيف على عينات تدريب محدودة وغير متنوعة. في المقابل، يتفوق GRPO باستمرار على SFT عبر جميع الفئات والإعدادات، مع اتساع الفجوة في الأداء في البيئات ذات البيانات القليلة الأكثر تحديًا. على سبيل المثال، تزداد الفجوة في متوسط الدقة (mAP) بين GRPO وSFT من 4.72 في سيناريو 10-shot إلى 6.58 في سيناريو 5-shot. يبرز القسم أيضًا فعالية خط أنابيب GRPO المقترح في مهمة GRES، حيث يحقق نموذج Geo-R1 تحسينات كبيرة في مقاييس التقاطع الهندسي على الاتحاد (gIoU)، مما يوضح قوته وكفاءته في ظروف نقص البيانات. بشكل عام، تؤكد النتائج على مزايا نماذج ما بعد التدريب القائمة على RL لتكييف النماذج مع المهام المتخصصة ذات البيانات المحدودة.
مناقشة
في هذا القسم، يناقش المؤلفون طريقة Geo-R1، وهي نهج تعلم معزز (RL) مصمم لفهم التعبيرات الإشارية القليلة (REU) في صور الاستشعار عن بعد. يستفيد Geo-R1 من إطار عمل يركز على التفكير يشجع النموذج على توليد خطوات تفكير وسيطة قبل إجراء التوقعات، مما يعزز التعميم عبر عينات نصية وصورية متنوعة. تستخدم الطريقة وظائف مكافأة محددة للمهام، مثل دقة الصندوق (AP) ودقة التقاطع العام على مستوى القناع (gIoU)، لتحسين السلوكيات المكانية المتجذرة التي تكافح طرق التعديل الدقيق تحت الإشراف (SFT) لتحقيقها. يقدم المؤلفون ثلاثة معايير—VRSBench-FS، EarthReason-FS، وNWPU-FS—تأسيس بروتوكولات موحدة لتقييم REU القليل، ويظهرون أن Geo-R1 يتفوق باستمرار على SFT عبر هذه المعايير، موفرًا آثار تفكير قابلة للتدقيق من قبل البشر توضح نجاحات وفشل النموذج.
تسلط المناقشة أيضًا الضوء على أهمية إطار عمل تحسين السياسة النسبية الجماعية (GRPO)، الذي يعزز قدرات التفكير لنماذج الرؤية-اللغة (VLMs) من خلال استخدام المكافآت القائمة على القواعد. يشير المؤلفون إلى أن تصميم Geo-R1 يسمح باستكشاف سلاسل تفكير متعددة، مما يؤدي إلى إشراف أغنى من أمثلة محدودة. علاوة على ذلك، تكشف التجارب أن Geo-R1 يظهر أداءً متفوقًا في التعميم عبر مجموعات البيانات، محققًا تحسينات ملحوظة في كل من مهام REC وGRES مقارنة بالنماذج القائمة على SFT. تؤكد النتائج على إمكانية استخدام طرق RL في تعزيز التعلم القليل في تطبيقات الاستشعار عن بعد، خاصة في السيناريوهات التي تتميز ببيانات موسومة محدودة وتنوع عالي في كل من المدخلات البصرية والنصية.
القيود
في خط أنابيب GRES، لا يقوم نموذج اللغة متعدد التسميات (MLLM) بإنشاء أقنعة بكسل مباشرة؛ بدلاً من ذلك، يتنبأ بمطالبات منظمة مثل صناديق الحدود ونقاط المفاتيح. يتم إنتاج القناع النهائي للتقسيم، المشار إليه باسم Geo-R1، بواسطة نموذج تقسيم مجمد (SAM2). يتم تطبيق التعلم المعزز (RL) من خلال حساب مكافأة على مستوى القناع بناءً على القناع الناتج وإعادة توجيه تحديثات تدرج السياسة إلى MLLM. تركز هذه الطريقة على تحسين سياسة توليد المطالبات من خلال الإشراف على مستوى القناع بدلاً من تعديل نموذج التقسيم نفسه.
ومع ذلك، يقدم هذا التصميم المنفصل بعض القيود. يعتمد أداء خط أنابيب GRES على كفاءة نموذج التقسيم مع صور الاستشعار عن بعد، مما قد يحد من الفعالية إذا لم يكن النموذج مناسبًا جيدًا لهذا المجال. من ناحية أخرى، يوفر هذا الهيكل مرونة، مما يسمح باستبدال نموذج التقسيم ببدائل أكثر قوة أو ملاءمة للمجال، مثل SAM3 (Carion et al., 2026) أو RemoteSAM (Yao et al., 2025). يتيح استخدام نموذج تقسيم قائم على المطالبات قابل للتعميم بدرجة عالية للنظام تحقيق أداء قوي في GRES مع عدد محدود من عينات التدريب من خلال التركيز بشكل أساسي على تعلم المطالبات الفعالة.
DOI: https://doi.org/10.1016/j.isprsjprs.2026.04.023
Publication Date: 2026-04-22
Author(s): Zilun Zhang et al.
Primary Topic: Multimodal Machine Learning Applications
Overview
The section discusses the challenges of referring expression understanding in remote sensing, particularly the difficulties in reasoning about complex object-context relationships. While supervised fine-tuning (SFT) on multimodal large language models (MLLMs) shows strong performance with extensive labeled datasets, it falters in data-scarce environments, resulting in poor generalization. To overcome this issue, the authors introduce Geo-R1, a reasoning-centric reinforcement fine-tuning (RFT) paradigm designed for few-shot geospatial referring. Geo-R1 generates explicit and interpretable reasoning chains that decompose referring expressions, facilitating the localization of target objects and enhancing interpretability. Validation on three few-shot geospatial referring benchmarks demonstrates that Geo-R1 significantly outperforms SFT baselines and exhibits robust cross-dataset generalization.
In conclusion, the paper establishes a generic task of Referring Expression Understanding, focusing on object recognition from referring expressions. The authors compare reinforcement learning-based (GRPO) and SFT-based post-training paradigms across various tasks in the remote sensing domain. Results indicate that the GRPO-trained Geo-R1 model consistently surpasses standard SFT-tuned models, particularly in low-shot scenarios, and shows enhanced cross-dataset generalization. Future research directions include extending Geo-R1 to multispectral and synthetic aperture radar (SAR) data, exploring broader grounding tasks, and refining training methodologies to improve performance further.
Introduction
In the introduction of the research paper, the authors highlight the significance of Vision-Language Models (VLMs) in the realm of remote sensing (RS) imagery analysis. By integrating natural language with RS imagery, VLMs facilitate various tasks, including image captioning, visual question answering (VQA), Open-Vocabulary Detection (OVD), and notably, Referring Expression Understanding (REU), which encompasses both referring expression comprehension (REC) and referring expression segmentation (RES). These tasks require the model to translate free-form linguistic descriptions into precise spatial predictions, such as bounding boxes or segmentation masks, in high-resolution aerial images.
The authors point out that while recent advancements in REU tasks have been achieved through supervised fine-tuning (SFT), these methods rely heavily on extensive training labels, which are labor-intensive to create. High-quality supervision necessitates detailed image-level and language-region alignment, demanding significant expertise and time from annotators. Given the challenges associated with generating fine-grained annotations, the authors advocate for few-shot learning approaches, which could enable VLMs to learn effectively from limited examples. They reference previous works that have successfully applied few-shot learning to scene classification but note that the complexity of region-level grounding in REU presents additional challenges. The introduction concludes by raising the critical question of whether VLMs can accurately ground language in remote sensing images with only a few aligned examples, setting the stage for exploring reinforcement learning (RL) as a potential solution to enhance reasoning capabilities in this context.
Methods
In this section, the authors describe the adaptation of the GRPO (Generalized Reward-Predictive Optimization) algorithm from language-only tasks to vision-language tasks, formally defining the REU (Reasoning under Few-shot Uncertainty) task. They outline the methodology for applying GRPO to these tasks, emphasizing the development of customized task-specific reward functions to enhance performance.
Additionally, the authors present supplementary experimental results in the appendix, which include a robustness analysis across multiple random seeds, a quantitative evaluation of generated reasoning chains, a detailed analysis of failure cases, and an examination of training stability across various tasks. The findings from these additional experiments consistently support the main conclusions of the study, further demonstrating the robustness and effectiveness of the Geo-R1 model.
Results
The results section presents a comprehensive comparison of various models trained on the VRS-Bench dataset, highlighting the superior performance of reinforcement learning (RL)-based methods over supervised fine-tuning (SFT) approaches. Specifically, the GRPO-based model demonstrates a significant advantage in the 10-shot setting, achieving an Acc@0.5 score that is 12.30% higher than its SFT counterpart, even when trained on only 0.71% of the data. Additionally, the DAPO method consistently outperforms GRPO, suggesting that further enhancements in RL training could yield even better outcomes in few-shot scenarios. Notably, RL methods show greater efficacy on simpler tasks, as evidenced by their pronounced gains on the Unique subset compared to the Non-Unique subset.
Further analysis reveals that SFT can be detrimental in low-data scenarios, where models often fail to exceed the performance of zero-shot baselines due to overfitting on limited and non-diverse training samples. In contrast, GRPO consistently outperforms SFT across all categories and settings, with the performance gap widening in more challenging low-data environments. For instance, the difference in mean Average Precision (mAP) between GRPO and SFT increases from 4.72 in the 10-shot scenario to 6.58 in the 5-shot scenario. The section also highlights the effectiveness of the proposed GRPO pipeline in the GRES task, where the Geo-R1 model achieves substantial improvements in geometric Intersection over Union (gIoU) metrics, demonstrating its robustness and efficiency in data-scarce conditions. Overall, the findings underscore the advantages of RL-based post-training paradigms for adapting models to specialized tasks with limited data.
Discussion
In this section, the authors discuss the Geo-R1 method, a reinforcement learning (RL) approach designed for few-shot Referring Expression Understanding (REU) in remote sensing imagery. Geo-R1 leverages a reasoning-centric framework that encourages the model to generate intermediate reasoning steps before making predictions, enhancing generalization across diverse text-image samples. The method utilizes task-specific reward functions, such as box Average Precision (AP) and mask-level Generalized Intersection over Union (gIoU), to optimize spatially grounded behaviors that traditional supervised fine-tuning (SFT) methods struggle to achieve. The authors present three benchmarks—VRSBench-FS, EarthReason-FS, and NWPU-FS—establishing standardized protocols for evaluating few-shot REU, and demonstrate that Geo-R1 consistently outperforms SFT across these benchmarks, providing human-auditable reasoning traces that elucidate model successes and failures.
The discussion also highlights the significance of the Group Relative Policy Optimization (GRPO) framework, which enhances the reasoning capabilities of vision-language models (VLMs) by employing rule-based rewards. The authors note that Geo-R1’s design allows for the exploration of multiple reasoning chains, yielding richer supervision from limited examples. Furthermore, the experiments reveal that Geo-R1 exhibits superior performance in cross-dataset generalization, achieving notable improvements in both REC and GRES tasks compared to SFT-based models. The findings underscore the potential of RL-based methods in advancing few-shot learning in remote sensing applications, particularly in scenarios characterized by limited labeled data and high variability in both visual and textual inputs.
Limitations
In the GRES pipeline, the Multi-Label Language Model (MLLM) does not directly generate pixel-wise masks; instead, it predicts structured prompts such as bounding boxes and keypoints. The final segmentation mask, referred to as Geo-R1, is produced by a frozen segmentation model (SAM2). Reinforcement Learning (RL) fine-tuning is applied by calculating a mask-level reward based on the output mask and backpropagating the policy gradient updates to the MLLM. This approach focuses on optimizing the prompt generation policy through mask-level supervision rather than modifying the segmentation model itself.
However, this decoupled design presents certain limitations. The performance of the GRES pipeline is contingent upon the segmentation model’s proficiency with remote sensing imagery, which may restrict effectiveness if the model is not well-suited for this domain. Conversely, this architecture offers flexibility, allowing for the replacement of the segmentation model with more robust or domain-adapted alternatives, such as SAM3 (Carion et al., 2026) or RemoteSAM (Yao et al., 2025). The use of a highly generalizable prompt-based segmentation model enables the system to achieve strong GRES performance with a limited number of training samples by primarily focusing on learning effective prompts.
