DOI: https://doi.org/10.1016/j.knosys.2026.116107
تاريخ النشر: 2026-05-15
المؤلف: Yunfeng Li وآخرون
الموضوع الرئيسي: طرق المراقبة بالفيديو والتتبع
نظرة عامة
في هذا البحث، يقدم المؤلفون LightFC-X، وهو متتبع خفيف الوزن يعتمد على الشبكات العصبية التلافيفية RGB-X مصمم لمعالجة قيود المتتبعين المتعددين النماذج الحاليين، الذين غالبًا ما يكونون مكلفين من حيث الموارد للنشر على الأجهزة المحدودة. تركز البنية المقترحة على النمذجة الفعالة عبر النماذج والتنقيح المشترك للميزات المتعددة النماذج والزمانية المكانية. تشمل الابتكارات الرئيسية وحدة الانتباه المتقاطع الفعالة (ECAM)، التي تسهل التفاعل الخفيف بين الميزات المدمجة مع 0.08 مليون معلمة فقط، ووحدة تجميع القالب الزماني المكاني (STAM)، التي تعزز قدرة النموذج على استخدام المعلومات الزمنية من خلال نهج الضبط الدقيق.
تظهر النتائج التجريبية أن LightFC-X يحقق أداءً رائدًا في مجاله مع الحفاظ على توازن مثالي بين المعلمات والأداء وسرعة المعالجة. ومن الجدير بالذكر أن النسخة LightFC-T-ST تتفوق على متتبع CMD بنسبة 4.3% و5.7% في معدل النجاح (SR) ومعدل الدقة (PR) على معيار LasHeR، على التوالي، بينما تحقق تقليصًا بنسبة 2.6x في المعلمات وتسريعًا بنسبة 2.7x، تعمل في الوقت الحقيقي عند 22 إطارًا في الثانية على وحدة المعالجة المركزية. تشير النتائج إلى أن LightFC-X يمكن أن يحقق تقدمًا كبيرًا في مجال تتبع النماذج المتعددة الخفيفة الوزن، مما يشجع على مزيد من الاستكشاف في هذا المجال. الشيفرة الخاصة بالتنفيذ متاحة للجمهور على الرابط المقدم في GitHub.
مقدمة
تناقش مقدمة هذه الورقة البحثية التقدم في تتبع النماذج المتعددة، مع التركيز بشكل خاص على دمج بنى Transformer، التي حسنت أداء المتتبعين البصريين في السيناريوهات المعقدة. على الرغم من هذه التحسينات، فإن المتتبعين المتعددين النماذج الحاليين، مثل تلك الخاصة بتتبع RGB-T، غالبًا ما تعاني من ارتفاع عدد المعلمات وتكاليف الحوسبة، مما يحد من قابليتها للاستخدام على الأجهزة المحدودة الموارد. تسلط الورقة الضوء على الحاجة إلى حلول خفيفة الوزن، مشيرة إلى أنه بينما حاولت بعض الطرق تقليل المعلمات من خلال تقطير المعرفة، لا تزال هناك فجوات كبيرة في الأداء مقارنة بالمتتبعين ذوي الأداء العالي.
لمعالجة هذه التحديات، يقترح المؤلفون عائلة من المتتبعين الخفيفين RGB-X، المسماة LightFC-X، والتي تتضمن وحدة الانتباه المتقاطع الفعالة (ECAM) ووحدة تجميع القالب الزماني المكاني (STAM). تسهل ECAM تفاعل الميزات عبر النماذج بشكل فعال مع الحد الأدنى من المعلمات الإضافية، بينما تمكّن STAM من الانتقال السلس من النمذجة المكانية إلى الزمانية المكانية من خلال نهج الضبط الدقيق. تظهر النتائج التجريبية أن LightFC-X يحقق أداءً رائدًا في مجالات مختلفة، متفوقًا بشكل كبير على المتتبعين الخفيفين الحاليين من حيث الكفاءة والسرعة، مما يجعله مناسبًا للتطبيقات في الوقت الحقيقي على الأجهزة الحاسوبية الأقل قوة.
نقاش
في مناقشة الورقة البحثية، يستعرض المؤلفون طرق تتبع الكائنات البصرية الخفيفة الحالية، مع تسليط الضوء على اعتمادها على بنى Transformer، التي غالبًا ما تؤدي إلى زيادة المعلمات وتكاليف الحوسبة. يقدمون نهجهم الخاص، LightFC-X، الذي يستخدم بنية تلافيفية لتحسين التوازن بين المعلمات والأداء والسرعة. يدمج هذا الأسلوب وحدتين جديدتين: وحدة الانتباه المتقاطع الفعالة (ECAM) لتفاعل الميزات عبر النماذج الخفيفة ووحدة تجميع القالب الزماني المكاني (STAM) لتحديثات القالب الفعالة.
يؤكد المؤلفون أنه بينما حقق المتتبعون المتعددون النماذج السابقون، مثل MDNet وTBSI-Tiny، نتائج ملحوظة، فإنهم غالبًا ما يضطرون للتنازل عن عمق استخراج الميزات بسبب طبيعتهم الخفيفة. بالمقابل، لا يحافظ LightFC-X فقط على مقاييس أداء تنافسية عبر معايير مختلفة (RGB-T، RGB-D، RGB-E، وRGB-Sonar) ولكنه أيضًا يقلل بشكل كبير من عدد المعلمات مقارنة بالنماذج الرائدة. تختتم الورقة بأن LightFC-X يضع معيارًا جديدًا لتتبع النماذج المتعددة الخفيفة الوزن، مما يظهر كفاءة وفعالية متفوقتين، وبالتالي يشجع على مزيد من الاستكشاف في هذا المجال.
القيود
تقدم عائلة LightFC-X إطارًا موحدًا خفيف الوزن؛ ومع ذلك، فإنها تظهر قيودًا في استخدام الميزات الزمانية المكانية بشكل فعال. تسلط هذه النقص الضوء على فجوة في قدرة الإطار على الاستفادة من الإمكانات الكاملة للمعلومات الزمانية المكانية. مع استمرار تطور نماذج التدريب التسلسلي، هناك اهتمام متزايد في استكشاف كيفية دمج هذه النماذج لتحسين أداء المتتبعين المتعددين النماذج الخفيفة في استخدام البيانات الزمانية المكانية.
DOI: https://doi.org/10.1016/j.knosys.2026.116107
Publication Date: 2026-05-15
Author(s): Yunfeng Li et al.
Primary Topic: Video Surveillance and Tracking Methods
Overview
In this research, the authors introduce LightFC-X, a lightweight convolutional RGB-X tracker designed to address the limitations of existing multimodal trackers, which are often too resource-intensive for deployment on constrained devices. The proposed architecture focuses on efficient cross-modal modeling and the joint refinement of multimodal and spatiotemporal features. Key innovations include the efficient cross-attention module (ECAM), which facilitates lightweight interaction between integrated features with only 0.08 million parameters, and the spatiotemporal template aggregation module (STAM), which enhances the model’s ability to utilize temporal information through a fine-tuning approach.
Experimental results demonstrate that LightFC-X achieves state-of-the-art performance while maintaining an optimal balance between parameters, performance, and processing speed. Notably, the LightFC-T-ST variant surpasses the CMD tracker by 4.3% and 5.7% in Success Rate (SR) and Precision Rate (PR) on the LasHeR benchmark, respectively, while achieving a 2.6x reduction in parameters and a 2.7x speedup, operating in real-time at 22 frames per second on a CPU. The findings suggest that LightFC-X could significantly advance the field of lightweight multimodal tracking, encouraging further exploration in this area. The code for the implementation is publicly available at the provided GitHub link.
Introduction
The introduction of this research paper discusses advancements in multimodal tracking, particularly emphasizing the integration of Transformer architectures, which have enhanced the performance of visual trackers in complex scenarios. Despite these improvements, existing multimodal trackers, such as those for RGB-T tracking, often suffer from high parameter counts and computational costs, limiting their applicability on resource-constrained devices. The paper highlights the need for lightweight solutions, noting that while some methods have attempted to reduce parameters through knowledge distillation, significant performance gaps remain compared to high-performance trackers.
To address these challenges, the authors propose a family of lightweight RGB-X trackers, termed LightFC-X, which incorporates an efficient cross-attention module (ECAM) and a spatiotemporal template aggregation module (STAM). The ECAM facilitates effective cross-modal feature interaction with minimal additional parameters, while the STAM enables a smooth transition from spatial to spatiotemporal modeling through a fine-tuning approach. Experimental results demonstrate that LightFC-X achieves state-of-the-art performance across various benchmarks, significantly outperforming existing lightweight trackers in terms of both efficiency and speed, thereby making it suitable for real-time applications on less powerful computing devices.
Discussion
In the discussion of the research paper, the authors review existing lightweight visual object tracking methods, highlighting their reliance on Transformer architectures, which often lead to increased parameters and computational costs. They introduce their own approach, LightFC-X, which employs a convolutional architecture to optimize the balance between parameters, performance, and speed. This method integrates two novel modules: the Efficient Cross-Attention Module (ECAM) for lightweight cross-modal feature interaction and the Spatiotemporal Template Aggregation Module (STAM) for effective template updates.
The authors emphasize that while previous multimodal trackers, such as MDNet and TBSI-Tiny, have achieved notable results, they often compromise on the depth of feature extraction due to their lightweight nature. In contrast, LightFC-X not only maintains competitive performance metrics across various benchmarks (RGB-T, RGB-D, RGB-E, and RGB-Sonar) but also significantly reduces the number of parameters compared to state-of-the-art models. The paper concludes that LightFC-X sets a new standard for lightweight multimodal tracking, demonstrating superior efficiency and effectiveness, thereby encouraging further exploration in this domain.
Limitations
The LightFC-X family presents a unified lightweight framework; however, it exhibits limitations in effectively utilizing spatiotemporal features. This deficiency highlights a gap in the framework’s ability to leverage the full potential of spatiotemporal information. As sequence-training paradigms continue to evolve, there is a growing interest in exploring how these paradigms can be integrated to improve the performance of lightweight multimodal trackers in utilizing spatiotemporal data.