DOI: https://doi.org/10.1371/journal.pone.0342246
PMID: https://pubmed.ncbi.nlm.nih.gov/41886277
تاريخ النشر: 2026-03-25
المؤلف: Said Baz Jahfar Khan وآخرون
الموضوع الرئيسي: طرق المراقبة بالفيديو والتتبع
نظرة عامة
تقدم الورقة LightTrack-ReID، وهو إطار خفيف الوزن ومقاوم للاحتجاب لتتبع الأجسام المتعددة (MOT) تم تحسينه لأداء الوقت الحقيقي في البيئات ذات الموارد المحدودة. يتضمن الإطار عدة مكونات رئيسية: مشفر مظهر خفيف الوزن (LAE) يعتمد على MobileNetV3-Small، وتقييم تشابه قائم على المحولات (TBSS)، وذاكرة سياقية لمعالجة الاحتجاب (CMOH)، وتوزين تشابه تكيفي (ASW). تعمل هذه العناصر معًا لإنتاج ميزات ReID مضغوطة بُعدها 32 ومقاييس تشابه تكيفية، مما يسهل الربط الفعال بين المسارات حتى في السيناريوهات التي تتضمن احتجابًا كبيرًا. التكلفة الحسابية الإجمالية لنموذج الربط تبلغ حوالي 0.6 GFLOPs لكل إطار، مما يسمح للنظام بتحقيق حوالي 30 إطارًا في الثانية (FPS) على وحدة معالجة الرسوميات GTX1080 عند دمجه مع كاشف YOLOX-S.
تظهر تقييمات LightTrack-ReID على معايير MOT17 وMOT20 أداءً قويًا، مع درجات دقة تتبع من الدرجة العليا (HOTA) تبلغ 66.92 و66.6، ودرجات F1 الهوية (IDF1) تبلغ 82.52 و82.2، على التوالي، بينما تقلل أيضًا بشكل كبير من تبديلات الهوية. تؤكد هذه النتائج فعالية الإطار في التعامل مع الاحتجاب وملاءمته للتطبيقات العملية في مجالات مثل القيادة الذاتية، والمراقبة الذكية، وتحليل الفيديو. تسلط الدراسة الضوء على إمكانية البحث المستقبلي لتعزيز قابلية التوسع والمرونة لـ LightTrack-ReID في بيئات تتبع متنوعة، مع التأكيد على تصميمه القابل للتعديل الذي يدعم النشر على الأجهزة المدمجة والأجهزة الطرفية.
مقدمة
تناقش مقدمة الورقة أهمية تتبع الأجسام المتعددة (MOT) في رؤية الكمبيوتر، مع التأكيد على دوره في تطبيقات متنوعة مثل القيادة الذاتية، والمراقبة، والمراقبة البيئية. الهدف الرئيسي من MOT هو تعيين والحفاظ على هويات فريدة للأجسام عبر إطارات الفيديو، مع معالجة التحديات مثل الاحتجاب والتفاعلات المعقدة. تميز الورقة بين طرق MOT غير المتصلة والموصولة، مع تسليط الضوء على أهمية المعالجة في الوقت الحقيقي في التطبيقات المتصلة، التي غالبًا ما تستخدم أساليب تتبع بواسطة الكشف (TBD) أو الكشف والتتبع المشترك (JDT). أدت التقدمات الأخيرة في سرعة الكشف ودقته، خاصة من خلال نماذج مثل YOLO، إلى تعزيز جدوى التتبع في الوقت الحقيقي.
يقدم المؤلفون إطارهم المقترح، LightTrack-ReID، الذي يدمج عدة مكونات مبتكرة تهدف إلى تحسين متانة وكفاءة التتبع. تشمل المساهمات الرئيسية مشفر مظهر خفيف الوزن (LAE) لاستخراج الميزات المضغوطة، وتقييم تشابه قائم على المحولات (TBSS) للربط الفعال، وذاكرة سياقية لمعالجة الاحتجاب (CMOH) للحفاظ على استمرارية المسار خلال الاحتجاب، وتوزين تشابه تكيفي (ASW) لضبط تأثير مقاييس التشابه بناءً على كثافة الاحتجاب. يظهر الإطار أداءً متفوقًا على معايير MOT17 وMOT20، محققًا درجات HOTA وIDF1 عالية مع الحفاظ على كفاءة الوقت الحقيقي بتكلفة حسابية تبلغ 0.6 GFLOPs. يؤكد المؤلفون أن نهجهم يجمع بشكل تآزري بين هذه المكونات لتعزيز أداء التتبع دون إدخال تعقيد مفرط.
طرق
في هذا القسم، يوضح المؤلفون الطرق التجريبية المستخدمة لتقييم نموذج تتبع المشاة المقترح، LightTrack-ReID، باستخدام معايير MOT17 وMOT20. تشمل مجموعات البيانات بيئات متنوعة، حيث تحتوي MOT17 على كاميرات ثابتة ومتحركة، بينما تركز MOT20 على السيناريوهات المزدحمة. أجرى المؤلفون دراسات إلغاء من خلال تقسيم مجموعة تدريب MOT17 إلى نصفين للتدريب والتحقق، ملتزمين بالإجراءات المعمول بها من الأبحاث السابقة.
تظهر النتائج، الملخصة في الجدول 5 والمصورة في الشكل 1، أن LightTrack-ReID يتفوق على طرق تتبع الأجسام المتعددة الحديثة الأخرى على كلا المعيارين. على وجه التحديد، يحقق درجة HOTA تبلغ 66.92، وMOTA تبلغ 82.81، وIDF1 تبلغ 82.52 على MOT17، إلى جانب عدد منخفض من تبديلات الهوية (IDSW). في مجموعة بيانات MOT20 الأكثر تحديًا، يسجل النموذج HOTA تبلغ 66.6، وMOTA تبلغ 79.1، وIDF1 تبلغ 82.2، مع الحفاظ على أقل عدد من تبديلات الهوية (753) بين الطرق المختبرة. تؤكد النتائج فعالية LightTrack-ReID في الحفاظ على تحديد الهوية المتسق، خاصة في السيناريوهات التي تتضمن احتجابًا كبيرًا، مدعومةً بوحدة إعادة التعرف (ReID) قوية تسهل التتبع الدقيق عبر الإطارات. يعمل النموذج بمعدل إطار في الوقت الحقيقي يبلغ 30 FPS على معيار MOT17، مما يجعله مناسبًا للتطبيقات العملية التي تتضمن تفاعلات متكررة بين الأجسام.
نقاش
في قسم النقاش من الورقة البحثية، يحلل المؤلفون التقدمات الأخيرة في تتبع الأجسام المتعددة (MOT)، مع التركيز على ثلاثة مجالات حاسمة: أطر التتبع، ومعالجة الاحتجاب، وإعادة التعرف (Re-ID). يبرزون أنه بينما حققت الطرق الحالية تقدمًا في المتانة والكفاءة، لا تزال هناك فجوات، خاصة في البيئات ذات الاحتجاب الثقيل والموارد الحاسوبية المحدودة. ينتقد المؤلفون أطر التتبع المختلفة، مشيرين إلى أن التتبع التقليدي المتصل غالبًا ما يعتمد على نهج التتبع بواسطة الكشف، مما يمكن أن يؤدي إلى تبديلات الهوية بسبب الروابط غير المتسقة. كما يناقشون قيود تقنيات معالجة الاحتجاب الحالية، التي، على الرغم من التحسينات، غالبًا ما تواجه صعوبات في المتطلبات الحاسوبية والقدرة على التكيف مع مستويات الاحتجاب المتغيرة.
تهدف الطريقة المقترحة، LightTrack-ReID، إلى معالجة هذه التحديات من خلال تقديم إطار خفيف الوزن للتتبع بواسطة الكشف يدمج اكتشافات YOLOX مع نموذج تشابه مبتكر لإعادة التعرف. يتضمن هذا النموذج سبعة مكونات مبتكرة مصممة لتعزيز الكفاءة الحاسوبية والمتانة في البيئات المعرضة للاحتجاب. تشمل الميزات الرئيسية مشفر مظهر خفيف الوزن (LAE) الذي ينتج تجسيدات مضغوطة بُعدها 32، وآلية تقييم تشابه قائمة على المحولات (TBSS) لتقييم التشابه بكفاءة، وتوزين تشابه تكيفي (ASW) لضبط مقاييس التشابه ديناميكيًا بناءً على كثافة الاحتجاب. يؤكد المؤلفون أن هذه المكونات تعمل معًا لتحسين أداء التتبع مع تقليل التكاليف الحاسوبية، مما يميز نهجهم عن الطرق الحالية التي تعطي الأولوية للدقة على الكفاءة. يتم التحقق من خيارات تصميم الإطار تجريبيًا من خلال التجارب، مما يوضح فعاليتها في الحفاظ على استمرارية الهوية وتقليل تبديلات الهوية في سيناريوهات التتبع الصعبة.
القيود
تسلط قسم القيود الضوء على عدة قيود حاسمة لنظام LightTrack-ReID، على الرغم من دقته العالية في التتبع ومتطلباته الحاسوبية المنخفضة. إحدى القضايا الرئيسية هي آلية توزيع الوزن التكيفي للتشابه (ASW) العالمية، التي تطبق وزن احتجاب موحد عبر الإطار بالكامل، مما قد يتجاهل التغيرات المحلية في الاحتجاب. بالإضافة إلى ذلك، فإن الذاكرة السياقية لمعالجة الاحتجاب (CMOH) مقيدة بسعة التخزين المحدودة (K = 10)، مما يعيق فعاليتها في إدارة الاحتجاب طويل الأمد أو المتكرر.
علاوة على ذلك، قد يواجه مشفر المظهر، المدرب على مجموعات بيانات MOT17/MOT20، صعوبة في التعميم على بيئات جديدة تقدم ظروف إضاءة متنوعة أو حركات كاميرا. لمعالجة هذه القيود، ستسعى الأعمال المستقبلية إلى تنفيذ وزن ASW محلي، وتطوير هياكل ذاكرة هرمية، ودمج استراتيجيات تدريب تتكيف مع المجال، مما يعزز مرونة النظام وموثوقيته في سيناريوهات متنوعة.
DOI: https://doi.org/10.1371/journal.pone.0342246
PMID: https://pubmed.ncbi.nlm.nih.gov/41886277
Publication Date: 2026-03-25
Author(s): Said Baz Jahfar Khan et al.
Primary Topic: Video Surveillance and Tracking Methods
Overview
The paper introduces LightTrack-ReID, a lightweight and occlusion-resistant framework for multi-object tracking (MOT) that is optimized for real-time performance in resource-constrained environments. The framework incorporates several key components: a Lightweight Appearance Encoder (LAE) based on MobileNetV3-Small, Transformer-Based Similarity Scoring (TBSS), Context Memory for Occlusion Handling (CMOH), and Adaptive Similarity Weighting (ASW). These elements work together to produce compact 32-dimensional ReID features and adaptive similarity metrics, facilitating effective tracklet association even in scenarios with significant occlusion. The overall computational cost of the association model is approximately 0.6 GFLOPs per frame, allowing the system to achieve around 30 frames per second (FPS) on a GTX1080 GPU when integrated with the YOLOX-S detector.
The evaluation of LightTrack-ReID on the MOT17 and MOT20 benchmarks reveals strong performance, with Higher Order Tracking Accuracy (HOTA) scores of 66.92 and 66.6, and IDentity F1 (IDF1) scores of 82.52 and 82.2, respectively, while also significantly reducing identity switches. These results underscore the framework’s effectiveness in handling occlusions and its suitability for practical applications in fields such as autonomous driving, intelligent surveillance, and video analytics. The study highlights the potential for future research to enhance the scalability and flexibility of LightTrack-ReID for diverse tracking environments, emphasizing its modular design that supports deployment on embedded and edge devices.
Introduction
The introduction of the paper discusses the significance of Multi-Object Tracking (MOT) in computer vision, emphasizing its role in various applications such as autonomous driving, surveillance, and ecological monitoring. The primary goal of MOT is to assign and maintain unique identities for objects across video frames, addressing challenges like occlusions and complex interactions. The paper distinguishes between offline and online MOT methods, highlighting the importance of real-time processing in online applications, which often utilize Tracking-by-Detection (TBD) or Joint Detection and Tracking (JDT) approaches. Recent advancements in detection speed and accuracy, particularly through models like YOLO, have enhanced the feasibility of real-time tracking.
The authors introduce their proposed framework, LightTrack-ReID, which integrates several innovative components aimed at improving tracking robustness and efficiency. Key contributions include a Lightweight Appearance Encoder (LAE) for compact feature extraction, Transformer-Based Similarity Scoring (TBSS) for efficient association, Context Memory for Occlusion Handling (CMOH) to maintain track continuity during occlusions, and Adaptive Similarity Weighting (ASW) to adjust the influence of similarity measures based on occlusion density. The framework demonstrates superior performance on the MOT17 and MOT20 benchmarks, achieving high HOTA and IDF1 scores while maintaining real-time efficiency with a computational cost of 0.6 GFLOPs. The authors emphasize that their approach synergistically combines these components to enhance tracking performance without introducing excessive complexity.
Methods
In this section, the authors detail the experimental methods used to evaluate their proposed pedestrian tracking model, LightTrack-ReID, utilizing the MOT17 and MOT20 benchmarks. The datasets encompass various environments, with MOT17 featuring both fixed and moving cameras, while MOT20 emphasizes crowded scenarios. The authors conducted ablation studies by splitting the MOT17 training set into two halves for training and validation, adhering to established procedures from previous research.
The results, summarized in Table 5 and illustrated in Figure 1, demonstrate that LightTrack-ReID outperforms other state-of-the-art multi-object tracking methods on both benchmarks. Specifically, it achieves a HOTA score of 66.92, MOTA of 82.81, and IDF1 of 82.52 on MOT17, alongside a low number of identity switches (IDSW). In the more challenging MOT20 dataset, the model records a HOTA of 66.6, MOTA of 79.1, and IDF1 of 82.2, maintaining the lowest ID switches (753) among the tested methods. The findings underscore the effectiveness of LightTrack-ReID in maintaining consistent object identification, particularly in scenarios with significant occlusions, aided by a robust Re-Identification (ReID) module that facilitates accurate tracking across frames. The model operates at a real-time frame rate of 30 FPS on the MOT17 benchmark, making it suitable for practical applications involving frequent object interactions.
Discussion
In the discussion section of the research paper, the authors analyze recent advancements in multi-object tracking (MOT), emphasizing three critical areas: tracking frameworks, occlusion handling, and re-identification (Re-ID). They highlight that while existing methods have made strides in robustness and efficiency, gaps remain, particularly in environments with heavy occlusion and limited computational resources. The authors critique various tracking frameworks, noting that traditional online tracking often relies on a tracking-by-detection approach, which can lead to identity switches due to inconsistent associations. They also discuss the limitations of current occlusion handling techniques, which, despite improvements, often struggle with computational demands and adaptability to varying occlusion levels.
The proposed method, LightTrack-ReID, aims to address these challenges by introducing a lightweight tracking-by-detection framework that integrates YOLOX detections with a novel Similarity Model for Re-ID. This model incorporates seven innovative components designed to enhance computational efficiency and robustness in occlusion-prone environments. Key features include a Lightweight Appearance Encoder (LAE) that generates compact 32-dimensional embeddings, a Transformer-Based Similarity Scoring (TBSS) mechanism for efficient similarity evaluation, and Adaptive Similarity Weighting (ASW) to dynamically adjust similarity metrics based on occlusion density. The authors assert that these components collectively improve tracking performance while minimizing computational costs, distinguishing their approach from existing methods that prioritize accuracy over efficiency. The framework’s design choices are empirically validated through experiments, demonstrating its effectiveness in maintaining identity continuity and reducing identity switches in challenging tracking scenarios.
Limitations
The section on limitations highlights several critical constraints of the LightTrack-ReID system, despite its high tracking accuracy and low computational requirements. One primary concern is the global Adaptive Similarity Weighting (ASW) mechanism, which applies a uniform occlusion weight across the entire frame, potentially neglecting local variations in occlusion. Additionally, the Context Memory for Occlusion Handling (CMOH) is constrained by its limited buffer capacity (K = 10), which hampers its effectiveness in managing long-term or recurrent occlusions.
Furthermore, the appearance encoder, trained on the MOT17/MOT20 datasets, may struggle with generalization to new environments that present varied illumination conditions or camera movements. To address these limitations, future work will aim to implement localized ASW weighting, develop hierarchical memory architectures, and incorporate domain-adaptive training strategies, thereby enhancing the system’s robustness and flexibility in diverse scenarios.
