DOI: https://doi.org/10.1007/s00371-026-04607-7
تاريخ النشر: 2026-06-28
المؤلف: Momir Adžemović
الموضوع الرئيسي: طرق المراقبة بالفيديو والتتبع
نظرة عامة
تقدم هذه القسم نظرة شاملة على تتبع الأجسام المتعددة (MOT) في مجال رؤية الكمبيوتر، مع التركيز على التقدم الكبير الذي أحدثته التعلم العميق. يبرز نموذج التتبع عن طريق الكشف كنهج سائد، مع الإشارة بشكل خاص إلى إدخال طرق رئيسية مثل ByteTrack و MOTR في عام 2022. تصنف الدراسة منهجيات التتبع عن طريق الكشف بشكل منهجي إلى خمس مجموعات متميزة: الكشف المشترك والتضمين، الأساليب المعتمدة على القواعد، المعتمدة على الحركة، تعلم الارتباط، والأساليب غير المتصلة. بالإضافة إلى ذلك، تقيم طرق التتبع من النهاية إلى النهاية وتقارن أدائها عبر معايير مختلفة، مع تقييم عموميتها عبر مجالات مختلفة.
تشير النتائج إلى أن الأساليب المعتمدة على القواعد تتفوق في البيئات ذات الكثافة السكانية العالية مع حركة الأجسام الخطية، محققة نتائج متقدمة على مجموعات بيانات مثل MOTChallenge. في المقابل، تظهر طرق الارتباط المعتمدة على التعلم العميق، وخاصة تلك التي تستخدم تعلم الارتباط والأساليب من النهاية إلى النهاية، أداءً متفوقًا في السيناريوهات التي تتميز بأنماط حركة معقدة، كما يتضح من نجاحها على مجموعات بيانات مثل DanceTrack و SportsMOT. تختتم الورقة بالتأكيد على الحاجة إلى أبحاث مستقبلية لتقييم هذه الأساليب عبر مجموعات بيانات متعددة لفهم قدراتها على التعميم بشكل أفضل، حيث تركز العديد من الدراسات الحالية على مجالات محدودة.
مقدمة
تناقش مقدمة الورقة تعقيدات وأهمية تتبع الأجسام المتعددة (MOT) في رؤية الكمبيوتر، مع التأكيد على ضرورته في تطبيقات متنوعة مثل القيادة الذاتية، تحليل الرياضة، والمراقبة. يتضمن MOT الكشف عن وتتبع عدة أجسام في تسلسلات الفيديو دون معرفة مسبقة بمظاهرها أو مواقعها، مما يقدم تحديات مثل الحجب، تشابه مظاهر الأجسام، وحركة غير متوقعة. تبرز الورقة تطور منهجيات MOT، وخاصة الانتقال من تقنيات التتبع التقليدية إلى الأساليب المعتمدة على التعلم العميق، بما في ذلك أطر التتبع عن طريق الكشف مثل SORT و Deep SORT، التي تستفيد من الشبكات العصبية التلافيفية (CNNs) وتصفية كالمان لتحسين الدقة.
يستعرض المؤلفون التقدم في التعلم العميق الذي عزز بشكل كبير أداء MOT، بما في ذلك تحسين هياكل كشف الأجسام وطرق الارتباط، بالإضافة إلى ظهور نماذج التتبع من النهاية إلى النهاية مثل MOTR و TrackFormer. تهدف الورقة إلى تقديم مسح شامل لخوارزميات MOT الحديثة المعتمدة على التعلم العميق، وتصنيفها إلى طرق التتبع عن طريق الكشف وطرق من النهاية إلى النهاية، وتقييم أدائها عبر معايير مختلفة. تشمل المساهمات تحليلًا مفصلًا للأعمال الحديثة، وتصنيفًا منهجيًا للطرق، وإنشاء معيار مخصص لتقييم قابلية تعميم خوارزميات التتبع عبر مجالات مختلفة.
الطرق
تناقش هذه القسم منهجيات مختلفة لتتبع الأجسام المتعددة (MOT)، مع التركيز على التقدم في طرق التتبع المعتمدة على الكشف المشترك والتضمين، والأساليب المعتمدة على القواعد، والتقنيات المعتمدة على الحركة. تدمج طريقة الكشف والتضمين المشترك (JDE) مهام الكشف وإعادة التعريف في شبكة عصبية واحدة، مما يعزز سرعة التتبع وقوته، محققة حوالي أربعة أضعاف الإطارات في الثانية (FPS) مقارنة بـ Deep SORT، على الرغم من دقة تتبع أقل. تستخدم JDE التعلم المعياري لرسم الكشف إلى فضاء التضمين، مما يحسن التوافق مع متطلبات MOT. تعالج FairMOT عدم التوازن بين مهام الكشف وإعادة التعريف من خلال إدخال تغييرات معمارية، بينما تستخدم TransTrack نهجًا قائمًا على المحولات للتنبؤ بصناديق التتبع المحيطة بالكشف، مما يبسط عملية الارتباط.
تستفيد الأساليب المعتمدة على القواعد، مثل ByteTrack، من ثقة الكشف لتعزيز دقة الارتباط، بينما تجمع Hybrid-SORT بين القواعد المعتمدة على الحركة لتحسين التعامل مع الحجب. تقدم BoostTrack آلية تعزيز الثقة لقياسات التشابه، مما يدير المشاهد المزدحمة بشكل فعال. تحسن طرق التتبع المعتمدة على الحركة، بما في ذلك OC SORT وامتداداتها، على الأساليب التقليدية لتصفية كالمان (KF) من خلال دمج استراتيجيات تركز على الملاحظة للتعامل مع الحجب والحركة غير الخطية. تستبدل نماذج الحركة المعتمدة على التعلم العميق، مثل MotionTrack و MoveSORT، KF بنماذج متقدمة تأخذ في الاعتبار تفاعلات الأجسام، مما يظهر أداءً قويًا على مجموعات بيانات ذات حركة ديناميكية. تختتم هذه القسم بتصنيف الأساليب المتقدمة إلى نماذج من النهاية إلى النهاية، والتتبع عن طريق الكشف، ونماذج غير متصلة، مع تسليط الضوء على قابليتها للتطبيق في سيناريوهات تتبع متنوعة.
نقاش
يوفر قسم النقاش في الورقة نظرة شاملة على الأدبيات الحديثة حول تتبع الأجسام المتعددة (MOT)، مصنفًا المسوحات المختلفة إلى فئات عامة ومحددة المجال. تركز المسوحات العامة على جوانب واسعة من التتبع، مثل تطبيق التعلم العميق في مكونات المتعقب (مثل كشف الأجسام، استخراج الميزات، وارتباط البيانات)، بينما تتناول المسوحات المحددة المجال طرق التتبع المصممة لتطبيقات معينة، مثل المركبات الذاتية وبيئات المرور. تسلط النتائج الرئيسية من هذه المسوحات الضوء على التطور من الأساليب التقليدية إلى الأساليب المعتمدة على التعلم العميق، والتحديات في ارتباط البيانات، وفعالية الأساليب المعتمدة على التضمين والرسوم البيانية في تعزيز أداء التتبع.
تقوم الورقة أيضًا بصياغة مشكلة تتبع الأجسام المتعددة رياضيًا، مع تعريف مسارات الأجسام على مر الزمن والمعايير المستخدمة لتقييم أداء المتعقب. تقدم أنواعًا مختلفة من الأخطاء، مثل الإيجابيات الكاذبة وتبديل الهوية، وتناقش مقاييس التشابه مثل التقاطع على الاتحاد (IoU) للكشف عن صناديق التتبع. يتم تفصيل مقاييس التقييم، بما في ذلك MOTA (دقة تتبع الأجسام المتعددة)، MOTP (دقة تتبع الأجسام المتعددة)، IDF1، و HOTA (دقة تتبع من الدرجة العليا)، مع التأكيد على أدوارها في تقييم جودة الكشف، والارتباط، والتحديد المكاني. تختتم هذه القسم بنظرة عامة على مجموعات البيانات القياسية المستخدمة لتقييم طرق MOT، مع تسليط الضوء على تحدياتها الفريدة وضرورة التقييمات المتنوعة لضمان التعميم عبر سيناريوهات تتبع مختلفة.
DOI: https://doi.org/10.1007/s00371-026-04607-7
Publication Date: 2026-06-28
Author(s): Momir Adžemović
Primary Topic: Video Surveillance and Tracking Methods
Overview
The section provides a comprehensive overview of multi-object tracking (MOT) within the realm of computer vision, emphasizing the significant advancements brought about by deep learning. It highlights the tracking-by-detection paradigm as the prevailing approach, particularly noting the introduction of key methods such as ByteTrack and MOTR in 2022. The survey systematically categorizes tracking-by-detection methods into five distinct groups: joint detection and embedding, heuristic-based, motion-based, affinity learning, and offline methods. Additionally, it evaluates end-to-end tracking methods and compares their performance across various benchmarks, assessing their generality across different domains.
The findings indicate that heuristic-based methods excel in densely populated environments with linear object motion, achieving state-of-the-art results on datasets like MOTChallenge. In contrast, deep learning-based association methods, particularly those utilizing affinity learning and end-to-end approaches, demonstrate superior performance in scenarios characterized by complex motion patterns, as evidenced by their success on datasets such as DanceTrack and SportsMOT. The paper concludes by emphasizing the need for future research to evaluate these methods across multiple datasets to better understand their generalization capabilities, as many existing studies focus on limited domains.
Introduction
The introduction of the paper discusses the complexities and significance of multi-object tracking (MOT) in computer vision, emphasizing its necessity in various applications such as autonomous driving, sports analysis, and surveillance. MOT involves detecting and tracking multiple objects in video sequences without prior knowledge of their appearances or locations, which presents challenges like occlusions, similar object appearances, and unpredictable motion. The paper highlights the evolution of MOT methodologies, particularly the transition from traditional tracking techniques to deep learning-based approaches, including tracking-by-detection frameworks like SORT and Deep SORT, which leverage convolutional neural networks (CNNs) and Kalman filtering for improved accuracy.
The authors outline the advancements in deep learning that have significantly enhanced MOT performance, including improved object detection architectures and association methods, as well as the emergence of end-to-end tracking paradigms such as MOTR and TrackFormer. The paper aims to provide a comprehensive survey of modern deep learning-based MOT algorithms, categorizing them into tracking-by-detection and end-to-end methods, and evaluating their performance across various benchmarks. The contributions include a detailed analysis of recent works, systematic categorization of methods, and the establishment of a custom benchmark to assess the generalizability of tracking algorithms across different domains.
Methods
The section discusses various methodologies for multi-object tracking (MOT), focusing on advancements in joint detection and embedding tracking methods, heuristic-based approaches, and motion-based techniques. The Joint Detection and Embedding (JDE) method integrates detection and re-identification tasks into a single neural network, enhancing tracking speed and robustness, achieving approximately four times higher frames per second (FPS) than Deep SORT, albeit with lower tracking accuracy. JDE employs metric learning to map detections into an embedding space, improving alignment with MOT requirements. FairMOT addresses the imbalance between detection and re-ID tasks by introducing architectural changes, while TransTrack utilizes a transformer-based approach to predict track bounding boxes alongside detections, simplifying the association process.
Heuristic-based methods, such as ByteTrack, leverage detection confidence to enhance association accuracy, while Hybrid-SORT combines motion-based heuristics for improved occlusion handling. BoostTrack introduces a confidence boosting mechanism for similarity measures, effectively managing crowded scenes. Motion-based tracking methods, including OC SORT and its extensions, improve upon traditional Kalman Filter (KF) approaches by incorporating observation-centric strategies to handle occlusions and non-linear motion. Deep learning-based motion models, such as MotionTrack and MoveSORT, replace the KF with advanced models that consider object interactions, demonstrating strong performance on datasets with dynamic motion. The section concludes by categorizing state-of-the-art methods into end-to-end, tracking-by-detection, and offline paradigms, highlighting their applicability in various tracking scenarios.
Discussion
The discussion section of the paper provides a comprehensive overview of recent literature on multi-object tracking (MOT), categorizing various surveys into general and domain-specific categories. General surveys focus on broad aspects of tracking, such as the application of deep learning in tracker components (e.g., object detection, feature extraction, and data association), while domain-specific surveys address tracking methods tailored for particular applications, such as autonomous vehicles and traffic environments. Key findings from these surveys highlight the evolution from traditional to deep learning-based methods, the challenges in data association, and the effectiveness of embedding and graph-based approaches in enhancing tracking performance.
The paper also formulates the problem of multi-object tracking mathematically, defining the trajectories of objects over time and the metrics used to evaluate tracker performance. It introduces various error types, such as false positives and identity switches, and discusses similarity measures like Intersection over Union (IoU) for bounding box detections. The evaluation metrics, including MOTA (Multi-Object Tracking Accuracy), MOTP (Multi-Object Tracking Precision), IDF1, and HOTA (Higher Order Tracking Accuracy), are detailed, emphasizing their roles in assessing detection, association, and localization quality. The section concludes with an overview of standard datasets used for benchmarking MOT methods, highlighting their unique challenges and the necessity for diverse evaluations to ensure generalization across different tracking scenarios.