DOI: https://doi.org/10.1038/s41467-025-59516-5
PMID: https://pubmed.ncbi.nlm.nih.gov/40328808
تاريخ النشر: 2025-05-06
المؤلف: Yuanyuan Hu وآخرون
الموضوع الرئيسي: صيانة البنية التحتية والمراقبة
نظرة عامة
تناقش هذه الفقرة الحاجة الملحة للكشف الفعال والدقيق عن أضرار الطرق لتعزيز صيانة البنية التحتية وسلامة النقل. الفحوصات اليدوية التقليدية تتطلب الكثير من العمل وتستغرق وقتًا طويلاً، بينما تتطلب الأنظمة الآلية غالبًا موارد حسابية كبيرة، مما يعيق استخدامها على نطاق واسع. للتغلب على هذه التحديات، تقدم الدراسة MobiLiteNet، وهو نموذج تعلم عميق خفيف الوزن تم تحسينه للنشر على الهواتف الذكية وأنظمة الواقع المختلط. يستفيد MobiLiteNet من مجموعة بيانات متنوعة من أوروبا وآسيا ويستخدم تقنية الانتباه القنوي الفعال لتعزيز الأداء. كما يتضمن تقنيات مثل تحسين الهيكل، وتقطير المعرفة النادرة، والتقليم الهيكلي، والتكميم لتحسين الكفاءة الحسابية دون التضحية بدقة الكشف.
تشير النتائج إلى أن MobiLiteNet يتفوق على النماذج الحالية، بما في ذلك نموذج MobileNet الأساسي، على الأجهزة المحمولة، مما يمكّن من الكشف عن أضرار الطرق في الوقت الحقيقي وبشكل قابل للتوسع. هذه التقدمات ضرورية لإدارة فعالة للبنية التحتية للطرق، حيث تعالج قيود طرق الفحص التقليدية، التي تكون بطيئة وعرضة للأخطاء. تسلط الدراسة الضوء على الحاجة الملحة للأنظمة الآلية التي يمكن أن توفر مراقبة دقيقة وفي الوقت المناسب لحالة الطرق، مما يقلل من خطر الفشل الهيكلي وتكاليف الإصلاح المرتبطة.
الطرق
تحدد هذه الفقرة المنهجية المستخدمة لتقييم فعالية إطار عمل MobiLiteNet لمراقبة الطرق في الوقت الحقيقي. يبدأ سير العمل التجريبي بجمع وزيادة صور الطرق من مواقع جغرافية متنوعة في أوروبا وآسيا، باستخدام ظروف بيئية مختلفة لتعزيز قوة مجموعة البيانات. تم تطبيق تقنيات معالجة مسبقة متقدمة لمحاكاة أنماط الشقوق المختلفة، تلاها تطوير MobiLiteNet باستخدام نهج من مرحلتين يتضمن آليات الانتباه القنوي الفعال (ECA) لتحسين أداء النموذج. تم تنفيذ تحسينات لاحقة، بما في ذلك تقطير المعرفة النادرة، والتقليم الهيكلي، والتكميم، لتقليل التعقيد الحسابي مع الحفاظ على دقة الكشف العالية. تم تحويل النموذج المحسن إلى تنسيق TensorFlow Lite (TFLite) للنشر على الأجهزة المحمولة.
تم إجراء اختبارات ميدانية في آخن، ألمانيا، للتحقق من قدرات تعميم النظام، مع خطط لتحميل البيانات المجمعة إلى خادم سحابي للتكامل في قاعدة بيانات Mobilithek، وهي منصة مركزية لبيانات التنقل الوطنية التي أطلقتها وزارة النقل والرقمنة الفيدرالية الألمانية (BMDV). تم مقارنة أداء MobiLiteNet مع نموذج MobileNet V2 الأساسي عبر مقاييس رئيسية مثل دقة الكشف، وهندسة النموذج، وحجم المعلمات. تم إجراء دراسة إلغاء لتقييم مساهمات المكونات الفردية في الأداء العام. تم مناقشة نتائج النشر على الهواتف الذكية وأجهزة الواقع المختلط، مما يظهر قابلية تطبيق الإطار في سيناريوهات مراقبة الطرق في العالم الحقيقي.
النتائج
تحدد فقرة النتائج المنهجية لتحميل نتائج الكشف من الهواتف الذكية وأجهزة الواقع المختلط (MR) إلى قاعدة بيانات سحابية عبر واجهة برمجة التطبيقات (API). البيانات، التي تشمل الطوابع الزمنية ومجموعات البيانات المنظمة، تهدف إلى التكامل المستقبلي في قاعدة البيانات الألمانية مفتوحة الوصول Mobilithek. تهدف هذه المبادرة إلى تعزيز مراقبة حالة الطرق على نطاق واسع وتسهيل اتخاذ قرارات إدارة البنية التحتية المستندة إلى معلومات دقيقة عن الأضرار الزمنية والمكانية.
لتنفيذ هذه العملية، تم تطوير واجهة API آمنة تستخدم واجهة برمجة التطبيقات REST الخاصة بـ Google Drive. تضمنت الإجراءات إنشاء اتصال آمن من خلال OAuth 2.0 لمصادقة الجلسة، والتي شملت إدارة رموز الوصول. تم تنسيق نتائج الكشف في تنسيقات منظمة مثل JSON أو CSV، تشمل بيانات وصفية أساسية مثل الطوابع الزمنية، ومعرفات الأجهزة، وإحداثيات الموقع. تم تحميل النتائج إلى ملف تم إنشاؤه حديثًا في Google Drive باستخدام طلب تحميل متعدد الأجزاء، مما يسمح بالتعامل الفعال مع مجموعات البيانات الكبيرة. عند التحميل الناجح، قدمت واجهة API استجابة تأكيدية مع معرف الملف ورابط للملف المحمل، والذي تم تسجيله لاحقًا لضمان إمكانية تتبعه.
المناقشة
تم تصميم إطار عمل MobiLiteNet لتحسين نماذج التعلم العميق للنشر المحمول في الوقت الحقيقي، مع التركيز بشكل خاص على الكشف عن أضرار الطرق. يستخدم نهجًا منهجيًا يعزز أولاً قدرة النموذج التمثيلية ودقته قبل تنفيذ تحسينات خفيفة الوزن. تشمل المكونات الرئيسية لهذا الإطار آليات الانتباه القنوي الفعال (ECA)، وتحسين الهيكل، وتقطير المعرفة النادرة، والتقليم الهيكلي، والتكميم. تعمل هذه التقنيات مجتمعة على تحسين كفاءة النموذج مع الحفاظ على دقة الكشف العالية، حيث يعد MobileNet V2 هو النموذج الأساسي. على سبيل المثال، حقق النموذج المحسن تقليصًا في المعلمات من 2,228,996 إلى 498,283 مع زيادة الدقة من 94.09% إلى 96.38%. يعزز دمج ECA تمثيل الميزات، بينما يسهل تقطير المعرفة نقل التعلم من نموذج معلم أكثر تعقيدًا، ResNet، إلى نموذج طالب خفيف الوزن.
لضمان القوة عبر ظروف بيئية متنوعة، تم توسيع مجموعة البيانات لتدريب MobiLiteNet لتشمل صورًا من مواقع جغرافية متنوعة وسيناريوهات الطقس. تعزز هذه المجموعة، التي تشمل صورًا تم التقاطها خلال أوقات وظروف مختلفة، قدرات تعميم النموذج. كما زاد تطبيق الشبكات التنافسية التوليدية Wasserstein (WGAN-GP) من مجموعة البيانات، مما يعالج عدم توازن البيانات ويحسن من قابلية تكيف النموذج. أظهرت التحقق الميداني من النموذج المحسن MobiLiteNet فعاليته، حيث حقق دقة إجمالية قدرها 92.5% في ظروف العالم الحقيقي. عرض النشر على الهواتف الذكية وأجهزة الواقع المختلط (MR) تحسينات كبيرة في كفاءة المعالجة، حيث حقق النموذج 5 أوقات معالجة قدرها 34.5 مللي ثانية على الهواتف الذكية و40.1 مللي ثانية على أجهزة MR، مما يمثل تخفيضات كبيرة مقارنة بالنماذج الأساسية. لا تعزز هذه التحسينات الكفاءة التشغيلية فحسب، بل تسهل أيضًا التنفيذ العملي لأنظمة مراقبة الطرق في الوقت الحقيقي.
DOI: https://doi.org/10.1038/s41467-025-59516-5
PMID: https://pubmed.ncbi.nlm.nih.gov/40328808
Publication Date: 2025-05-06
Author(s): Yuanyuan Hu et al.
Primary Topic: Infrastructure Maintenance and Monitoring
Overview
The section discusses the critical need for efficient and accurate road distress detection to enhance infrastructure maintenance and transportation safety. Traditional manual inspections are labor-intensive and time-consuming, while automated systems often require significant computational resources, hindering their widespread use. To overcome these challenges, the study presents MobiLiteNet, a lightweight deep learning model optimized for mobile deployment on smartphones and mixed reality systems. MobiLiteNet leverages a diverse dataset from Europe and Asia and employs Efficient Channel Attention to enhance performance. It further incorporates techniques such as structural refinement, sparse knowledge distillation, structured pruning, and quantization to improve computational efficiency without sacrificing detection accuracy.
The results indicate that MobiLiteNet outperforms existing models, including the baseline MobileNet, on mobile devices, enabling real-time and scalable road distress detection. This advancement is crucial for effective road infrastructure management, as it addresses the limitations of traditional inspection methods, which are slow and prone to errors. The study highlights the urgent need for automated systems that can provide timely and accurate monitoring of road conditions, thereby reducing the risk of structural failures and associated repair costs.
Methods
The section outlines the methodology employed to assess the effectiveness of the MobiLiteNet framework for real-time road monitoring. The experimental workflow begins with the collection and augmentation of road images from diverse geographic locations in Europe and Asia, utilizing various environmental conditions to enhance dataset robustness. Advanced preprocessing techniques were applied to simulate different crack patterns, followed by the development of MobiLiteNet using a two-stage approach that incorporates Efficient Channel Attention (ECA) mechanisms to improve model performance. Subsequent optimizations, including sparse knowledge distillation, structured pruning, and quantization, were implemented to reduce computational complexity while maintaining high detection accuracy. The optimized model was converted to TensorFlow Lite (TFLite) format for deployment on mobile devices.
Field tests were conducted in Aachen, Germany, to validate the system’s generalization capabilities, with plans to upload collected data to a cloud server for integration into the Mobilithek database, a centralized platform for national mobility data initiated by the German Federal Ministry for Digital and Transport (BMDV). The performance of MobiLiteNet was compared to the baseline MobileNet V2 across key metrics such as detection accuracy, model architecture, and parameter size. An ablation study was performed to evaluate the contributions of individual components to the overall performance. The results of the deployment on smartphones and mixed-reality devices were discussed, demonstrating the framework’s applicability in real-world road monitoring scenarios.
Results
The results section outlines the methodology for uploading detection results from smartphone and mixed reality (MR) devices to a cloud database via an API. The data, which includes timestamps and structured datasets, is intended for future integration into the German open-access database Mobilithek. This initiative aims to enhance large-scale road condition monitoring and facilitate informed infrastructure management decisions based on accurate temporal and spatial distress information.
To implement this process, a secure API interface utilizing Google Drive’s REST API was developed. The procedure involved establishing a secure connection through OAuth 2.0 for session authentication, which included managing access tokens. Detection results were formatted in structured formats such as JSON or CSV, encompassing essential metadata like timestamps, device IDs, and location coordinates. The results were uploaded to a newly created file in Google Drive using a multipart upload request, allowing for efficient handling of large datasets. Upon successful upload, the API provided a confirmation response with the file ID and a link to the uploaded file, which was subsequently logged to ensure traceability.
Discussion
The MobiLiteNet framework is designed to optimize deep learning models for real-time mobile deployment, specifically targeting road distress detection. It employs a systematic approach that first enhances model representational capacity and accuracy before implementing lightweight optimizations. Key components of this framework include Efficient Channel Attention (ECA) mechanisms, structural refinement, sparse knowledge distillation, structured pruning, and quantization. These techniques collectively improve model efficiency while maintaining high detection accuracy, with MobileNet V2 serving as the baseline model. For instance, the optimized model achieved a reduction in parameters from 2,228,996 to 498,283 while increasing accuracy from 94.09% to 96.38%. The integration of ECA enhances feature representation, while knowledge distillation facilitates the transfer of learning from a more complex teacher model, ResNet, to a lightweight student model.
To ensure robustness across varying environmental conditions, the dataset for training MobiLiteNet was expanded to include images from diverse geographic locations and weather scenarios. This dataset, which includes images captured during different times and conditions, enhances the model’s generalization capabilities. The application of Wasserstein Generative Adversarial Networks (WGAN-GP) further augmented the dataset, addressing data imbalance and improving model adaptability. Field validation of the MobiLiteNet-optimized model demonstrated its effectiveness, achieving an overall accuracy of 92.5% in real-world conditions. The deployment on smartphones and Mixed Reality (MR) devices showcased significant improvements in processing efficiency, with Model 5 achieving processing times of 34.5 ms on smartphones and 40.1 ms on MR devices, representing substantial reductions compared to baseline models. These optimizations not only enhance operational efficiency but also facilitate the practical implementation of real-time road monitoring systems.