DOI: https://doi.org/10.1038/s41598-025-28603-4
PMID: https://pubmed.ncbi.nlm.nih.gov/41588023
تاريخ النشر: 2026-01-26
المؤلف: Shuaishuai Yu وآخرون
الموضوع الرئيسي: أنظمة الرؤية الصناعية واكتشاف العيوب
نظرة عامة
تقدم هذه الدراسة نموذج Photovoltaic-DETR، وهو نموذج جديد للكشف عن الأعطال متعدد الوسائط مصمم لتعزيز كفاءة فحص وحدات الطاقة الشمسية من خلال دمج صور النقاط الساخنة بالأشعة تحت الحمراء، وصور الأشعة تحت الحمراء، وصور الضوء المرئي. يعتمد النموذج على إطار عمل RT-DETR ويقدم شبكة هيكلية خفيفة الوزن تستخدم وحدات ORPELAN وReLA Block المصممة ذاتيًا، بالإضافة إلى فرع عكسي مساعد لاستخراج الميزات المكانية بشكل فعال. بالإضافة إلى ذلك، تستخدم شبكة دمج الميزات المعاد هيكلتها آلية دمج تسلسل الانتباه-المقياس وطرق إعادة المعايرة لتقليل تكرار دمج القنوات، بينما يسهل نموذج DySample عملية زيادة وتقليل العينة الديناميكية أثناء دمج الميزات، مما يحسن من قدرات النموذج الإدراكية.
تظهر التقييمات التجريبية على مجموعات بيانات متنوعة، بما في ذلك مجموعات بيانات الأشعة تحت الحمراء الملتقطة بواسطة الطائرات بدون طيار والمتاحة للجمهور، أن Photovoltaic-DETR يتفوق بشكل كبير على نموذج RT-DETR، محققًا تحسينات في متوسط الدقة العامة (mAP) بنسبة 50% بمقدار 2.9، 4.9، 2.6، و5.1 نقطة مئوية عبر مجموعات بيانات مختلفة. علاوة على ذلك، يظهر النموذج تقليلاً في عدد المعلمات بنسبة 28.6% وانخفاضًا في الحمل الحاسوبي بنسبة 28.5%. تؤكد هذه النتائج على قدرة النموذج القوية على التكيف للكشف عن الأعطال متعددة الوسائط في وحدات الطاقة الشمسية، مما يضع أساسًا تقنيًا قويًا لتطبيقه في البيئات الصناعية.
طرق
في هذا القسم، يوضح المؤلفون الطرق التجريبية المستخدمة لتقييم أداء النهج متعدد الوسائط، Photovoltaic-DETR، مقارنةً بالطرق أحادية الوسائط باستخدام بيانات الأشعة تحت الحمراء والضوء المرئي. تم إجراء التجارب على نظام Windows 11 بعمق 64 بت، باستخدام معالج Intel Core i5-12400 F وبطاقة رسومات NVIDIA GeForce RTX 4060 Ti، مع تحديد معلمات التدريب الخاصة في الجداول المرفقة.
يقارن الدراسة بشكل كمي دقة الكشف، وتعقيد الحوسبة، ومتطلبات الأجهزة، وتكاليف التنفيذ عبر ثلاثة مخططات مقارنة. تشير النتائج إلى أن النهج متعدد الوسائط يتفوق بشكل كبير على الطرق أحادية الوسائط، محققًا متوسط دقة عامة (mAP) بنسبة 75.7% على مجموعة بيانات الأشعة تحت الحمراء و77.7% على مجموعة بيانات الضوء المرئي، مما يمثل تحسينات بنسبة 14.9% و19.2% على التوالي. بالإضافة إلى ذلك، يظهر المخطط متعدد الوسائط تعقيدًا حاسوبيًا أقل، مع 14.4 مليون معلمة و40.7 GFLOPs، مما يمثل تخفيضات بنسبة 27.6% و28.5% مقارنةً بالطرق أحادية الوسائط. على الرغم من أن تكلفة التنفيذ الأولية للمخطط متعدد الوسائط أعلى، إلا أنها تقدم فعالية من حيث التكلفة على المدى الطويل من خلال تقليل خسائر الأعطال، مما يظهر مزايا كبيرة في دقة الكشف، وكفاءة الموارد، والجدوى الاقتصادية العامة.
نتائج
في هذا القسم، يقدم المؤلفون العملية التجريبية ونتائج دراستهم حول نموذج Photovoltaic-DETR، مع التركيز بشكل خاص على أدائه في الكشف عن صور النقاط الساخنة بالأشعة تحت الحمراء لوحدات الطاقة الشمسية. يتم تصور النتائج من خلال تحليل مقارن لنتائج الكشف المختارة من نموذج Photovoltaic-DETR مقابل تلك التي تم الحصول عليها من نموذج RT-DETR الأصلي. تهدف هذه المقارنة المرئية إلى تقديم فهم أوضح للتحسينات التي حققها نموذج Photovoltaic-DETR في تحديد وتحليل صور الأشعة تحت الحمراء والضوء المرئي لوحدات الطاقة الشمسية بدقة.
مناقشة
يمثل إطار عمل RT-DETR تقدمًا كبيرًا في الكشف عن الأجسام في الوقت الحقيقي من النهاية إلى النهاية من خلال القضاء على الحاجة إلى كبح غير الأقصى التقليدي (NMS)، الذي غالبًا ما يعيق سرعة الاستدلال ودقة الكشف. باستخدام هيكل خفيف الوزن ResNet-18، يدمج RT-DETR مشفر هجين ومفكك ترميز Transformer لاستخراج ودمج الميزات الدلالية متعددة المستويات بكفاءة، مما ينتج عنه توقعات الفئة وانحدارات الصناديق المحيطة. تم تحسين بنية النموذج لتكون ذات زمن استجابة منخفض مع الحفاظ على دقة كشف عالية، مما يجعلها مناسبة للتطبيقات في الوقت الحقيقي.
في معالجة تحديات الكشف عن أعطال وحدات الطاقة الشمسية، يعزز نموذج Photovoltaic-DETR قدرات الكشف من خلال استخدام إطار دمج انتباه متعدد الوسائط يدمج التصوير الحراري بالأشعة تحت الحمراء وبيانات الضوء المرئي. لا يقلل هذا النهج من الاعتماد على التصوير بالتحليل الكهربائي، مما يقلل من تكاليف المعدات فحسب، بل يحسن أيضًا الدقة. يؤدي إدخال وحدات مثل دمج تسلسل الانتباه-المقياس (ASF) وآلية زيادة العينة الديناميكية DySample إلى تحسين استخراج الميزات وزيادة حساسية النموذج تجاه الأعطال الصغيرة. تظهر النتائج التجريبية أن هذه التحسينات تؤدي إلى مكاسب كبيرة في دقة الكشف، مع مقاييس مثل متوسط الدقة العامة (mAP) والاسترجاع تظهر تحسينات ملحوظة، مما يثبت فعالية المنهجيات المقترحة.
القيود
تسلط قيود طريقة Photovoltaic-DETR الضوء على قيودها الحالية في سياق الكشف عن أعطال وحدات الطاقة الشمسية متعددة الوسائط. بينما يوازن النهج بشكل فعال بين الدقة والتصميم الخفيف، تشير التجارب التحقق الإضافية واختبارات التكيف مع السيناريوهات إلى وجود قصور كبير. بشكل ملحوظ، يظهر الأسلوب عدم كفاية التكيف مع أنواع الأعطال غير المرئية. تشمل مجموعة بيانات التدريب 14 عطلًا شائعًا، بما في ذلك النقاط الساخنة، والشقوق الدقيقة، وحجب الغبار؛ ومع ذلك، لا تأخذ في الاعتبار “الأعطال غير المرئية” المحتملة التي قد تنشأ خلال فترة التشغيل لوحدات الطاقة الشمسية. تشمل أمثلة هذه الأعطال انخفاض نفاذية الضوء بسبب شيخوخة مواد التعبئة والتغليف والأضرار غير المعتادة الناتجة عن تأثير البرد. تشير هذه القيود إلى الحاجة إلى توسيع مجموعات بيانات التدريب والأساليب لتعزيز قوة النظام ضد مجموعة أوسع من التحديات التشغيلية.
DOI: https://doi.org/10.1038/s41598-025-28603-4
PMID: https://pubmed.ncbi.nlm.nih.gov/41588023
Publication Date: 2026-01-26
Author(s): Shuaishuai Yu et al.
Primary Topic: Industrial Vision Systems and Defect Detection
Overview
This research presents Photovoltaic-DETR, a novel multimodal fault detection model designed to enhance the efficiency of photovoltaic module inspections by integrating infrared hotspot images, infrared images, and visible light images. The model builds upon the RT-DETR framework and introduces a lightweight backbone network utilizing self-designed ORPELAN and ReLA Block modules, along with an auxiliary reversible branch for effective spatial feature extraction. Additionally, a restructured feature fusion network employs an attention-scale sequence fusion mechanism and reparameterization methods to minimize channel concatenation redundancy, while the DySample module facilitates dynamic upsampling and downsampling during feature fusion, thereby improving the model’s perceptual capabilities.
Experimental evaluations on various datasets, including UAV-captured and publicly available infrared datasets, demonstrate that Photovoltaic-DETR significantly outperforms the RT-DETR model, achieving improvements in mean Average Precision (mAP) at 50% by 2.9, 4.9, 2.6, and 5.1 percentage points across different datasets. Furthermore, the model exhibits a reduction in parameter count by 28.6% and a decrease in computational load by 28.5%. These findings underscore the model’s robust adaptability for multimodal fault detection in photovoltaic modules, establishing a strong technical foundation for its application in industrial settings.
Methods
In this section, the authors detail the experimental methods employed to evaluate the performance of the multimodal approach, Photovoltaic-DETR, compared to unimodal methods using infrared and visible light data. The experiments were conducted on a 64-bit Windows 11 system, utilizing an Intel Core i5-12400 F processor and an NVIDIA GeForce RTX 4060 Ti GPU, with specific training hyperparameters outlined in accompanying tables.
The study quantitatively compares detection accuracy, computational complexity, hardware requirements, and implementation costs across three comparative schemes. Results indicate that the multimodal approach significantly outperforms unimodal methods, achieving a mean Average Precision (mAP) of 75.7% on the infrared dataset and 77.7% on the visible light dataset, marking improvements of 14.9% and 19.2%, respectively. Additionally, the multimodal scheme exhibits lower computational complexity, with 14.4 million parameters and 40.7 GFLOPs, representing reductions of 27.6% and 28.5% compared to unimodal methods. Although the initial implementation cost of the multimodal scheme is higher, it offers long-term cost-effectiveness by minimizing fault losses, thereby demonstrating substantial advantages in detection accuracy, resource efficiency, and overall economic viability.
Results
In this section, the authors present the experimental process and results of their study on the Photovoltaic-DETR model, specifically focusing on its performance in detecting infrared hotspot images of photovoltaic modules. The results are visualized through a comparative analysis of selected detection outcomes from the Photovoltaic-DETR model against those obtained from the original RT-DETR model. This visual comparison aims to provide a clearer understanding of the enhancements achieved by the Photovoltaic-DETR model in accurately identifying and analyzing infrared and visible light images of photovoltaic modules.
Discussion
The RT-DETR framework represents a significant advancement in real-time end-to-end object detection by eliminating the need for traditional non-maximum suppression (NMS), which often hampers inference speed and detection accuracy. Utilizing a lightweight ResNet-18 backbone, RT-DETR integrates a hybrid encoder and a Transformer decoder to efficiently extract and fuse multi-level semantic features, ultimately producing class predictions and bounding box regressions. The model’s architecture is optimized for low latency while maintaining high detection accuracy, making it suitable for real-time applications.
In addressing the challenges of photovoltaic module fault detection, the Photovoltaic-DETR model enhances detection capabilities by employing a cross-modal attention fusion framework that integrates infrared thermal imaging and visible light data. This approach not only reduces reliance on electroluminescence imaging, thereby lowering equipment costs, but also improves precision. The introduction of modules such as the Attention-Scale Sequence Fusion (ASF) and the DySample dynamic upsampling mechanism further refines feature extraction and enhances the model’s sensitivity to small-scale faults. Experimental results demonstrate that these improvements lead to significant gains in detection accuracy, with metrics such as mean Average Precision (mAP) and Recall showing marked enhancements, validating the effectiveness of the proposed methodologies.
Limitations
The limitations of the Photovoltaic-DETR method highlight its current constraints in the context of multimodal photovoltaic module fault detection. While the approach effectively balances accuracy and a lightweight design, further validation experiments and scenario adaptation tests indicate significant shortcomings. Notably, the method exhibits insufficient adaptability to unseen fault types. The training dataset encompasses 14 common faults, including hotspots, microcracks, and dust occlusion; however, it does not account for potential “unseen faults” that may arise during the operational lifespan of photovoltaic systems. Examples of such faults include reduced light transmittance due to the aging of packaging materials and atypical damage resulting from hail impact. This limitation suggests a need for expanded training datasets and methodologies to enhance the system’s robustness against a broader range of operational challenges.