تقييم أداء نموذج التعلم العميق للكشف التلقائي وتحديد موقع التصلب العظمي مجهول السبب على الأشعة السينية البانورامية للأسنان
Performance evaluation of a deep learning model for automatic detection and localization of idiopathic osteosclerosis on dental panoramic radiographs

المجلة: Scientific Reports، المجلد: 14، العدد: 1
DOI: https://doi.org/10.1038/s41598-024-55109-2
PMID: https://pubmed.ncbi.nlm.nih.gov/38396289
تاريخ النشر: 2024-02-23
المؤلف: Melek Taşsöker وآخرون
الموضوع الرئيسي: الأشعة السينية السنية والتصوير

نظرة عامة

تدرس الدراسة فعالية نموذج التعلم العميق، وتحديداً YOLOv5، في الكشف عن التصلب العظمي مجهول السبب (IO) في الأشعة السينية البانورامية للأسنان، والتي يتم التعرف عليها غالباً بشكل عرضي. يتميز IO بوجود مناطق إشعاعية غير شفافة ذات أصل غير معروف، مع معدل حدوث يبلغ 2.7% في السكان الأتراك. نظراً لندرة IO، قام الباحثون بتجميع مجموعة بيانات تضم 175 صورة شعاعية، والتي تم زيادتها إلى 350 من خلال الانعكاس الأفقي لتعزيز تدريب النموذج. تم تقسيم مجموعة البيانات إلى مجموعات تدريب (70%)، والتحقق (15%)، والاختبار (15%)، مع توفير التعليقات التوضيحية من قبل طبيبين أشعة.

تم تقييم أداء النموذج باستخدام مقاييس مثل الدقة، والاسترجاع، ودرجة F1، ومتوسط الدقة العامة (mAP)، مما أسفر عن دقة تبلغ 0.981، واسترجاع 0.929، ودرجة F1 تبلغ 0.954، إلى جانب متوسط زمن الاستدلال البالغ 25.4 مللي ثانية. تشير هذه النتائج إلى أنه على الرغم من التحديات التي تطرحها مجموعة البيانات المحدودة وتنوع جودة الصور، يظهر نموذج التعلم العميق دقة عالية وقدرات كشف سريعة. يمكن أن يؤدي التنفيذ الناجح للذكاء الاصطناعي في تحديد آفات IO إلى تحسين سير العمل السريري بشكل كبير من خلال تقليل الحاجة إلى الخزعات غير الضرورية.

الطرق

توضح القسم المعنون “المواد والطرق” الإطار التجريبي والإجراءات المستخدمة في الدراسة. يتناول المواد المحددة المستخدمة، بما في ذلك مصادرها وطرق إعدادها، بالإضافة إلى التصميم التجريبي، الذي يشمل البروتوكولات المتبعة لضمان إمكانية تكرار النتائج وموثوقيتها.

بالإضافة إلى ذلك، يصف القسم التقنيات التحليلية والأساليب الإحصائية المطبقة لتفسير البيانات التي تم جمعها خلال التجارب. يشمل ذلك أي معادلات أو نماذج ذات صلة تم استخدامها لتحليل النتائج، مما يضمن أن تكون المنهجية شفافة ويمكن تكرارها من قبل باحثين آخرين في هذا المجال. بشكل عام، يعد هذا القسم أساساً حاسماً لفهم صلاحية ونتائج الدراسة.

النتائج

في قسم النتائج، تم تدريب نموذج YOLOv5 على منصة COLAB، واستغرق 1.285 ساعة وشمل 600 دورة. ومع ذلك، بسبب عدم وجود تحسين ملحوظ، تم إيقاف التدريب عند الدورة 397، باستخدام الإيقاف المبكر. تم تدريب النموذج مع 20,852,934 معلمة، مما أسفر عن ملف وزن بحجم 42.1 ميغابايت. تم ضبط عتبات الكشف باستخدام المعلمات الافتراضية من نص “detect.py” الخاص بـ YOLOv5m، مع عتبة تقاطع على اتحاد (IoU) تبلغ 0.45 وعتبة درجة الثقة تبلغ 0.25. من بين 56 كائنًا تم التعرف عليه (IOs) في 52 صورة اختبار، تم الكشف عن 52 بشكل صحيح، بينما تم التعرف على واحد بشكل غير صحيح وذهب أربعة دون اكتشاف. يتم تفصيل مقاييس الأداء في الجدول 1، ويتم توضيح تقدم الخسارة والدقة في الشكل 7.

للتوطين والتصور، استخدم النموذج الأوزان المستمدة من 52 صورة شعاعية بانورامية للاختبار. أكد أطباء الأشعة أن النموذج حدد بدقة حدود IOs داخل صناديق محيطية، على الرغم من التباينات في الحجم، والاختلافات البيئية، والتباين، ومستويات نغمة البكسل عبر الصور. أظهر النموذج المدرب أداءً قويًا، حيث تمكن من الكشف عن وتوطين الغالبية العظمى من البيانات غير المرئية. يبرز الشكل 8 الكشف والتوطين التلقائي لـ IOs بواسطة نموذج YOLOv5 عبر عشر صور اختبار بانورامية، مما يسلط الضوء على قابليته للتكيف مع الخصائص المتنوعة.

المناقشة

قامت الدراسة بتحليل الأشعة السينية البانورامية بأثر رجعي للتحقيق في الكشف والتوطين للتصلب العظمي مجهول السبب (IO) باستخدام خوارزمية التعلم العميق YOLOv5. تم الموافقة على البحث أخلاقياً وشمل 175 مريضًا تتراوح أعمارهم بين 18 عامًا وما فوق، جميعهم يعانون من آفة شعاعية واحدة على الأقل تتوافق مع IO. تم تحديد معايير الاستبعاد بدقة لإزالة العوامل المربكة، مثل الآفات المرتبطة بالالتهاب أو حالات إشعاعية أخرى. تم توحيد الأشعة السينية من حيث التنسيق والحجم، وتم استخدام تقنيات زيادة البيانات لتعزيز مجموعة البيانات، مما زاد في النهاية عدد الصور إلى 350 لتدريب النموذج.

أظهر نموذج YOLOv5m أداءً عاليًا في الكشف عن IO، حيث حقق دقة تبلغ 0.981، واسترجاع 0.929، ودرجة F1 تبلغ 0.954 على مجموعة اختبار مكونة من 52 صورة. سمحت بنية النموذج، التي تشمل مكونات لمعالجة المدخلات، واستخراج الميزات، والتنبؤ، بالكشف السريع والدقيق على الرغم من التعقيدات الكامنة في الأشعة السينية البانورامية. تسلط الدراسة الضوء على إمكانيات أدوات التشخيص المدفوعة بالذكاء الاصطناعي في تعزيز كفاءة ودقة التقييمات الشعاعية، خاصة في تحديد الآفات الأقل شيوعًا مثل IO. ومع ذلك، يعترف المؤلفون بالقيود، بما في ذلك حجم مجموعة البيانات الصغيرة، والتي قد تؤثر على إمكانية تعميم النتائج، ويقترحون أن تركز الأبحاث المستقبلية على توسيع مجموعة البيانات ومقارنة IO مع آفات شعاعية أخرى لتحسين قدرات النموذج التشخيصية.

Journal: Scientific Reports, Volume: 14, Issue: 1
DOI: https://doi.org/10.1038/s41598-024-55109-2
PMID: https://pubmed.ncbi.nlm.nih.gov/38396289
Publication Date: 2024-02-23
Author(s): Melek Taşsöker et al.
Primary Topic: Dental Radiography and Imaging

Overview

The study investigates the efficacy of a deep learning model, specifically YOLOv5, in detecting idiopathic osteosclerosis (IO) in dental panoramic radiographs, which are often incidentally identified. IO is characterized by focal radiopacities of unknown origin, with a reported incidence of 2.7% in the Turkish population. Due to the rarity of IO, the researchers compiled a dataset of 175 radiographs, which was augmented to 350 through horizontal flipping to enhance model training. The dataset was divided into training (70%), validation (15%), and testing (15%) subsets, with annotations provided by two radiologists.

The model’s performance was evaluated using metrics such as precision, recall, F1-score, and mean Average Precision (mAP), yielding a precision of 0.981, recall of 0.929, and an F1-score of 0.954, alongside an average inference time of 25.4 ms. These results indicate that despite the challenges posed by the limited dataset and varying image qualities, the deep learning model demonstrates high accuracy and rapid detection capabilities. The successful implementation of AI in identifying IO lesions could significantly enhance clinical workflows by reducing the need for unnecessary biopsies.

Methods

The section titled “Materials and Methods” outlines the experimental framework and procedures employed in the study. It details the specific materials utilized, including their sources and preparation methods, as well as the experimental design, which encompasses the protocols followed to ensure reproducibility and reliability of results.

Additionally, the section describes the analytical techniques and statistical methods applied to interpret the data collected during the experiments. This includes any relevant equations or models used to analyze the findings, ensuring that the methodology is transparent and can be replicated by other researchers in the field. Overall, this section serves as a critical foundation for understanding the validity and implications of the study’s results.

Results

In the results section, the training of the YOLOv5 model was conducted on the COLAB platform, taking 1.285 hours and involving 600 epochs. However, due to a lack of significant improvement, the training was halted at the 397th epoch, employing early stopping. The model was trained with 20,852,934 parameters, resulting in a weight file of 42.1 Megabytes. The detection thresholds were set using the default parameters from the YOLOv5m “detect.py” script, with an Intersection over Union (IoU) threshold of 0.45 and a confidence score threshold of 0.25. Out of 56 identified objects (IOs) in 52 test images, 52 were correctly detected, while one was incorrectly identified and four went undetected. Performance metrics are detailed in Table 1, and the progression of loss and accuracy is illustrated in Figure 7.

For localization and visualization, the model utilized the weights derived from the 52 panoramic test radiographs. Radiologists confirmed that the model accurately delineated the borders of the IOs within bounding boxes, despite variations in size, environmental irregularities, contrast, and pixel tone levels across the images. The trained model demonstrated robust performance, effectively detecting and localizing the majority of unseen data. Figure 8 showcases the automatic detection and localization of IOs by the YOLOv5 model across ten panoramic test images, highlighting its adaptability to diverse characteristics.

Discussion

The study retrospectively analyzed panoramic radiographs to investigate the detection and localization of idiopathic osteosclerosis (IO) using the YOLOv5 deep learning algorithm. The research was ethically approved and included 175 patients aged 18 and older, all presenting at least one radiopaque lesion consistent with IO. Exclusion criteria were strictly defined to eliminate confounding factors, such as lesions associated with inflammation or other radiopaque conditions. The radiographs were standardized in format and size, and data augmentation techniques were employed to enhance the dataset, ultimately increasing the number of images to 350 for training the model.

The YOLOv5m model demonstrated high performance in detecting IO, achieving a precision of 0.981, recall of 0.929, and an F1-score of 0.954 on a test set of 52 images. The model’s architecture, which includes components for input processing, feature extraction, and prediction, allowed for rapid and accurate detection despite the inherent complexities of panoramic radiographs. The study highlights the potential of AI-driven diagnostic tools in enhancing the efficiency and accuracy of radiological assessments, particularly in identifying less common lesions like IO. However, the authors acknowledge limitations, including the small dataset size, which may affect generalizability, and suggest that future research should focus on expanding the dataset and comparing IO with other radiopaque lesions to improve the model’s diagnostic capabilities.