التوطين الآلي لنقاط المعالم الفكية في بناء المستوى السهمي الوسيط الفكي Automated localization of mandibular landmarks in the construction of mandibular median sagittal plane

المجلة: European journal of medical research، المجلد: 29، العدد: 1
DOI: https://doi.org/10.1186/s40001-024-01681-2
PMID: https://pubmed.ncbi.nlm.nih.gov/38287445
تاريخ النشر: 2024-01-29

التوطين الآلي لنقاط المعالم الفكية في بناء المستوى السهمي الوسيط الفكي

يالي وانغ ويزي وو موكشيمانا كريستيل منغيوان سون زهي ويين يفان لين هينغو زانغ وجيانغ شيو

الملخص

الهدف هو استخدام التعلم العميق لتقسيم الفك السفلي وتحديد المعالم التشريحية ثلاثية الأبعاد (3D) من صور الأشعة المقطعية المخروطية (CBCT)، وتمت مقارنة وتحليل المستويات المكونة من معالم منتصف الفك السفلي للعثور على أفضل مستوى متوسط للفك السفلي (MMSP). الطرق تم تقسيم 400 مشارك بشكل عشوائي إلى مجموعة تدريبية ( ) ومجموعة التحقق ( ). تم استخدام الأفراد العاديين كمجموعة اختبار ( آلية التعلم العميق PointRend قامت بتقسيم الفك السفلي من صور CBCT وحددت بدقة 27 معلمًا تشريحيًا عبر PoseNet. تم الحصول على إحداثيات ثلاثية الأبعاد لـ 5 معالم مركزية و2 زوج من المعالم الجانبية لمجموعة الاختبار. تم فحص كل 35 مجموعة من 3 معالم على الخط الأوسط باستخدام تقنية رسم القالب. تم حساب مؤشر عدم التماثل (AI) لكل من الطائرات المرآة الـ 35. تم استخدام طائرة تقنية رسم القالب كطائرة مرجعية؛ وتمت مقارنة أفضل أربع طائرات بأقل قيم AI من خلال المسافة، واختلاف الحجم، ومؤشر التشابه للعثور على الطائرة التي تحتوي على أقل عدد من الأخطاء.

النتائج تم تقسيم الفك السفلي تلقائيًا في مع معامل تشابه دايس 0.98. كان متوسط خطأ تحديد المعالم لـ 27 معلمًا هو يجب على MMSP استخدام الطائرة التي صنعها B (السوبرا منتال)، Gn (غناثيون)، وF (الثقب الفكي السفلي). كان متوسط درجة AI 1.6 (الحد الأدنى – الحد الأقصى: 0.59-3.61). لم يكن هناك فرق ذو دلالة إحصائية في المسافة أو الحجم. )؛ ومع ذلك، كان مؤشر التشابه مختلفًا بشكل ملحوظ ( الخاتمة يمكن أن يقوم التعلم العميق بتقسيم الفك السفلي تلقائيًا، وتحديد المعالم التشريحية، وتلبية الاحتياجات الطبية لدى الأشخاص الذين لا يعانون من تشوهات في الفك السفلي. كانت أكثر خطة MMSP دقة هي خطة B-Gn-F.

الكلمات الرئيسية: التعلم العميق، المستوى السهمي الوسيط للفك السفلي، تقسيم الفك السفلي، التصوير ثلاثي الأبعاد

مقدمة

انحراف الفك السفلي هو تشوه شائع في عيادات تقويم الأسنان وقد يكون ناتجًا عن اختلافات في حجم وشكل الفك السفلي أو بسبب انحراف موضعي للفك السفلي [1،2]. وفقًا لآليات الانحراف المختلفة، تختلف الحلول أيضًا. لذلك، فإن التعرف الدقيق على آلية الانحراف أمر حاسم للعلاج. تم استخدام المستوى السهمي المتوسط القحفي الفكّي (CMSP) كمستوى سهمي لتقييم تماثل الفك السفلي في الطرق التقليدية؛ ومع ذلك، فإن هذا المستوى له قيود عندما يتغير وضع الفك السفلي، مثل أثناء الدوران أو الانتقال [1،3].
مع التطور السريع لتكنولوجيا الكمبيوتر وإعادة البناء ثلاثي الأبعاد، تتمتع طرق القياس ثلاثي الأبعاد بمزيد من المزايا مقارنة بالطرق ثنائية الأبعاد (2D) لتقييم عدم التماثل. تعتمد طرق تحليل تماثل الوجه والجمجمة بشكل أساسي على المعالم التشريحية، ومحاذاة الأصل-المرآة، وخوارزميات التعلم العميق. كانت الطرق التقليدية المعتمدة على المعالم التشريحية الخيار الرئيسي لتقييم عدم تماثل الوجه والجمجمة. غالبًا ما يتم إنشاء مستوى مرجعي عن طريق تقسيم الخطوط بين المعالم الثنائية أو عن طريق ربط المعالم المتوسطة، والتي تحدد كلا الجانبين من القياسات الكمية ثنائية أو ثلاثية الأبعاد. لقد قامت عدة دراسات بتحليل المستويات التي تم إنشاؤها بواسطة ، وMe لاستكشاف الفروق بين جانبي الفك السفلي [5، 6]. لم يتم التحقق من دقة هذه الطائرة. تم تطوير طائرة منتصف الساجيتال الخاصة بالفك السفلي لتحليل الفك السفلي ثلاثي الأبعاد. كانت هذه الدراسة محدودة باستخدام المعالم السنية، التي تعتبر غير موثوقة عند الحواف السنية الضامرة [7]. تم معالجة محاذاة النموذج الأصلي والمرآة من خلال تداخل ومحاذاة النماذج الأصلية والمرآة من خلال تحويلات إحداثيات ثلاثية الأبعاد خوارزمية، وتم حساب أفضل طائرة ساجيتال رياضيًا. كانت طريقة النقطة الأقرب (ICP) تعتمد على مبدأ المربعات الصغرى وطبقت بشكل تكراري مطابقة النقطة الأقرب مع الحد الأدنى من المسافة بين الصور الأصلية وصور المرآة المطابقة [8، 9]. ومع ذلك، فإن لهذه الطريقة عدة قيود. تمت إضافة سحب النقاط للمناطق غير المتماثلة إلى الحساب، مما قلل من دقة الخوارزمية [4، 8]. مثلما في خوارزمية ICP، تختار خوارزمية تحليل بروكروستس (PA) سحب النقاط للمنطقة المتماثلة وتحول النموذج الأصلي مع الإحداثيات المقابلة لنموذج المرآة لتحقيق أفضل مطابقة [8، 9]. ومع ذلك، كان من غير الممكن تجنب إضافة عنصر ذاتي من تدخل الإنسان لكلا الطريقتين. قام زو وآخرون بإنشاء طائرة ساجيتال متوسطة ثلاثية الأبعاد للوجه من خلال تنفيذ هذه الطريقة مع خوارزمية تحليل بروكروستس الموزونة (WPA). كانت زاوية الخطأ المتوسطة بين WPA والطائرات المعرفة يدويًا نموذج PRS-Net
استنادًا إلى مجموعة بيانات ShapeNet، تم أتمتة إنشاء بيانات سحابة النقاط ثلاثية الأبعاد لسطح التماثل، والذي تم استخدامه كمرجع مهم للتوليد الآلي لسطح السهم الوسيط للوجه.
ومع ذلك، فإن استخدام تقنيات التعلم العميق لبناء الطائرات السهمية لا يزال في مراحله الأولى. بالإضافة إلى ذلك، فإن الأبحاث حول بناء الطائرات السهمية المتوسطة لل mandibular استنادًا إلى خوارزميات التعلم العميق نادرة. كان هدف هذه الدراسة هو تحديد الطائرة السهمية المتوسطة لل mandibular تلقائيًا من خلال تقسيمها من صور CBCT وتحديد معالمها ثلاثية الأبعاد بدقة باستخدام خوارزمية تعلم عميق (الشكل 1)، مما يوفر طريقة بسيطة ودقيقة للحكم السريري على تماثل الفك السفلي.

طرق

جمع البيانات

تم تسجيل أربعمائة شخص تتراوح أعمارهم بين 18 و 45 عامًا من مستشفى أنهوى الطبي لطب الأسنان من عام 2018 إلى 2022. تم تقسيم جميع المشاركين عشوائيًا إلى مجموعة تدريب ( ) ومجموعة التحقق ( ). معايير الاستبعاد: كسور الفك السفلي أو الامتصاص، التشوهات، أو صور CBCT غير المكتملة. تم الحصول على خمسين صورة ثلاثية الأبعاد للوجه من أشخاص طبيعيين مورفولوجيًا في مجموعة الاختبار. تم الحصول على الموافقة الأخلاقية من مستشفى أنهوى الطبي الجامعي (PJ: T2020010). تم الحصول على موافقة خطية مستنيرة من جميع المشاركين. كانت معايير الإدراج كما يلي: (1) تتراوح أعمارهم بين 18 إلى 45 عامًا (28 أنثى و22 ذكر، متوسط العمر سنوات); (2) زاوية ANB ، انزلاق عادي، وعضة زائدة؛ (3) لم يكن لديه أسنان مفقودة باستثناء الأضراس الثالثة؛ (4) كان لديه مسح CBCT كامل يغطي الجزء السفلي منطقة الفك والوجه. معايير الاستبعاد: (1) الاضطرابات الجهازية أو الوراثية التي قد تؤثر على نمو الفك السفلي؛ (2) عدم وجود شق في الشفة أو الحنك، أو متلازمات وجهية جمجميّة، أو تشوهات ناتجة عن إصابة أو ورم؛ (3) عدم وجود جراحة سابقة في الوجه أو كسور في الوجه، أو جراحة وجهية.

استحواذ الصورة

تم الحصول على جميع صور CBCT من برنامج Meyer (mDX-13STSP1A، هيفي، آنهوي) بالإعدادات التالية: زمن التعرض 20 ثانية، منطقة المسح نقطة التركيز الاسمية لـ تم تصدير بيانات CBCT إلى ملفات التصوير الرقمي والاتصالات في الطب (DICOM) واستيرادها إلى MyDentViewer (أداة لمعالجة الصور السنية تدعم تصفح الصور، وتوضيح القياسات، ومحاكاة الزرع الرقمي؛ الإصدار 1.0؛ ماير، هيفي، آنهوي) لإعادة بناء الصور ثلاثية الأبعاد.

تطوير PointRend و PoseNet

يتم عرض بنية خوارزمية PointRend لتقسيم الفك السفلي تلقائيًا من صور CBCT في
الشكل 1 البناء التلقائي لـ MMSP بواسطة المعالم التشريحية. أ تدريب التعلم العميق PointRend؛ تدريب التعلم العميق لـ PoseNet؛ نموذج الفك السفلي؛ تقنية رسم القالب؛ تم بناء MMSP
الملف الإضافي 1 (الشكل 1). لتجنب التأثير على قياسات الفك السفلي، يقوم الخوارزم بإزالة التاج والعظم السنخي (وصف مفصل في الملف الإضافي 1). يتم عرض تحديد المعالم ثلاثية الأبعاد للفك السفلي باستخدام خوارزمية PoseNet في الملف الإضافي 2. تُظهر الصور ثلاثية الأبعاد للفك السفلي والمعالم في الشكل 2.

تخطيط القالب

تقنية رسم الخرائط القالبية ضمنت تحديد 17,415 نقطة شبه معلمية مأخوذة بشكل موحد تلقائيًا على السطح mandibular بالكامل [12]. باستخدام خوارزمية محاذاة بروكرستس القوية، تم حساب المسافة السطحية نقطة بنقطة بين النماذج الأصلية والمرآة في الفضاء ثلاثي الأبعاد، والتي كانت
الشكل 2 المعالم التشريحية للفك السفلي. أ. عرض من اليمين؛ ب. عرض من الأمام (1) “سوبرمانتال” (2) “بوجونيون” (3) “غناثيون” (4) “مينتون” (5) “نتوء ذقني” (6) “حفرة الثقب الفكي” (7) “الثقب الذقني” (8) “غونيون” (9) “كونديليون سوبريوس” (10) “كونديليون ميداليس” (11) “كونديليون لاتيراليس” (12) “كورونويد سوبريوس” (13) “شق سيغمويد” (14) “نقطة راموس” (15) “جلات” (16) “جمد”
يتم التعبير عنها كمؤشر عدم التماثل العام (AI). يتم عرض موضع وشدة عدم التماثل الفكي السفلي بواسطة خريطة لونية بالميليمترات. .
الشكل 3 عدم تماثل الفك السفلي مع المستوى السهمي كطائرة مرآة؛ الأحمر يشير إلى عدم تماثل أكبر من 4 مم، والأزرق الداكن يشير إلى عدم وجود عدم تماثل. :
الشكل 4 الأخضر: الفك السفلي الأيسر A، الأصفر: الفك السفلي الأيمن B؛ المسافة إلى MMSP (d1-d2)؛ b الفرق في حجم الفك السفلي للجانبين (A، B)؛ c MMSP هو مستوى متماثل، متراكب على الجانبين الأيسر والأيمن؛ اللون الأزرق هو المنطقة غير المتداخلة

تقييم MMSP

تكونت 35 مستوى من خمسة معالم مركزية ونقطة المنتصف لاثنين من المعالم الثنائية (الثقب mandibular والثقب الذهني). كان كل مستوى مستوى مرآة، وتم اختيار أول أربعة مستويات بأقل قيم لمؤشر الذكاء الاصطناعي (AI) (الشكل 3). تم تحديد MMSP المثالي بواسطة مؤشرات سريرية: المسافة، فرق الحجم، ومؤشر التشابه، في كل من المستويات السهمية الأربعة. مؤشر التشابه: مرآة المستوى السهمي للفكين الأيسر والأيمن. تم حساب الأحجام من مقاطع غير متداخلة من الصور المتداخلة. يقيس مؤشر التشابه تناظر الفك السفلي من خلال مقارنة الحجم المتداخل مع الحجم الكلي [2]. تم حساب مؤشر التشابه على النحو التالي: تقاطع (A، B) / (A + B) (الشكل 4أ، ب، ج، د).

التحليل الإحصائي

تم إجراء جميع التحليلات الإحصائية باستخدام برنامج SPSS (الإصدار 27.0؛ IBM، أرمنك، نيويورك)، مع تشير إلى الدلالة الإحصائية. اختبار t لعينة مزدوجة
تم استخدامه لمقارنة الفروق المتوسطة بين قياسات المستوى المرجعي والمستوى السهمي.

النتائج

تقييم النموذج

التقسيم التلقائي للفك السفلي استغرق بينما كان متوسط المشغلين الاثنين و ، على التوالي ( تجاوزت الطريقة الآلية التقييمات التي أجراها طبيبان أشعّتيان، محققةً معامل تشابه دايس قدره 0.98.

دقة تحديد المعالم

تم استخدام طريقة PointRend لتحديد المعالم التشريحية في غضون 0.5 ثانية. كان متوسط الخطأ في 27 معلمًا هو ; كانت نسبة الخطأ بالنسبة لي هي الأدنى ( )، وأن ذلك بالنسبة لـ Conlat-R كان الأعظم ( ) (الجدول 1).
الجدول 1 أخطاء تحديد المواقع للمعالم التشريحية (مم)
معلم خطأ متوسط (مم) خطأ المعيار للمتوسط (مم)
أنا 0.61 0.18
ب 0.43 0.28
كور (يمين) 0.61 0.28
ج 0.65 0.19
بوج 0.66 0.42
كونمد (يسار) 0.72 0.30
MF (يسار) 0.77 0.26
توقيع (يسار) 0.79 0.22
تصبح على خير 0.79 0.39
MF (يسار) 0.80 0.22
توقيع (يمين) 0.90 0.28
جلط (يمين) 0.94 0.15
كور (يسار) 1.17 0.35
كونسوب (يمين) 1.18 0.28
اذهب (يسار) 1.19 0.41
جميد (يسار) 1.21 0.35
جميد (يمين) 1.22 0.19
كونمد (يمين) 1.22 0.38
اذهب (يميناً) 1.23 0.13
RP (اليمين) 1.29 0.38
كونسوب (يسار) 1.30 0.24
كونلات (يسار) 1.32 0.34
F (يمين) 1.37 0.13
F (يسار) 1.39 0.21
RP (يسار) 1.41 0.44
جلط (يسار) 1.45 0.27
كونلات (يمين) 1.52 0.28

تقييم الطائرة

كانت الطائرات الأربعة الأولى من الذكاء الاصطناعي B-Gn-F (1.6)، B-Me-F (1.95)، B-Pog-F (1.97)، وB-G-F (2.15) (الجدول 2). الـ الطائرة لديها أصغر خطأ بين الطائرات الأربع. باستثناء كور ( )، اذهب ( )، و RP ( )، لم تُظهر المعالم السبعة الأخرى أي اختلافات ذات دلالة إحصائية في المسافة ( ) (الجدول 3). لم يكن الفرق في الحجم بين الجانبين ذا دلالة إحصائية ( ). ومع ذلك، كان مؤشر التماثل مختلفًا بشكل ملحوظ ( كانت الطائرات الثلاث الأخرى مختلفة بشكل ملحوظ عن الطائرة المرجعية باستثناء الفرق في حجم الفك السفلي على كلا الجانبين (الجدول 4).

نقاش

في السنوات الأخيرة، تم استخدام الذكاء الاصطناعي بشكل متزايد في مجال الطب. في مجال تقويم الأسنان، هناك حاجة ملحة لتطوير تحليل السيفالومتري التلقائي. قمنا بدمج التعلم العميق لتقسيم الفك السفلي، وتحديد المواقع التلقائي للمعالم، والبناء التلقائي لـ MMSP لتعزيز الكفاءة السريرية وكشف منطقة ومدى عدم تماثل الفك السفلي بشكل أكثر دقة ووضوح. لقد أظهرنا أن مستوى B-Gn-F هو الأقرب إلى المستوى السهمي للفك السفلي.
التقسيم الدقيق للفك السفلي على التصوير المقطعي المحوسب بالكمبيوتر (CBCT) ضروري للتحليل ثلاثي الأبعاد للفك السفلي. تعتمد طرق التقسيم شبه التلقائي على العتبة و
الجدول 2 مؤشر عدم التماثل (AI) للطائرات
معلم1 معلم2 لاند مارك 3 الوسيط (المدى interquartile) مين-ماكس
ب تصبح على خير ف 1.6(1.53-1.92) 0.59-3.61
ب أنا ف 1.95(1.81-2.34) 1.05-3.61
ب بوج ف 1.97(1.75-2.19) 0.73-5.05
ب ج ف 2.15(1.88-2.81) 0.68-5.38
ب ف MF 2.34(2.22-3.11) 0.69-4.34
.. .. .. .. ..
.. .. .. .. ..
ب ج أنا 7.49(7.24-10.3) 1.56-19.97
.. .. .. .. ..
.. .. .. ..
ب ج MF 12.57(9.45-16.76) 1.58-41.71
ب تصبح على خير أنا 12.97(11.67-15.82) 1.34-37.4
ج أنا MF 17.78(18.4425.32) 1.81-36.82
ب بوج تصبح على خير 18.76(17.2525.92) 0.94-53.46
بوج تصبح على خير أنا 21.15(18.4933.68) 1.7-64.04
مؤشر عدم التماثل
الجدول 3 متوسط فرق المسافة من المعالم إلى MMSP
معلم طائرة المرجع (مم) ب-جن-ف(مم) ب-بوج-ف(مم) ب-مي-ف(مم) ب-ج-ف (مم)
كونسب
كونمد
كونلات
توقيع
كور *
اذهب
RP **
MF
جلط
جميد
ف
معنى

الجدول 4 القيم المطلقة لحجم الفرق ومؤشر التشابه لمشروع MMSP
طائرة حجم ( ) قيمة P مؤشر التشابه قيمة P
مرجع
ب-جن-ف 0.671 **
بي-بوج-إف 0.560 **
ب-مي-ف 0.438 **
ب-ج-ف 0.537 **
*
تعتبر خوارزميات نمو المنطقة مستهلكة للوقت وذات طابع شخصي ولا يمكن استخدامها على نطاق واسع في الممارسة السريرية [15-17]. تعتبر خوارزميات التعلم العميق أكثر فعالية ودقة من طرق التقسيم التقليدية. مؤخرًا، استخدمت تقنيات تقسيم الصور الطبية الذكاء الاصطناعي، وتم استخدام شبكة عصبية تلافيفية (CNN)، وهي خوارزمية تعلم عميق، بشكل شائع لتحليل الصور [18]. تتعلم الشبكات العصبية التلافيفية ميزات محددة للمهام من البيانات وتكون فعالة في تصنيف الصور، وتحديد الأهداف، والتعرف عليها [17، 19]. قام فيرهيلست وآخرون ببناء نموذج ثلاثي الأبعاد للفك السفلي باستخدام خوارزمية تعلم عميق تعتمد على بنية U-Net ثلاثية الأبعاد متعددة الطبقات.
تقسيم صور CBCT عالية الدقة في 17 ثانية، وهو ما يمثل تقليصًا بمقدار 71.3 مرة مقارنة بالتقسيم شبه الآلي. أنشأ روبرت وزملاؤه برنامج تقسيم داخلي زاد من دقة التقسيم إلى بينما تم تقليل وقت التقسيم إلى دقيقتين و3 ثوانٍ. قدمت عملية تقسيم عظام الجمجمة باستخدام برنامج ميمكس معاملات تشابه دايس بلغت 0.924 و0.949 للفك العلوي والفك السفلي، على التوالي، مقارنةً بالحقيقة الأساسية [20]. ومع ذلك، في هذه الدراسة، تم تقليل الوقت اللازم لتقسيم الفك السفلي بواسطة خوارزمية PointRend إلى وكان معامل تشابه دايس 0.98 [17]. PointRend (الرسم النقطي) المستند إلى الشبكات العصبية التلافيفية هو تقنية تقسيم تكرارية مقترحة للتعرف على الأهداف في الصور وتقسيمها بكفاءة [21،22]. مستوحاة من رسم الصور في الرسوميات الحاسوبية، تحل هذه الطريقة الجديدة لتقسيم الصور مهام تصنيف البكسلات ومشكلات الإفراط والتحت في العينة من خلال معالجة تقسيم الصور كمشكلة رسم وتوليد أقنعة تقسيم عالية الدقة [21-23]. مع تحسين كفاءة التقسيم وتطبيقها في بيانات CBCT ثلاثية الأبعاد، تم إجراء المعالجة الأمامية مباشرة على العينة الكاملة، وتم التعرف بشكل أفضل على الميزات العامة للفك السفلي من الفضاء ثلاثي الأبعاد. أظهرت الفك السفلي في شرائح الصور ميزات محلية مشابهة لتلك الموجودة في بعض مناطق الفك العلوي والأسنان. ومن الجدير بالذكر أن الصورة كانت أوضح و
يمكن استخراج حدود الفك السفلي الأكثر اكتمالاً من خلال زيادة حجم النقاط الحافة فقط في نهاية النموذج باستخدام المعلومات متعددة المستويات للشبكة دون التأثير على معظم بكسلات المقدمة.
تُعبر المعالم التشريحية ثلاثية الأبعاد عن الخصائص الشكلية للفك السفلي وهي أساس التحليل ثلاثي الأبعاد للفك السفلي. يعتمد تحديد المعالم يدويًا على خبرة الأطباء السريرية وهو أمر شاق [24،25]. تم تطبيق خوارزمية You-Only Look-Once النسخة 3 (YOLOv3) على 1028 صورة شعاعية لتحديد 80 معلمًا شعاعيًا تلقائيًا بمتوسط خطأ يدوي للمعالم قدره [25]. حقق Zhang وآخرون في الوقت نفسه إطار عمل تقسيم العظام المشترك ورقمنة المعالم (JSD) من خلال الشبكات العصبية التلافيفية الموجهة بالسياق (FCNs) بمتوسط خطأ قدره 1.1 مم لـ 15 معلمًا تشريحيًا [26]. في هذه الدراسة، استخدمنا خوارزمية PoseNet [29]، التي تتمتع بقدرة عالية على التوسع ويمكنها تحديد النقاط الرئيسية بدقة في صور CBCT ثلاثية الأبعاد دون إضافة هيكل أو حسابات إضافية للنموذج. في المتوسط، كان خطأ الـ 27 معلمًا قدره بينما كانت القابلية السريرية مقبولة عند 2 مم [24،25،27]. كان متوسط خطأ المعالم المركزية قدره ، وهو أقل من ذلك الخاص بالمعالم الجانبية ، ربما لأن المعالم المركزية كانت أكثر دقة وموثوقية [24]. وفقًا لـ Schlicher وآخرون، أظهرت المعالم ذات الشكل التشريحي الهيكلي المميز أخطاء أقل من المعالم التي كانت تقع على المنحنيات، مما دعم هذه النتيجة أيضًا [28].
أظهرت الدراسات السابقة أن العلامات المركزية أكثر دقة من العلامات الثنائية عندما يتم استخدام المستوى السهمي للوجه. ومع ذلك، بالنسبة للفك السفلي، فإن العلامات العظمية في الفك السفلي قريبة جدًا من بعضها البعض [29]. كانت موثوقية واستقرار نقاط MF وF عالية، وكانت كلا جانبي الهيكل متناظرين، دون وجود فرق كبير [7، 30، 31]. كانت نقطة F تقع في المنطقة الخلفية من الفك السفلي، وكون 4 مستويات تم فحصها في هذه التجربة قدم دليلًا إضافيًا على أن هذه النقطة تشارك في تكوين المستوى السهمي بدرجة عالية من الاستقرار. لذلك، في هذه الدراسة، تمت إضافة نقاط MF وF لتشكيل المستوى السهمي.
تم استخدام نهج رسم الخرائط القالب القائم على خوارزمية MeshMonk لتقييم AIs لـ 35 مستوى تلقائيًا. أصبحت تقنية رسم الخرائط القالب وتحليل انحراف السطح إلى السطح أدوات علمية مهمة في تقويم الأسنان لدراسة التغيرات في الشكل الهيكلي [9، 32، 33]. تم استخدام هذه الطريقة في هذه الدراسة لعكس وتراكب نموذج الفك السفلي على خريطة ثلاثية الأبعاد ملونة لتحديد عدم التماثل الشكلية بدقة. هذا النهج، الذي كان أكثر بديهية ودقة من القياسات الخطية والزوايا، يقيم عدم التماثل في
السطح الكامل للفك السفلي [4]. لم يتم اختيار ICP كطائرة مرجعية لأنه على الرغم من أن كلا الطريقتين تستخدمان قيمة الجذر التربيعي المتوسط، فإن خوارزمية ICP تحسب أقرب مسافة بين النموذج الأصلي ونموذج المرآة، بينما تحسب طريقة رسم الخرائط القالب المسافة بين النموذج الأصلي والمعالم شبه المطابقة في المرآة، مما له مزايا المزيد من النقاط، والذكاء، وعلاقات المطابقة الجيدة [9]. عندما كان الفك السفلي غير متماثل بشدة، انخفضت دقة خوارزمية ICP [4]. استخدمت العديد من الدراسات السابقة مستوى B-G-Me كـ MMSP لدراسة تماثل الفك السفلي [5، 6]. أظهرت نتائج الدراسة الحالية أن AI لمستوى B-G-Me كان 7.49 (الجدول 2)، والذي اختلف بشكل كبير عن النتائج التي تم الحصول عليها لمستوى ( ). عندما تم نشر النقاط الثلاث لتشكيل مثلث أكبر وأوسع، زادت استقرار المستوى [34]. على العكس من ذلك، كانت 3 نقاط في مستوى B-G-Me تقع عند التقاء الفك السفلي، قريبة بما يكفي لجعل المستوى غير مستقر.
عدم تماثل الفك السفلي هو حالة معقدة تُصنف إلى اختلافات شكلية وهيكلية مكانية بين الجانبين [35]. على كلا جانبي الفك السفلي، لم يكن الفرق في الحجم بين 4 مستويات والمستوى المرجعي ذو دلالة إحصائية ( ; الجدول 4). على الرغم من أن البيانات الحجمية تُستخدم غالبًا لمقارنة الاختلافات بين جانبي الفك السفلي، إلا أن هذه البيانات لا تسمح بالتقييم الكمي للمناطق المتماثلة وغير المتماثلة [36]. يمكن لمؤشر التشابه والحجم غير المتداخل أن يعكس كل من الاختلافات الشكلية والهيكلية في الفك السفلي [2]. وُجدت اختلافات كبيرة بين مستوى B-Gn-F والمستوى المرجعي ( ) (الجدول 4). ربما كان ذلك لأن التحليل الخوارزمي فحص شكل الفك السفلي، بينما كانت طريقة المعالم التشريحية تنظر ببساطة إلى الهيكل. ومع ذلك، كانت القيمة المتوسطة لمؤشر التشابه العام أقرب إلى تلك الخاصة بالمستوى المرجعي. لذلك، من المعقول استخدام مستوى B-Gn-F كـ MMSP في التحليل السريري للفك السفلي.
لتقييم عدم تماثل الفك السفلي، تم تطبيق تحليلات قائمة على المعالم. في هذه الطريقة، تم دمج تقنيات المسافة، والبيانات الحجمية، ومؤشر التشابه، وتحليل انحراف السطح إلى السطح، وتقنيات رسم الخرائط القالب للبحث عن بيانات MMSP دقيقة نسبيًا، مما يسهل تحديد المناطق المتأثرة بعدم التماثل. تتمثل قيود هذه الدراسة في أنه لم يتم تقييم دقة تحديد المواقع الآلي لبيانات تشوه الفك السفلي الشديد. وبالتالي، تم دراسة البالغين فقط الذين لديهم تماثل في الفك السفلي، بينما لم يتم تأكيد أنواع عدم التماثل الأخرى. برنامج MyDentViewer هو برنامج مفتوح المصدر حاليًا ويستخدم لأغراض البحث التعاوني.

الاستنتاجات

في هذه الدراسة، تم استخدام تقسيم تلقائي للفك السفلي وتحديد مواقع المعالم التشريحية لتحقيق تحليل شعاعي تلقائي. علاوة على ذلك، يمكن استخدام مستوى B-Gn-F للتطبيق السريري بسبب تماثل هيكل الفك السفلي.
تتجاوز فوائد الذكاء الاصطناعي تقصير الوقت اللازم للحصول على معلومات غير متماثلة. يجمع دمج تحليل الانحراف مع الذكاء الاصطناعي بين كفاءة العمل، وستساعد الكمية الدقيقة لعدم تماثل الفك السفلي أطباء تقويم الأسنان والجراحين على فهم عدم التماثل بشكل أفضل وتوجيه تخطيط العلاج. لا توفر الرسوم البيانية الملونة أداة مهمة للتشخيص فحسب، بل تسمح أيضًا للمرضى والآباء بفهم عدم التماثل بسهولة.

الاختصارات

CBCT التصوير المقطعي المحوسب باستخدام شعاع مخروط
MMSP المستوى السهمي الأوسط للفك السفلي
AI مؤشر عدم التماثل
3D ثلاثي الأبعاد
2D ثنائي الأبعاد
CMSP المستوى السهمي الوسيط القحفي الفكي
ICC معامل الارتباط داخل الفئة
ICP نقطة الأقرب التكرارية
WPA تحليل بروكروستس الموزون

المعلومات التكميلية

تحتوي النسخة الإلكترونية على مواد تكميلية متاحة على https://doi. org/10.1186/s40001-024-01681-2.
ملف إضافي 1: الشكل S1. إطار عمل تقسيم التعلم العميق لنموذج الفك السفلي.
ملف إضافي 2: الجدول S1. وصف المعالم التشريحية للفك السفلي.

الشكر والتقدير

نشكر شركة Hefei Meyer Optoelectronic Technology Inc. على توفير برنامج MyDentViewer.

مساهمات المؤلفين

YW و WW و JX و YL و HZ تصوروا وصمموا الدراسة. ساهم YW و MC و MS في جمع البيانات ووضع العلامات عليها. قام WW و ZW بمعالجة البيانات وتحليلها. كتب YW و WW المسودة. قرأ جميع المؤلفين ووافقوا على المسودة النهائية.

التمويل

تم دعم هذا العمل من قبل لجنة الصحة في مقاطعة آنهوي (AHWJ2022b002) وبرنامج التعاون “Feng Yuan” لبناء التخصصات في كلية طب الأسنان بجامعة آنهوي الطبية (2022xkfyts07).

توفر البيانات والمواد

البيانات المستخدمة والمحللة خلال الدراسة الحالية متاحة من المؤلف المراسل عند الطلب المعقول.

الإعلانات

تمت مراجعة الدراسات التي تشمل المشاركين البشريين والموافقة عليها من قبل اللجنة الأخلاقية لمستشفى آنهوي الطبي لطب الأسنان. قدم
المرضى/المشاركون موافقتهم الخطية المستنيرة للمشاركة في هذه الدراسة.
يوافق جميع المؤلفين على النشر.

المصالح المتنافسة

يعلن المؤلفون عدم وجود مصالح متنافسة.

تفاصيل المؤلف

مختبر أبحاث أمراض الفم في مقاطعة آنهوي، كلية ومستشفى طب الأسنان، جامعة آنهوي الطبية، 81 طريق ميشان، هيفي 230032، الصين. قسم تقويم الأسنان، المستشفى التابع لطب الأسنان، جامعة آنهوي الطبية هيفي، 69 طريق ميشان، هيفي، آنهوي، الصين. طب الأسنان للأطفال وتقويم الأسنان، كلية طب الأسنان، جامعة هونغ كونغ، منطقة هونغ كونغ الإدارية الخاصة، الصين.
تاريخ الاستلام: 1 نوفمبر 2023 تاريخ القبول: 17 يناير 2024
تم النشر على الإنترنت: 29 يناير 2024

References

  1. Fang JJ, Tu YH, Wong TY, Liu JK, Zhang YX, Leong IF, et al. Evaluation of mandibular contour in patients with significant facial asymmetry. Int J Oral Maxillofac Surg. 2016;45(7):922-31.
  2. Kwon SM, Hwang JJ, Jung YH, Cho BH, Lee KJ, Hwang CJ, et al. Similarity index for intuitive assessment of three-dimensional facial asymmetry. Sci Rep. 2019;9(1):10959.
  3. AlHadidi A, Cevidanes LH, Mol A, Ludlow J, Styner M. Comparison of two methods for quantitative assessment of mandibular asymmetry using cone beam computed tomography image volumes. Dentomaxillofac Radiol. 2011;40(6):351-7.
  4. Fan Y, Zhang Y, Chen G, He W, Song G, Matthews H, et al. Automated assessment of mandibular shape asymmetry in 3-dimensions. Am J Orthod Dentofacial Orthop. 2022;161(5):698-707.
  5. You KH, Lee KJ, Lee SH, Baik HS. Three-dimensional computed tomography analysis of mandibular morphology in patients with facial asymmetry and mandibular prognathism. Am J Orthod Dentofacial Orthop. 2010;138(5):540.e1-8.
  6. Kim SJ, Lee KJ, Lee SH, Baik HS. Morphologic relationship between the cranial base and the mandible in patients with facial asymmetry and mandibular prognathism. Am J Orthod Dentofacial Orthop. 2013;144(3):330-40.
  7. Pittayapat P, Jacobs R, Bornstein MM, Odri GA, Kwon MS, Lambrichts I, et al. A new mandible-specific landmark reference system for threedimensional cephalometry using cone-beam computed tomography. Eur J Orthod. 2016;38(6):563-8.
  8. Xiong Y, Zhao Y, Yang H, Sun Y, Wang Y. Comparison between interactive closest point and procrustes analysis for determining the median sagittal plane of three-dimensional facial data. J Craniofac Surg. 2016;27(2):441-4.
  9. Zhu Y, Zhao Y, Wang Y. A review of three-dimensional facial asymmetry analysis methods. Symmetry. 2022;14(7):1414.
  10. Zhu YJ, Zhao YJ, Zheng SW, Wen AN, Fu XL, Wang Y. A method for constructing three-dimensional face symmetry reference plane based on weighted shape analysis algorithm. Beijing da xue xue bao Yi xue ban Journal of Peking University Health sciences. 2020;53(1):220-6.
  11. Gao L, Zhang LX, Meng HY, Ren YH, Lai YK, Kobbelt L. PRS-net: planar reflective symmetry detection net for 3d models. IEEE transactions on visualization and computer graphics 2021;27(6):3007-18.
  12. Verhelst P-J, Matthews H, Verstraete L, Van der Cruyssen F, Mulier D, Croonenborghs TM, et al. Automatic 3D dense phenotyping provides reliable and accurate shape quantification of the human mandible. Scientific Reports 2021;11(1).
  13. Fan Y, Schneider P, Matthews H, Roberts WE, Xu T, Wei R, et al. 3D assessment of mandibular skeletal effects produced by the Herbst appliance. BMC Oral Health. 2020;20(1):117.
  14. Moon JH, Hwang HW, Yu Y, Kim MG, Donatelli RE, Lee SJ. How much deep learning is enough for automatic identification to be reliable? Angle Orthod. 2020;90(6):823-30.
  15. Le C, Deleat-Besson R, Prieto J, Brosset S, Dumont M, Zhang W, et al. Automatic segmentation of mandibular ramus and condyles. Annu Int Conf IEEE Eng Med Biol Soc. 2021Nov:2021:2952-5.
  16. Qiu B, Guo J, Kraeima J, Glas HH, Borra RJH, Witjes MJH, et al. Automatic segmentation of the mandible from computed tomography scans for 3D virtual surgical planning using the convolutional neural network. Phys Med Biol. 2019;64(17):175020.
  17. Vinayahalingam S, Berends B, Baan F, Moin DA, van Luijn R, Berge S, et al. Deep learning for automated segmentation of the temporomandibular joint. J Dent. 2023;132: 104475.
  18. Verhelst PJ, Smolders A, Beznik T, Meewis J, Vandemeulebroucke A, Shaheen E, et al. Layered deep learning for automatic mandibular segmentation in cone-beam computed tomography. J Dent. 2021;114:103786.
  19. Lo Giudice A, Ronsivalle V, Spampinato C, Leonardi R. Fully automatic segmentation of the mandible based on convolutional neural networks (CNNs). Orthod Craniofac Res. 2021;24 Suppl 2 :100-7.
  20. Ilesan RR, Beyer M, Kunz C, Thieringer FM. Comparison of artificial intelligence-based applications for mandible segmentation: from established platforms to in-house-developed software. Bioengineering. 2023;10(5):604.
  21. MinJin Hwang BD, Enrique Dehaerne, Sandip Halder, Young-han Shin. SEMI-PointRend: Improved Semiconductor Wafer Defect Classification and Segmentation as Rendering. arXiv – CS – Computer Vision and Pattern Recognition. 2023.
  22. Girshick AKYWKHR. PointRend: Image Segmentation as Rendering. arXiv CS – Computer Vision and Pattern Recognition 2019.
  23. Dong Y, Zhang Y, Hou Y, Tong X, Wu Q, Zhou Z, et al. Damage recognition of road auxiliary facilities based on deep convolution network for segmentation and image region correction. Advances in Civil Engineering. 2022;2022:1-10.
  24. Blum FMS, Mohlhenrich SC, Raith S, Pankert T, Peters F, Wolf M, et al. Evaluation of an artificial intelligence-based algorithm for automated localization of craniofacial landmarks. Clin Oral Investig. 2023;27(5):2255-65.
  25. Hwang HW, Park JH, Moon JH, Yu Y, Kim H, Her SB, et al. Automated identification of cephalometric landmarks: part 2-might it be better than human? Angle Orthod. 2020;90(1):69-76.
  26. Zhang J, Liu M, Wang L, Chen S, Yuan P, Li J, et al. Context-guided fully convolutional networks for joint craniomaxillofacial bone segmentation and landmark digitization. Med Image Anal. 2020;60:101621.
  27. Dot G, Schouman T, Chang S, Rafflenbeul F, Kerbrat A, Rouch P, et al. Automatic 3-dimensional cephalometric landmarking via deep learning. J Dent Res. 2022;101(11):1380-7.
  28. Schlicher W, Nielsen I, Huang JC, Maki K, Hatcher DC, Miller AJ. Consistency and precision of landmark identification in three-dimensional cone beam computed tomography scans. Eur J Orthod. 2012;34(3):263-75.
  29. Dobai A, Markella Z, Vízkelety T, Fouquet C, Rosta A, Barabás J. Landmarkbased midsagittal plane analysis in patients with facial symmetry and asymmetry based on CBCT analysis tomography.Journal of Orofacial Orthopedics / Fortschritte der Kieferorthopädie. 2018;79(6):371-9.
  30. Gada SK. Assessment of position and bilateral symmetry of occurrence of mental foramen in dentate Asian population. Journal of Clinical and Diagnostic Research. 2014;8(2):203-5
  31. Findik Y, Yildirim D, Baykul T. Three-dimensional anatomic analysis of the lingula and mandibular foramen. Journal of Craniofacial Surgery. 2014;25(2):607-10.
  32. Lo Giudice A, Ronsivalle V, Rustico L, Aboulazm K, Isola G, Palazzo G. Evaluation of the accuracy of orthodontic models prototyped with entry-level LCD-based 3D printers: a study using surface-based superimposition and deviation analysis. Clin Oral Investig. 2022;26(1):303-12.
  33. Lo Giudice A, Ronsivalle V, Santonocito S, Lucchese A, Venezia P, Marzo G, et al. Digital analysis of the occlusal changes and palatal morphology using elastodontic devices. A prospective clinical study including Class II subjects in mixed dentition. Eur J Paediatr Dent. 2022;23(4):275-80
  34. Green MN, Bloom JM, Kulbersh R. A simple and accurate craniofacial midsagittal plane definition. Am J Orthod Dentofacial Orthop. 2017;152(3):355-63.
  35. Duran GS, Dindaroglu F, Kutlu P. Hard- and soft-tissue symmetry comparison in patients with class III malocclusion. Am J Orthod Dentofacial Orthop. 2019;155(4):509-22.
  36. Lo Giudice A, Ronsivalle V, Gastaldi G, Leonardi R. Assessment of the accuracy of imaging software for 3D rendering of the upper airway, usable in orthodontic and craniofacial clinical settings. Prog Orthod. 2022;23(1):22.

ملاحظة الناشر

تظل Springer Nature محايدة فيما يتعلق بالمطالبات القضائية في الخرائط المنشورة والانتماءات المؤسسية.

  1. قد ساهم يالي وانغ وويزي وو بالتساوي في هذا العمل.
    *المراسلة:
    يفان لين
    yflin@hku.hk
    هينغ قوه تشانغ
    zhanghengguo@ahmu.edu.cn
    جيانغوانغ شيو
    xujg1982@connect.hku.hk
    قائمة كاملة بمعلومات المؤلفين متاحة في نهاية المقالة
  2. نطاق الربع المتداخل (الربع 25، 75)؛ الحد الأدنى؛ الحد الأقصى؛

Journal: European journal of medical research, Volume: 29, Issue: 1
DOI: https://doi.org/10.1186/s40001-024-01681-2
PMID: https://pubmed.ncbi.nlm.nih.gov/38287445
Publication Date: 2024-01-29

Automated localization of mandibular landmarks in the construction of mandibular median sagittal plane

Yali Wang , Weizi Wu , Mukeshimana Christelle , Mengyuan Sun , Zehui Wen , Yifan Lin , Hengguo Zhang and Jianguang Xu

Abstract

Objective To use deep learning to segment the mandible and identify three-dimensional (3D) anatomical landmarks from cone-beam computed tomography (CBCT) images, the planes constructed from the mandibular midline landmarks were compared and analyzed to find the best mandibular midsagittal plane (MMSP). Methods A total of 400 participants were randomly divided into a training group ( ) and a validation group ( ). Normal individuals were used as the test group ( ). The PointRend deep learning mechanism segmented the mandible from CBCT images and accurately identified 27 anatomic landmarks via PoseNet. 3D coordinates of 5 central landmarks and 2 pairs of side landmarks were obtained for the test group. Every 35 combinations of 3 midline landmarks were screened using the template mapping technique. The asymmetry index (AI) was calculated for each of the 35 mirror planes. The template mapping technique plane was used as the reference plane; the top four planes with the smallest Als were compared through distance, volume difference, and similarity index to find the plane with the fewest errors.

Results The mandible was segmented automatically in with a 0.98 Dice similarity coefficient. The mean landmark localization error for the 27 landmarks was . MMSP should use the plane made by B (supramentale), Gn (gnathion), and F (mandibular foramen). The average AI grade was 1.6 (min-max: 0.59-3.61). There was no significant difference in distance or volume ( ); however, the similarity index was significantly different ( ). Conclusion Deep learning can automatically segment the mandible, identify anatomic landmarks, and address medicinal demands in people without mandibular deformities. The most accurate MMSP was the B-Gn-F plane.

Keywords Deep learning, Mandibular median sagittal plane, Mandible segmentation, 3D imaging

Introduction

Mandibular deviation is a common deformity in orthodontic clinics and may be caused by differences in the size and shape of the mandible or by positional deviation of the mandible [1,2]. According to the different mechanisms of deviation, the solution also varies. Therefore, accurate identification of the deviation mechanism is crucial for treatment. The craniomaxillary median sagittal plane (CMSP) was used as the sagittal plane for assessing mandibular symmetry in traditional methods; however, this plane has limitations when the position of the mandible changes, such as during rotation or translation [ 1,3 ].
With the rapid development of computer and 3D reconstruction technology, 3D measurement methods have more advantages than two-dimensional (2D) methods for asymmetry evaluation [2, 4]. The methods for craniofacial symmetry analysis are based mainly on anatomical landmarks, original-mirror alignment, and deep learning algorithms. Conventional anatomic landmark approaches used to be the main option for evaluating craniofacial asymmetry. A reference plane is frequently created by dividing the lines between bilateral landmarks or by connecting median landmarks, which determine both sides of 2D or 3D quantitative measurements. Several studies have analyzed the planes constructed by , and Me to explore the differences between the two sides of the mandible [5, 6]. The accuracy of this plane was not verified. A mandibular-specific sagittal midline plane for 3D mandibular analysis. This study was limited by the use of dental landmarks, which are unreliable at atrophic alveolar ridges [7]. The original-mirror alignment was processed by overlapping and aligning the original and mirror models through algorithmic 3D spatial coordinate transformations, and the best sagittal plane was mathematically computed. The iterative closest point (ICP) approach was based on the least squares principle and iteratively matched the closest point with a minimum distance between the original and the matching mirror images [8, 9]. However, this method has several limitations. Point clouds for asymmetric regions were added to the computation, reducing the algorithm’s accuracy [4, 8]. Like in the ICP algorithm, the Procrustes analysis (PA) algorithm selects the point cloud of the symmetric region and transforms the original model with the corresponding coordinates of the mirror model to achieve the best match [8, 9]. Nevertheless, it was still unavoidable for both approaches to add a subjective element of human intervention. Zhu et al. constructed a 3D facial median sagittal plane by implementing this approach with the weighted Procrustes analysis (WPA) algorithm. The average angle error between the WPA and the manually defined planes was [10]. The PRS-Net model
based on the ShapeNet dataset automated the creation of the 3D point cloud data symmetry plane, which was used as an important reference for the automated generation of the face median sagittal plane [11].
However, the use of deep learning techniques to construct sagittal planes is still in its infancy. In addition, research on constructing MMSP based on deep learning algorithms is rare. The purpose of this study was to automatically determine the mandibular midsagittal plane by segmenting it from CBCT images and accurately identifying its 3D landmarks using a deep learning algorithm (Fig. 1), thus providing a simple and accurate method for the clinical judgment of mandibular symmetry.

Methods

Data collection

Four hundred subjects aged 18 to 45 years were enrolled from the Anhui Medical University Stomatological Hospital from 2018 to 2022. All of the subjects were randomly divided into a training group ( ) and a validation group ( ). Exclusion criteria: mandible fractures or resorption, malformations, or incomplete CBCT images. Fifty craniofacial 3D images of morphologically normal people were obtained in the test group. Ethical approval was obtained from the Anhui Medical University Stomatological Hospital (PJ: T2020010). Written informed consent was obtained from all participants. The inclusion criteria were as follows: (1) aged 18 to 45 years ( 28 females and 22 males, mean age years); (2) ANB angle , normal overjet, and overbite; (3) had no missing teeth except for the third molars; (4) had a complete CBCT scan covering the lower of the maxillofacial region. Exclusion criteria: (1) systemic or genetic disorders that would influence mandible growth; (2) no cleft lip or palate, craniofacial syndromes, or deformities resulting from trauma or tumor; (3) no previous craniofacial surgery, facial fractures, or facial surgery.

Image acquisition

All the CBCT images were acquired from a Meyer software (mDX-13STSP1A, Hefei, Anhui) at the following settings: , exposure time of 20 s , scanning area of , and focal point nominal of . CBCT data were exported to Digital Imaging and Communications in Medicine (DICOM) files and imported into MyDentViewer (a tool for dental image processing software that supports image browsing, measurement annotation, and digital implant simulation; version 1.0; Meyer, Hefei, Anhui) to reconstruct 3D images.

PointRend and PoseNet development

The PointRend algorithm architecture for automatic mandible segmentation from CBCT images is shown in
Fig. 1 Automatic construction of MMSP by anatomical landmarks. a PointRend deep learning training; PoseNet deep learning training; mandible model; d template mapping technique; e MMSP was build
Additional file 1 (Figure 1). To avoid affecting mandibular measurements, the algorithm removes the crown and alveolar bone (detailed description in Additional file 1). The identification of the 3D landmarks of the mandible using the PoseNet algorithm is shown in Additional file 2. 3D mandibular and landmarks images are shown in Fig. 2.

Template mapping

The template mapping technique ensured that 17,415 uniformly sampled quasi-landmarks were automatically identified on the entire mandibular surface [12]. Using the robust Procrustes alignment algorithm, the pointwise surface-to-surface distance between the original and mirror models in 3D space was calculated, which was
Fig. 2 Anatomical landmarks of the mandible. A. right view; B. front view (1) “supramentale” (2) “pogonion” (3) “gnathion” (4) “menton” (5) “genial tubercle” (6) “fossa of mandibular foramen” (7) “mental foramen” (8) “gonion” (9) “condylion superius” (10) “condylion medialis” (11) “condylion lateralis” (12) “coronoid superius” (13) “sigmoid notch” (14) “ramus point” (15) “Jlat” (16) “Jmed”
expressed as the overall asymmetry index (AI). The position and severity of mandibular asymmetry are shown by a color map in millimeters .
Fig. 3 Mandibular asymmetry with the sagittal plane as the mirror plane; red indicates asymmetry greater than 4 mm , and dark blue indicates no asymmetry. :
Fig. 4 Green: left mandible A, yellow: right mandible B; a distance to MMSP (d1-d2); b difference in mandibular volume of two sides (A, B); c MMSP is a mirrored plane, superimposed on the left and right sides; blue is the nonoverlapping area

Assessment of MMSP

Five central landmarks and the midpoint of 2 bilateral landmarks (mandibular foramen and mental foramen) composed 35 planes. Each plane was a mirror plane, and the first four planes with the lowest AIs were chosen (Fig. 3). The ideal MMSP was determined by clinical indices: distance, volume difference, and similarity index, in each of the four sagittal planes. Similarity index: sagittal plane mirroring of the left and right mandibles. Volumes were computed from nonoverlapping sections from overlapping images. The similarity index measures mandibular symmetry by comparing the overlapping volume to the total volume [2]. The similarity index was calculated as follows: intersection (A, B)/ (A + B) (Fig. 4a, b, c, d).

Statistical analysis

All the statistical analyses were performed with SPSS software (version 27.0; IBM, Armonk, NY), with indicating statistical significance. A paired-sample t test
was used to compare the mean differences between the reference plane and sagittal plane measurements.

Results

Model evaluation

Automatic mandibular segmentation took , whereas the two operators averaged and , respectively ( ). The automated method exceeded the evaluations performed by two radiologists, achieving a Dice similarity coefficient of 0.98 .

Accuracy of landmarks identification

The PointRend method was used to locate anatomic landmarks within 0.5 s . The mean error of the 27 landmarks was ; the error for the Me was the lowest ( ), and that for the Conlat- R was the greatest ( ) (Table 1).
Table 1 Landmark localization errors for the anatomical landmarks (mm)
Landmark Mean error (mm) Standard error of the mean (mm)
Me 0.61 0.18
B 0.43 0.28
Cor (right) 0.61 0.28
G 0.65 0.19
Pog 0.66 0.42
Conmed (left) 0.72 0.30
MF (left) 0.77 0.26
Sig (left) 0.79 0.22
Gn 0.79 0.39
MF (left) 0.80 0.22
Sig (right) 0.90 0.28
Jlat (right) 0.94 0.15
Cor (left) 1.17 0.35
Consup (right) 1.18 0.28
Go (left) 1.19 0.41
Jmed (left) 1.21 0.35
Jmed (right) 1.22 0.19
Conmed (right) 1.22 0.38
Go (right) 1.23 0.13
RP (right) 1.29 0.38
Consup (left) 1.30 0.24
Conlat (left) 1.32 0.34
F (right) 1.37 0.13
F (left) 1.39 0.21
RP (left) 1.41 0.44
Jlat (left) 1.45 0.27
Conlat (right) 1.52 0.28

Plane evaluation

The first four planes of AI were B-Gn-F (1.6), B-Me-F (1.95), B-Pog-F (1.97), and B-G-F (2.15) (Table 2). The plane has the smallest error among the four planes. Except for Cor ( ), Go ( ), and RP ( ), the other seven landmarks showed no statistically significant differences in distance ( ) (Table 3). The difference in volume between the two sides was not statistically significant ( ). Nevertheless, the symmetry index was significantly different ( ). The other 3 planes were significantly different from the reference plane except for the difference in mandibular volume on both sides (Table 4).

Discussion

In recent years, artificial intelligence has been increasingly used in the field of medicine. In the field of orthodontics, the development of automatic cephalometric analysis is urgently needed [14]. We combined deep learning for mandibular segmentation, automated localization of landmarks, and automated construction of MMSP to enhance clinical efficiency and reveal the area and extent of mandibular asymmetry more precisely and intuitively. We demonstrated that the B-Gn-F plane is closest to the sagittal plane of the mandible.
Accurate segmentation of the mandible on CBCT is necessary for 3D analysis of the mandible. Semiautomatic segmentation methods based on threshold and
Table 2 Asymmetry index (AI) of planes
Landmark1 Landmark2 Landmark3 Median (IQR) Min-Max
B Gn F 1.6(1.53-1.92) 0.59-3.61
B Me F 1.95(1.81-2.34) 1.05-3.61
B Pog F 1.97(1.75-2.19) 0.73-5.05
B G F 2.15(1.88-2.81) 0.68-5.38
B F MF 2.34(2.22-3.11) 0.69-4.34
.. .. .. .. ..
.. .. .. .. ..
B G Me 7.49(7.24-10.3) 1.56-19.97
.. .. .. .. ..
.. .. .. ..
B G MF 12.57(9.45-16.76) 1.58-41.71
B Gn Me 12.97(11.6715.82) 1.34-37.4
G Me MF 17.78(18.4425.32) 1.81-36.82
B Pog Gn 18.76(17.2525.92) 0.94-53.46
Pog Gn Me 21.15(18.4933.68) 1.7-64.04
asymmetry index
Table 3 Mean distance difference from landmarks to MMSP
Landmark Reference plane(mm) B-Gn-F(mm) B-Pog-F(mm) B-Me-F(mm) B-G-F(mm)
Consup
Conmed
Conlat
Sig
Cor *
Go
RP **
MF
Jlat
Jmed
F
Mean

Table 4 Absolute values of volume and similarity index difference for MMSP
Plane Volume ( ) P value Similarity index P value
Reference
B-Gn-F 0.671 **
B-Pog-F 0.560 **
B-Me-F 0.438 **
B-G-F 0.537 **
*
region-growing algorithms are time-consuming and subjective and cannot be widely used in clinical practice [15-17]. Deep learning algorithms are more effective and accurate than traditional segmentation methods. Recently, medical image segmentation has employed artificial intelligence image segmentation techniques, and a convolutional neural network (CNN), a deep learning algorithm, has been commonly employed to analyze images [18]. CNNs learn task-specific features from data and are effective at image categorization, target identification, and recognition [17, 19]. Verhelst et al. constructed a 3D model of the mandible using a layered 3D U-Net architecture deep learning algorithm for direct
segmentation of high-resolution CBCT images in 17 s , a 71.3-fold reduction compared to semiautomated segmentation [17]. Robert et al. created in-house segmentation software that increased the segmentation accuracy to while decreasing the segmentation time to 2 min and 3 s . Segmenting skull bones with Mimics software provided Dice similarity coefficients of 0.924 and 0.949 for the maxilla and mandible, respectively, compared to the ground truth [20]. However, in this study, the time needed for mandibular segmentation by the PointRend algorithm was reduced to , and the Dice similarity coefficient was 0.98 [17]. PointRend (point rendering) based on CNNs is an iterative segmentation technique proposed for efficient picture target recognition and segmentation [21,22]. Inspired by computer graphics image rendering, this novel image segmentation method solves pixel labeling tasks and over- and under-sampling issues by treating image segmentation as a rendering problem and generating high-resolution segmentation masks [21-23]. With improved segmentation efficiency and application in CBCT 3D data, forward processing was performed directly on the whole sample, and the overall features of the mandible were better recognized from 3D space. The mandible in the image slices exhibited similar localized features to those of some regions of the maxilla and teeth. Notably, a clearer and
more complete mandibular boundary can be extracted by iterative upsampling of only the edge points at the end of the model using the multilevel information of the network without affecting most of the foreground pixels.
3D anatomical landmarks reflect the morphological characteristics of the mandible and are the basis of 3D mandibular analysis. Manual landmark localization relies on doctors’ clinical expertise and is tedious [24,25]. The You-Only Look-Once version 3 (YOLOv3) algorithm was applied to 1028 cephalograms to automatically identify 80 cephalometric landmarks with a manual landmark average error of [25]. Zhang et al. simultaneously achieved the joint bone segmentation and landmark digitization (JSD) framework by context-guided fully convolutional networks (FCNs) with an average error of 1.1 mm for 15 anatomical landmarks [26]. In this study, we used the PoseNet algorithm [29], which has high expansibility and can accurately locate key points in 3D CBCT images without adding additional structure or computations to the model. On average, the error of the 27 landmarks was , while the clinical acceptability was 2 mm [24,25,27]. The mean error of the central landmarks was , which was smaller than that of the lateral landmarks , probably because the central landmarks were more accurate and reliable [24]. According to Schlicher et al., landmarks with a distinct anatomical structural contour showed fewer errors than landmarks that were located on curves, which also supported this result [28].
Previous studies have shown that central markers are more accurate than bilateral markers when the sagittal plane of the face is used. However, for the mandible, the bony markers at the mandible are very close together [29]. The reliability and stability of the MF and F points were high, and both sides of the structure were symmetrical, with no significant difference [7, 30, 31]. The F point was located on the posterior region of the mandible, and the fact that 4 planes were screened in this experiment provided additional evidence that this point is involved in the composition of the sagittal plane with a high degree of stability. Therefore, in this study, the MF and F points were added to form the sagittal plane.
The template mapping approach based on the MeshMonk algorithm was used to automatically assess the AIs of 35 planes. Technical template mapping and 3D surface-to-surface deviation analysis have become important scientific tools in orthodontics for studying changes in skeletal morphology [9, 32, 33]. This method was used in this study to mirror and superimpose a mandibular model onto a 3D color map to precisely identify morphological asymmetries. This approach, which was more intuitive and accurate than linear and angular measurements, assesses the asymmetry of the
whole mandibular surface [4]. The ICP was not selected as a reference plane because although both methods use the root-mean-square value, the ICP algorithm calculates the closest distance between the original model and the mirror model, whereas the template mapping method calculates the distance between the original model and the mirror corresponding quasi-landmarks, which has the advantages of more points, intelligence, and good correspondence relationships [9]. When the mandible was heavily asymmetrical, the precision of the ICP algorithm was reduced [4]. Many previous studies used the B-G-Me plane as the MMSP to study the symmetry of mandibles [5, 6]. The results of the present study showed that the AI of the B-G-Me plane was 7.49 (Table 2), which differed significantly from the results obtained for the plane ( ). When the 3 points were spread to form a larger and broader triangle, the stability of the plane increased [34]. In contrast, 3 points in the B-G-Me plane were located at the mandibular symphysis, close enough to make the plane unstable.
Mandibular asymmetry is a complicated condition that is categorized into morphological and spatial structural differences between two sides [35]. On both sides of the mandible, the difference in volume between the 4 planes and the reference plane was not statistically significant ( ; Table 4). Although volumetric data are often used to compare differences between two sides of the mandible, these data do not allow for quantitative assessment of symmetrical and asymmetrical regions [36]. The similarity index and nonoverlapping volume can reflect both morphological and structural differences in the mandible [2]. Significant differences were found between the B-Gn-F plane and the reference plane ( ) (Table 4). This was probably because the algorithmic analysis examined the shape of the mandible, while the anatomical landmarks method simply looked at the structure. However, the mean value of the overall similarity index was closest to that of the reference plane. Therefore, it is reasonable to use the B-Gn-F plane as the MMSP in the clinical analysis of the mandible.
To assess mandibular asymmetry, landmarks-based analyses were applied. In this method, distance, volumetric data, similarity index, surface-to-surface deviation analysis, and template mapping techniques were combined to screen for relatively accurate MMSP data, facilitating the identification of regions affected by asymmetry. The limitations of this study are that the automated localization accuracy of severe mandibular deformity data was not evaluated. Hence, only adults with mandible symmetry were studied, while other asymmetry types were not confirmed. The MyDentViewer software is the unopen source and is currently used for collaborative research.

Conclusions

In this study, automated segmentation of the mandible and localization of anatomical landmarks were used to realize automatic cephalometric analysis. Furthermore, the B-Gn-F plane can be used for clinical application because of the symmetry of the mandibular structure.
The benefits of artificial intelligence go beyond shortening the time needed to obtain asymmetric information. Combining deviation analysis with artificial intelligence provides a more efficient workflow, and accurate quantification of mandibular asymmetry will help orthodontists and surgeons better understand asymmetry and guide treatment planning. Color-coded charts not only are an important tool for diagnosis, but also allow patients and parents to easily understand asymmetry.

Abbreviations

CBCT Cone beam computed tomography
MMSP Mandibular midsagittal plane
AI Asymmetry index
3D Three-dimensional
2D Two-dimensional
CMSP Craniomaxillary median sagittal plane
ICC Intraclass correlation coefficient
ICP Iterative closest point
WPA Weighted Procrustes analysis

Supplementary Information

The online version contains supplementary material available at https://doi. org/10.1186/s40001-024-01681-2.
Additional file 1: Figure S1. Framework of Point-Rend deep learning segmentation of mandible.
Additional file 2: Table S1. Description of mandibular landmarks.

Acknowledgements

We thank Hefei Meyer Optoelectronic Technology Inc. for providing MyDentViewer software.

Author contributions

YW, WW, JX, YL, and HZ conceived and designed the study. YW, MC, and MS contributed to data collection and data labeling. WW and ZW performed data processing and data analysis. YW, WW drafted the manuscript. All authors read and approved the final manuscript.

Funding

This work was supported by the Health Commission of Anhui Province Subjects (AHWJ2022b002) and the Discipline Construction “Feng Yuan” Cooperation Program of the Faculty of Dentistry of Anhui Medical University (2022xkfyts07).

Availability of data and materials

The datasets used and analyzed during the current study are available from the corresponding author upon reasonable request.

Declarations

The studies involving human participants were reviewed and approved by the ethical committee of Anhui Medical University Stomatological Hospital. The
patients/participants provided their written informed consent to participate in this study.
All authors agree to publish.

Competing interests

The authors declare no competing interests.

Author details

Key Lab. of Oral Diseases Research of Anhui Province, College & Hospital of Stomatology, Anhui Medical University, 81 Meishan Road, Hefei 230032, China. Department of Orthodontics, Affiliated Hospital of Stomatology, Anhui Medical University Hefei, 69 Meishan Road, Hefei, Anhui, China. Paediatric Dentistry and Orthodontics, Faculty of Dentistry, The University of Hong Kong, Hong Kong SAR, China.
Received: 1 November 2023 Accepted: 17 January 2024
Published online: 29 January 2024

References

  1. Fang JJ, Tu YH, Wong TY, Liu JK, Zhang YX, Leong IF, et al. Evaluation of mandibular contour in patients with significant facial asymmetry. Int J Oral Maxillofac Surg. 2016;45(7):922-31.
  2. Kwon SM, Hwang JJ, Jung YH, Cho BH, Lee KJ, Hwang CJ, et al. Similarity index for intuitive assessment of three-dimensional facial asymmetry. Sci Rep. 2019;9(1):10959.
  3. AlHadidi A, Cevidanes LH, Mol A, Ludlow J, Styner M. Comparison of two methods for quantitative assessment of mandibular asymmetry using cone beam computed tomography image volumes. Dentomaxillofac Radiol. 2011;40(6):351-7.
  4. Fan Y, Zhang Y, Chen G, He W, Song G, Matthews H, et al. Automated assessment of mandibular shape asymmetry in 3-dimensions. Am J Orthod Dentofacial Orthop. 2022;161(5):698-707.
  5. You KH, Lee KJ, Lee SH, Baik HS. Three-dimensional computed tomography analysis of mandibular morphology in patients with facial asymmetry and mandibular prognathism. Am J Orthod Dentofacial Orthop. 2010;138(5):540.e1-8.
  6. Kim SJ, Lee KJ, Lee SH, Baik HS. Morphologic relationship between the cranial base and the mandible in patients with facial asymmetry and mandibular prognathism. Am J Orthod Dentofacial Orthop. 2013;144(3):330-40.
  7. Pittayapat P, Jacobs R, Bornstein MM, Odri GA, Kwon MS, Lambrichts I, et al. A new mandible-specific landmark reference system for threedimensional cephalometry using cone-beam computed tomography. Eur J Orthod. 2016;38(6):563-8.
  8. Xiong Y, Zhao Y, Yang H, Sun Y, Wang Y. Comparison between interactive closest point and procrustes analysis for determining the median sagittal plane of three-dimensional facial data. J Craniofac Surg. 2016;27(2):441-4.
  9. Zhu Y, Zhao Y, Wang Y. A review of three-dimensional facial asymmetry analysis methods. Symmetry. 2022;14(7):1414.
  10. Zhu YJ, Zhao YJ, Zheng SW, Wen AN, Fu XL, Wang Y. A method for constructing three-dimensional face symmetry reference plane based on weighted shape analysis algorithm. Beijing da xue xue bao Yi xue ban Journal of Peking University Health sciences. 2020;53(1):220-6.
  11. Gao L, Zhang LX, Meng HY, Ren YH, Lai YK, Kobbelt L. PRS-net: planar reflective symmetry detection net for 3d models. IEEE transactions on visualization and computer graphics 2021;27(6):3007-18.
  12. Verhelst P-J, Matthews H, Verstraete L, Van der Cruyssen F, Mulier D, Croonenborghs TM, et al. Automatic 3D dense phenotyping provides reliable and accurate shape quantification of the human mandible. Scientific Reports 2021;11(1).
  13. Fan Y, Schneider P, Matthews H, Roberts WE, Xu T, Wei R, et al. 3D assessment of mandibular skeletal effects produced by the Herbst appliance. BMC Oral Health. 2020;20(1):117.
  14. Moon JH, Hwang HW, Yu Y, Kim MG, Donatelli RE, Lee SJ. How much deep learning is enough for automatic identification to be reliable? Angle Orthod. 2020;90(6):823-30.
  15. Le C, Deleat-Besson R, Prieto J, Brosset S, Dumont M, Zhang W, et al. Automatic segmentation of mandibular ramus and condyles. Annu Int Conf IEEE Eng Med Biol Soc. 2021Nov:2021:2952-5.
  16. Qiu B, Guo J, Kraeima J, Glas HH, Borra RJH, Witjes MJH, et al. Automatic segmentation of the mandible from computed tomography scans for 3D virtual surgical planning using the convolutional neural network. Phys Med Biol. 2019;64(17):175020.
  17. Vinayahalingam S, Berends B, Baan F, Moin DA, van Luijn R, Berge S, et al. Deep learning for automated segmentation of the temporomandibular joint. J Dent. 2023;132: 104475.
  18. Verhelst PJ, Smolders A, Beznik T, Meewis J, Vandemeulebroucke A, Shaheen E, et al. Layered deep learning for automatic mandibular segmentation in cone-beam computed tomography. J Dent. 2021;114:103786.
  19. Lo Giudice A, Ronsivalle V, Spampinato C, Leonardi R. Fully automatic segmentation of the mandible based on convolutional neural networks (CNNs). Orthod Craniofac Res. 2021;24 Suppl 2 :100-7.
  20. Ilesan RR, Beyer M, Kunz C, Thieringer FM. Comparison of artificial intelligence-based applications for mandible segmentation: from established platforms to in-house-developed software. Bioengineering. 2023;10(5):604.
  21. MinJin Hwang BD, Enrique Dehaerne, Sandip Halder, Young-han Shin. SEMI-PointRend: Improved Semiconductor Wafer Defect Classification and Segmentation as Rendering. arXiv – CS – Computer Vision and Pattern Recognition. 2023.
  22. Girshick AKYWKHR. PointRend: Image Segmentation as Rendering. arXiv CS – Computer Vision and Pattern Recognition 2019.
  23. Dong Y, Zhang Y, Hou Y, Tong X, Wu Q, Zhou Z, et al. Damage recognition of road auxiliary facilities based on deep convolution network for segmentation and image region correction. Advances in Civil Engineering. 2022;2022:1-10.
  24. Blum FMS, Mohlhenrich SC, Raith S, Pankert T, Peters F, Wolf M, et al. Evaluation of an artificial intelligence-based algorithm for automated localization of craniofacial landmarks. Clin Oral Investig. 2023;27(5):2255-65.
  25. Hwang HW, Park JH, Moon JH, Yu Y, Kim H, Her SB, et al. Automated identification of cephalometric landmarks: part 2-might it be better than human? Angle Orthod. 2020;90(1):69-76.
  26. Zhang J, Liu M, Wang L, Chen S, Yuan P, Li J, et al. Context-guided fully convolutional networks for joint craniomaxillofacial bone segmentation and landmark digitization. Med Image Anal. 2020;60:101621.
  27. Dot G, Schouman T, Chang S, Rafflenbeul F, Kerbrat A, Rouch P, et al. Automatic 3-dimensional cephalometric landmarking via deep learning. J Dent Res. 2022;101(11):1380-7.
  28. Schlicher W, Nielsen I, Huang JC, Maki K, Hatcher DC, Miller AJ. Consistency and precision of landmark identification in three-dimensional cone beam computed tomography scans. Eur J Orthod. 2012;34(3):263-75.
  29. Dobai A, Markella Z, Vízkelety T, Fouquet C, Rosta A, Barabás J. Landmarkbased midsagittal plane analysis in patients with facial symmetry and asymmetry based on CBCT analysis tomography.Journal of Orofacial Orthopedics / Fortschritte der Kieferorthopädie. 2018;79(6):371-9.
  30. Gada SK. Assessment of position and bilateral symmetry of occurrence of mental foramen in dentate Asian population. Journal of Clinical and Diagnostic Research. 2014;8(2):203-5
  31. Findik Y, Yildirim D, Baykul T. Three-dimensional anatomic analysis of the lingula and mandibular foramen. Journal of Craniofacial Surgery. 2014;25(2):607-10.
  32. Lo Giudice A, Ronsivalle V, Rustico L, Aboulazm K, Isola G, Palazzo G. Evaluation of the accuracy of orthodontic models prototyped with entry-level LCD-based 3D printers: a study using surface-based superimposition and deviation analysis. Clin Oral Investig. 2022;26(1):303-12.
  33. Lo Giudice A, Ronsivalle V, Santonocito S, Lucchese A, Venezia P, Marzo G, et al. Digital analysis of the occlusal changes and palatal morphology using elastodontic devices. A prospective clinical study including Class II subjects in mixed dentition. Eur J Paediatr Dent. 2022;23(4):275-80
  34. Green MN, Bloom JM, Kulbersh R. A simple and accurate craniofacial midsagittal plane definition. Am J Orthod Dentofacial Orthop. 2017;152(3):355-63.
  35. Duran GS, Dindaroglu F, Kutlu P. Hard- and soft-tissue symmetry comparison in patients with class III malocclusion. Am J Orthod Dentofacial Orthop. 2019;155(4):509-22.
  36. Lo Giudice A, Ronsivalle V, Gastaldi G, Leonardi R. Assessment of the accuracy of imaging software for 3D rendering of the upper airway, usable in orthodontic and craniofacial clinical settings. Prog Orthod. 2022;23(1):22.

Publisher’s Note

Springer Nature remains neutral with regard to jurisdictional claims in published maps and institutional affiliations.

  1. Yali Wang and Weizi Wu have contributed equally to this work.
    *Correspondence:
    Yifan Lin
    yflin@hku.hk
    Hengguo Zhang
    zhanghengguo@ahmu.edu.cn
    Jianguang Xu
    xujg1982@connect.hku.hk
    Full list of author information is available at the end of the article
  2. interquartile range (25th, 75th percentile); Min minimum; Max maximum;