التقسيم التلقائي الكامل بالذكاء الاصطناعي للأنسجة المتعلقة بجراحة الفم استنادًا إلى صور الأشعة المقطعية المخروطية Fully automatic AI segmentation of oral surgery-related tissues based on cone beam computed tomography images

المجلة: International Journal of Oral Science، المجلد: 16، العدد: 1
DOI: https://doi.org/10.1038/s41368-024-00294-z
PMID: https://pubmed.ncbi.nlm.nih.gov/38719817
تاريخ النشر: 2024-05-08

التقسيم التلقائي الكامل بالذكاء الاصطناعي للأنسجة المتعلقة بجراحة الفم استنادًا إلى صور الأشعة المقطعية المخروطية

يو ليو روي شي ليفينغ وانغ هونغبينغ ليو تشن ليو ييمين زهاو شيزو باي و وينيونغ ليو

الملخص

يمكن أن يسرع التقسيم الدقيق للأنسجة المتعلقة بجراحة الفم من صور الأشعة المقطعية المخروطية (CBCT) بشكل كبير من تخطيط العلاج ويحسن دقة الجراحة. في هذه الورقة، نقترح نظام تقسيم أنسجة مؤتمت بالكامل لجراحة زراعة الأسنان. على وجه التحديد، نقترح طريقة معالجة مسبقة للصور تعتمد على توزيعات البيانات، والتي يمكن أن تعالج صور CBCT بشكل تكيفي مع معلمات مختلفة. بناءً على ذلك، نستخدم شبكة تقسيم العظام للحصول على نتائج تقسيم العظم السنخي، والأسنان، والجيوب الأنفية العلوية. نستخدم مناطق الأسنان والفك السفلي كمناطق ROI لتقسيم الأسنان وتقسيم أنبوب العصب الفك السفلي لتحقيق المهام المقابلة. يمكن أن توفر نتائج تقسيم الأسنان معلومات الترتيب للأسنان. تظهر النتائج التجريبية المقابلة أن طريقتنا يمكن أن تحقق دقة وكفاءة تقسيم أعلى مقارنة بالطرق الحالية. كانت متوسط درجات Dice لدينا في مهام تقسيم الأسنان، والعظم السنخي، والجيوب الأنفية العلوية، وقناة الفك السفلي ، و ، على التوالي. تظهر هذه النتائج أنه يمكن أن يسرع من تطوير طب الأسنان الرقمي.

المجلة الدولية لعلوم الفم (2024) 16:34 ؛https://doi.org/10.1038/s41368-024-00294-z

مقدمة

مع الانتشار الواسع لتقنية التصوير المقطعي المحوسب باستخدام شعاع المخروط (CBCT) في مجال طب الأسنان، أصبحت التكنولوجيا الرقمية تدريجياً أساساً للتشخيص والعلاج الحديث في طب الأسنان. كأحد تقنيات التصوير ثلاثي الأبعاد عالية الدقة، يمكن لصور CBCT أن توفر معلومات تفصيلية عن تشريح الفم، ومن خلال الحصول على التشريح المعقد لتجويف الفم مع تحديد دقيق في الصور، يمكن أن توجه الجراح في تخطيط موقع الزرع بدقة لتجنب إلحاق الضرر بالأعصاب والأوعية الدموية المحيطة، وما إلى ذلك. بالنسبة لتقويم الأسنان، يمكن أن يؤدي تقسيم صور CBCT بدقة إلى تجنب مشاكل الفتح والتشقق العظمي المحتملة، وهي شرط أساسي لتحقيق تقييم دقيق لخطط التقويم، مما يمكن أن يغير الوضع الحالي الذي يعتمد فقط على خبرة الطبيب لتقدير حركة جذر الأسنان؛ بالنسبة لجراحة الفك والوجه، يمكن أن يحسن نموذج الفك الدقيق بشكل كبير من كفاءة ودقة الجراحة، وهو شرط أساسي لأتمتة تخطيط المخططات وجراحة الروبوت الدقيقة؛ بالنسبة لجراحة زراعة الأسنان، مع التطبيق التدريجي لتقنية الروبوت في جراحة زراعة الأسنان في الممارسة السريرية في السنوات الأخيرة، تم التحقق بشكل فعال من دقتها وموثوقيتها، مما يثبت أنها يمكن أن تحقق دقة زراعة أعلى ووقت جراحة أقل مقارنة بالزراعة اليدوية وزراعة التوجيه، وهو الاتجاه المستقبلي لتطوير مجال زراعة الأسنان. يمكن أن توفر نتائج التقسيم الدقيقة مرجعًا لموقع قناة العصب الفك السفلي والجيوب الأنفية العلوية للجراحة، وهو الأساس للتخطيط التلقائي بواسطة الكمبيوتر لمواقع الزرع. ويمكن استخدامها لتتبع مواقع الزرعات لـ
تقييم دقيق بعد الجراحة، في الوقت نفسه، يمكن أن يوجه شكل ثقوب التحضير في جراحة زراعة الأسنان الذاتية. لتحقيق هذه الأهداف، الخطوة الأساسية هي تقسيم الهياكل الفموية المعنية بدقة من صور CBCT وإجراء إعادة بناء ثلاثية الأبعاد.
في مجال التصوير الطبي، تظل عملية التقسيم التلقائي للأسنان، والعظام الفكية العلوية والسفلية، والجيوب الأنفية الفكية، وقناة العصب الفكي السفلية مهمة صعبة من الناحية العملية والتقنية. تتطلب الطرق المطبقة حاليًا عادةً تقسيمًا باستخدام ميزات يدوية مصممة مسبقًا لتقسيم الأسنان، مثل مجموعات المستوى، توافق القالب أو تعديل يدوي بعد إجراء تقسيم العتبة فقط. ومع ذلك، بسبب تعقيد سطح الإطباق السني، ومرونة تغييرات طوبولوجيا الأسنان، وانخفاض التباين بين الجذر والعظم السنخي، وعدم اليقين في بزوغ الضرس الثالث، فإن ذلك يجعل من الصعب على طرق التقسيم الحالية الحصول على نتائج تقسيم دقيقة. بالإضافة إلى ذلك، فإن كفاءة طرق تقسيم صور الأسنان الحالية منخفضة جداً، مما يؤدي إلى تقليل كبير في كفاءة روبوت جراحة زراعة الأسنان، ويحتاج طبيب الأسنان المحترف إلى قضاء المزيد من الوقت في التخطيط الجراحي ومعالجة الصور مقارنةً بزراعة الأسنان التقليدية باليد الحرة، ولا يمكنه التركيز على تصميم خطة الجراحة.
ومع التطور المستمر لأساليب التعلم العميق، مثل التعلم العميق القائم على الشبكات العصبية التلافيفية (CNNs)، التي أظهرت قوة كبيرة ودقة في مجال الصور الطبية، سلسلة من الدراسات المتعلقة بتطبيق أساليب التعلم العميق لـ
الشكل 1 نتائج تقسيم الخوارزميات الحالية لجذور الأسنان (المنطقتان العلوية والسفلية اليمنى، كما يمكن رؤيته، نفس الأسنان) مُعَلَّمَة كأَسْنان مُخْتَلِفَة)
ظهرت تقسيمات لهياكل الأسنان والعظام وأنبوب الأعصاب الفكي. من بين هذه الدراسات، تعتبر مهمة تقسيم أجزاء الأسنان واحدة من أهم وأعقد المهام، حيث تتطلب الطرق الحالية عادةً تصميم تمثيلات معقدة لشكل الأسنان وإرفاق معرفة سابقة عن الأسنان. كوي وآخرون. اقترحوا لأول مرة الشبكة الأولى لمهمة تقسيم الأسنان باستخدام CBCT في عام 2019: ToothNet. هذه الطريقة تستخرج أولاً حواف الأسنان من صورة CBCT المدخلة، ثم ترسل خريطة الحواف المكتشفة وصورة CBCT الأصلية إلى شبكة اقتراح المنطقة للحصول على نتائج التقسيم. لي وآخرون. وجيرهاردت وآخرون اقترحوا طريقة للحصول أولاً على موقع سن واحد من صورة CBCT الأصلية من خلال الكشف عن الكائنات وطرق أخرى للتجزئة، حيث تم تقسيم مهمة التجزئة إلى مرحلتين وتقليل تعقيد الشبكة. للحصول على نتائج تجزئة أفضل، قام كوي وآخرون. اقترحوا تعلم مراكز الأسنان والهياكل العظمية لتحديد الموقع التقريبي لكل سن والهياكل الطوبولوجية، على التوالي. تشونغ وآخرون. اقترح إعادة محاذاة صورة CBCT أولاً وفقًا لإسقاط أقصى كثافات. Liu et al. تتطلب الطريقة أولاً تسجيل نموذج المسح داخل الفم الذي تم الحصول عليه بواسطة ماسح داخل الفم تلقائيًا أو مسح الانطباعات الفموية التقليدية باستخدام صورة CBCT، ثم تقسيم صورة CBCT بناءً على نتائج تقسيم نموذج المسح داخل الفم. ثانيًا، تعتمد الطرق الحالية على شبكات CNN، التي تواجه مشاكل كبيرة في نمذجة المعلومات بعيدة المدى بسبب الخصائص الجوهرية للنوى التلافيفية. والحصول على العلاقة الدقيقة بين الأسنان والأسنان المفقودة. بالإضافة إلى ذلك، بسبب الفروق الكبيرة في نطاق التدرج الرمادي، والتباين، ومجال الرؤية بين صور CBCT المختلفة، لم تقم الطرق الحالية بتحسين ذلك.
يمكن تلخيص الطرق الحالية في أربعة أوجه قصور كما يلي:
  1. نتائج تقسيم الأسنان للطرق الحالية لا تحدد الأسنان وفقًا لتدوين FDI ذو الرقمين. حتى لا يمكن اكتشاف المعلومات المفقودة عن الأسنان بدقة وتمثيلها. لقد قمنا بإعادة إنتاج طريقة كوي وآخرون. الذي يُعتبر الأحدث في هذا المجال، تظهر النتيجة في الشكل 1. لا يمكنه تحقيق نفس نتائج التصنيف للأسنان في نفس الموضع، والذي تم تمثيله في الشكل بألوان مختلفة للأسنان في نفس الموضع. الطريقة التي اقترحها ليو وآخرون يتطلب ذلك أولاً تقسيم نموذج المسح الفموي وتسجيله مع صورة CBCT للحصول على نتائج التقسيم. هذا يحد من تطبيق هذه الطرق في تحليل وتشخيص العيوب السنية، حيث أن المعلومات حول الأسنان المفقودة ضرورية للتحديد الصحيح وتقييم حالة صحة الفم لدى المريض.
  2. على عكس الأشعة المقطعية التقليدية، تستخدم الشركات المصنعة لمعدات الأشعة المقطعية المخروطية (CBCT) أجهزة تصوير وأساليب استيفاء مختلفة، كما تختار ديناميكيًا معلمات التصوير وفقًا لحالة المريض أثناء الاستخدام، مما يؤدي إلى أن صور CBCT ستحتوي على توزيع تدرج رمادي وتباين مختلف، مما يجعل من الصعب تطبيق صورة بسيطة.
    طرق المعالجة المسبقة لجميع صور CBCT؛ وفي مهمة تقسيم الأسنان، فإن معظم الصور الأصلية هي مناطق أنسجة لينة غير مفيدة للتقسيم، مما يؤدي إلى توزيع غير متوازن للبيانات، وهو ما لا تعالجه الطرق الحالية. تُظهر الصور الفعلية لـ CBCT في الشكل 2، ويمكن ملاحظة وجود اختلافات كبيرة في تباين الصورة، ومجال الرؤية، وما إلى ذلك.
  3. الطرق الحالية معقدة للغاية وغالبًا ما تتطلب خطوات متعددة للحصول على نتائج تقسيم جيدة. قد تتطلب هذه الطرق استخدام تقنيات معالجة مسبقة متعددة، وطرق استخراج الميزات، والمصنفات أو النماذج، وخطوات المعالجة اللاحقة لإكمال تقسيم الأسنان. تؤدي هذه التعقيدات إلى طرق أقل كفاءة من الناحية الحسابية، حيث قد يقدم كل خطوة أخطاء أو عيوب، وكل خطوة في العملية الكاملة تتطلب ضبطًا دقيقًا وتحققًا، مما يزيد من صعوبة تطوير الطرق وتطبيقها.
  4. الطرق الحالية لا تؤدي جميع مهام التقسيم هذه بشكل تلقائي بالكامل بطريقة شاملة، حيث تركز عادةً على مهمة واحدة، مثل تقسيم الأسنان أو تقسيم العظم السنخي في منطقة محددة مسبقًا (ROI)، مع القليل من البحث حول تقسيم القناة الفكية من الجيب الفكي.
تحد هذه العيوب المذكورة أعلاه من دقة وعمومية وكفاءة هذه الطرق في تقسيم الهياكل الفموية والمهام التشخيصية.
في هذه الورقة، نقترح نظام تقسيم آلي كامل يعتمد على التعلم العميق يهدف إلى التحديد الدقيق للأنسجة ذات الصلة بزراعة الأسنان. على وجه التحديد، نقترح طريقة معالجة صور تعتمد على توزيع البيانات باستخدام تحليل إحصائي لتوزيع البيانات الخاصة بصور CBCT من علامات تجارية مختلفة. بناءً على ذلك، نستخدم شبكة تقسيم هيكلية للحصول على نتائج تقسيم العظام الفكية العلوية والسفلية، والأسنان، والجيوب الأنفية الفكية، ونستخدم نتائج تقسيم الأسنان والعظام الفكية السفلية كمنطقة اهتمام للتقسيم اللاحق لعينات الأسنان وتقسيم الأنبوب العصبي الفكي السفلي، على التوالي. بالنسبة لتقسيم الأسنان، نقترح شبكة تعلم عميق تعتمد على الانتباه للحصول على نتائج دقيقة لتقسيم عينات الأسنان، ويمكن تصنيف نتائج التقسيم وفقًا لتدوين FDI ذو الرقمين. للحصول على معلومات حول السن المفقود للمريض؛ بالنسبة لتجزئة القناة الفكية السفلية، نقوم بتصميم شبكة عصبية متعددة الطبقات لاستخراج الميزات الهرمية لأداء هذه المهمة. تظهر النتائج التجريبية المقابلة أن طريقتنا يمكن أن تحقق نتائج تجزئة أكثر دقة وكفاءة أعلى من الطرق الحالية، وأن طريقة معالجة البيانات المقترحة يمكن أن تحسن بدقة تجزئة النتائج بشكل فعال.

النتائج

يوضح الشكل 3 نظرة عامة على الطريقة المقترحة المطبقة على تقسيم صور CBCT الفموية، وتتكون من ثلاثة
الشكل 2 شرائح من بيانات CBCT من مصادر مختلفة
الشكل 3 نظرة عامة على نظام الذكاء الاصطناعي المقترح لدينا لتقسيم الأسنان الفردية، والعظام الفكية العلوية والسفلية، والجيوب الأنفية الفكية، وأنبوب الأعصاب الفكي السفلي من صور CBCT (الإدخال إلى النظام هو مسح ثلاثي الأبعاد CBCT للمريض؛ يتم أولاً الحصول على صورة موحدة باستخدام خوارزمية معالجة مسبقة متكيفة مع صورة CBCT، ثم يتم معالجتها بواسطة شبكة لاستخراج العظام، واستخراج أنبوب الأعصاب، وتقسيم حالات الأسنان، وأخيرًا يتم إخراج قناع يحتوي على جميع الهياكل التي يجب تقسيمها)
الأجزاء. أولاً، يتم تطبيق طريقة معالجة الصور المقترحة في هذه الورقة، وتستخدم الصور المعالجة مسبقًا للتدريب اللاحق. في مرحلة معالجة التعلم العميق، يتم استخدام شبكة تقسيم هيكلية لتقسيم الصور المعالجة مسبقًا للحصول على أربعة أنواع من نتائج التقسيم: الأسنان، العظم الفكي العلوي، العظم الفكي السفلي، والجيوب الأنفية الفكية.
ثم تُستخدم نتائج تقسيم الأسنان ونتائج تقسيم عظم الفك السفلي كمناطق ROIs للمهام اللاحقة، وتُجمع نتائج تقسيم حالات الأسنان اللاحقة مع نتائج تقسيم الأنبوب العصبي ونتائج تقسيم العظام للحصول على النتائج النهائية لتقسيم صورة CBCT الفموية.
يوضح الجدول 1 دقة التقسيم التي حققها أسلوبنا المقترح على مجموعة بيانات التحقق، والتي تحتوي على تقسيم الأسنان، وتقسيم الفك العلوي والسفلي، والفك العلوي.
الجدول 1. دقة تقسيم الأسنان، والعظام الفكية العلوية والسفلية، والجيوب الأنفية العلوية، وقناة العصب الفكي السفلي في مجموعة البيانات
فصول القطاعات نرد/% ملاو/% HD/mm ASD/mm
سن
عظم الفك العلوي
عظم الفك
القناة الفكية
الجيوب الأنفية الفكية
متوسط
تقسيم الجيوب الأنفية مع تقسيم الأنبوب العصبي الفكي. كما يتضح، في مجموعة بيانات الاختبار، تمكن نظام الذكاء الاصطناعي الخاص بنا من الحصول على متوسط درجة دايس متوسط تقاطع الاتحاد (mIoU) يبلغ ، متوسط مسافة هاوسدورف (HD) يبلغ 1.62 مم، ومتوسط خطأ مسافة السطح (ASD) يبلغ 0.12 مم في مهمة تقسيم الأسنان؛ بينما كان قادرًا على تحقيق ، و في مهام تقسيم الأنبوب العصبي الفكي العلوي، والفك السفلي، والجيوب الأنفية الفكية، والأنبوب العصبي الفكي السفلي، على التوالي. توضح الشكل 4 نتائج التقسيم للأسنان، والعظام الفكية العلوية والسفلية، والجيوب الأنفية الفكية، وقناة الفك السفلي، على التوالي.
قمنا بمقارنة طريقتنا المقترحة مع طرق التعلم العميق من السنوات السابقة، بما في ذلك Hi-MoToothSeg، صافي توث نت ريلو-نت و DenseASPP-UNet، تطبيق جميع طرق معالجة البيانات الشائعة للتحقق من فعالية طريقتنا المقترحة. تظهر النتائج في الجدول 2، ويمكن ملاحظة أن طريقتنا تحقق نتائج أعلى
الشكل 4 نتائج تقسيم الأسنان، وعظام الفك العلوي والسفلي، والجيوب الأنفية العلوية، وقناة العصب الفك السفلي
الدقة في جميع المقاييس الأربعة مقارنة بالطرق الحالية. في الوقت نفسه، قمنا بإجراء تجارب إلغاء لتأكيد فعالية طريقة المعالجة المسبقة المقترحة، والنتائج موضحة في الجدول 3. يمكن ملاحظة أن طريقتنا التكيفية للمعالجة المسبقة تحقق تحسينًا كبيرًا في جميع المقاييس الأربعة مقارنة بطريقة المعالجة المسبقة العامة.
الجدول 2. النتائج التجريبية للمقارنة الكمية مع الأساليب المتقدمة الحالية من حيث دقة التقسيم والكشف
طرق نرد/% ملاو/% HD/mm ASD/mm
هاي-مو توث سيج
nnUNet
توث نت
ريلو-نت
دينس أيه إس بي بي – يونيك
خاصتنا
النص العريض يمثل أعلى قيمة في عموده
الجدول 3. تحليل تأثير اختيار علاقات مختلفة بين و على دقة التقسيم أثناء معالجة الصور
عناصر نرد/% ملاو/% HD/mm ASD/mm
معالجة مسبقة عادية
النص العريض يمثل أعلى قيمة في عموده
علاوة على ذلك، كانت طريقتنا قادرة على الحصول على مواقع الأسنان النسبية بدقة، وكانت الأسنان في نفس الموقع قادرة على الحصول على نفس العلامات، مما مكننا من تقييم دقة التقسيم لكل سن محدد، وتظهر نتائج التقسيم في الشكل 5. اخترنا معامل دايس كمعيار للتقييم وقيمنا دقة التقسيم للأنياب المركزية العلوية والسفلية (T1)، الأنياب الجانبية (T2)، الأسنان الكلبية/الحادة (T3)، الأضراس الأولى (T4)، الأضراس الثانية (T5)، الأضراس الأولى (T6)، الأضراس الثانية (T7)، والأضراس الثالثة (T8) على التوالي، وتظهر النتائج في الجدول 4.
باختصار، طريقتنا قادرة على تحديد المواقع النسبية للأسنان مع تحقيق دقة أعلى، والحصول على نتائج تقسيم محددة وفقًا لتدوين FDI ذو الرقمين، وتحقيق كفاءة تقسيم أعلى مع آفاق تطبيق سريري أفضل.
باستخدام مهمة تقسيم الأسنان كمثال، قمنا بالتحقق من قابلية تعميم الطريقة المقترحة على بيانات CBCT المختلفة في مجموعة البيانات المستقلة التي تم إنشاؤها أعلاه، وتظهر نتائج التحقق في الجدول 5. يمكن ملاحظة أن طريقتنا تحقق أداءً جيدًا على بيانات CBCT باستخدام بروتوكولات صور مختلفة، حيث تمكنت من الحصول على أفضل أداء على مجموعة بيانات LargeV، حيث وصلت إلى متوسط درجة Dice قدره 96.9%.
أخيرًا، نتحقق تجريبيًا من كفاءة ودقة طريقة التقسيم الآلي بالكامل المقترحة مقارنة بطريقة التحديد اليدوي التقليدية من قبل الخبراء. تظهر النتائج التجريبية في الجدول 6، حيث يمكننا أن نرى أن طريقتنا يمكن أن تحقق كفاءة أعلى بمئات المرات ونفس دقة التقسيم مثل الخبير.

نقاش

في هذه الدراسة، نقدم طريقة تعتمد على التعلم العميق لتقسيم الأسنان، والعظام الفكية العلوية والسفلية، والجيوب الأنفية الفكية، وقناة العصب الفكي في صور CBCT الفموية. تتميز طريقتنا بعدة ميزات تميزها عن الطرق الحالية.
أولاً، نحقق تقسيمًا من النهاية إلى النهاية لجميع الهياكل الضرورية المطلوبة لتخطيط جراحة زراعة الأسنان والملاحة الروبوتية لزراعة الأسنان. هذه الميزة حاسمة لأنها تسمح بتدفق عمل سلس وفعال في تخطيط العلاج دون الحاجة إلى التوضيح اليدوي أو خطوات تقسيم فردية متعددة. تظهر نتائج التجارب
الشكل 5. نتائج التقسيم لبيانات CBCT المختلفة (تظهر الأسنان بنفس الرقم بنفس اللون عند عرضها باستخدام علاقة رسم الألوان نفسها)
الجدول 4. دقة تقسيم Dice للأسنان في مواقع مختلفة
الطرق T1 T2 T3 T4 T5 T6 T7 T8
طريقتنا
الجدول 5. أداء دقة تقسيم الطريقة المقترحة لتقسيم الأسنان على صور CBCT من مصادر مختلفة
الشركة المصنعة اسم طراز الشركة المصنعة Dice/% mloU/% HD/mm ASD/mm
Carestream Health CS 9300، CS 9301
Imaging Sciences International 9-17
J.Morita.Mfg.Corp.
LargeV HighRes3D، SMART3D
NewTom NTVGiMK4، NTVGiEVO، NT5G
NNT NTVGiEVO
PaloDEx Group Oy ORTHOPANTOMOGRAPH OP 3D
RAY Co., Ltd. RAYSCAN N Alpha Plus
Sirona ORTHOPHOS SL
Vatech Company Limited PHT-35LHS
YOFO Pirox-R
النص الغامق يمثل أعلى قيمة في عموده
الجدول 6. مقارنة كمية لدقة التقسيم ووقت التقسيم بين نظام الذكاء الاصطناعي الخاص بنا وخبير الأسنان (ثلاث صور CBCT مختارة عشوائيًا من مجموعة البيانات)
العناصر الذكاء الاصطناعي الخبير الذكاء الاصطناعي المساعد + الضبط اليدوي
الوقت 240 5.6
Dice/% 92.6
النص الغامق يمثل أعلى قيمة في عموده
أن نهجنا يمكن أن يحسن بشكل كبير الكفاءة والدقة مقارنة بالخبراء الذين يحددون ROI يدويًا باستخدام البرمجيات الحالية.
ثانيًا، قمنا بتطوير خوارزمية تكيفية يمكنها التعامل بكفاءة مع التغيرات في صور CBCT المأخوذة من شركات تصنيع مختلفة. هذه التكيف أمر حاسم لأن صور CBCT قد تظهر اختلافات في جودة الصورة، والدقة، والضوضاء، والتباين بسبب اختلافات في بروتوكولات الاستحواذ والمعدات، والطرق الحالية ليست موجهة لصور CBCT، مما يجعلها أقل قابلية للتعميم وتتطلب زيادة في حجم البيانات لتحسين قابلية تطبيق الطريقة. من خلال التكيف مع هذه التغيرات، تتمكن طريقتنا من تحقيق نفس أو حتى أفضل دقة تقسيم على مجموعة بيانات تدريب أصغر. تظهر النتائج التجريبية أن طريقتنا تظهر أداءً قويًا على بيانات من عدة شركات تصنيع CBCT، مما يحسن متوسط درجة Dice بمقدار في مهمة تقسيم الأسنان الأكثر هيمنة مقارنة بأفضل طريقة متاحة، ومن خلال تطبيق طريقة المعالجة المسبقة التكيفية المقترحة، تحقق أيضًا تحسينًا في متوسط درجة Dice قدره مقارنة بنفسها.
مساهمة مهمة في دراستنا هي قدرة طريقة تقسيم الأسنان المقترحة على الحصول على نتائج تصنيف الأسنان بناءً على نظام الترقيم ثنائي الرقم FDI. هذه الميزة تمكن من التعرف التلقائي على الأسنان المفقودة، وهو جانب مهم من التحليل والعلاج السني. غالبًا ما تفتقر الطرق الحالية إلى القدرة على التقاط المعلومات بدقة حول الأسنان المفقودة أو تتطلب استخدام نماذج المسح الفموي مما قد يجعل التطبيق العملي لل
الخوارزمية صعبًا ويجعل من المستحيل تحديد واختيار أسنان معينة بدقة أثناء التفاعل مع البرمجيات. إن القدرة على التقاط المعلومات بدقة حول الأسنان المفقودة تجعل طريقتنا أكثر ملاءمة للتقييم الشامل للأسنان.
لتقييم أداء طريقتنا، أجرينا تجارب واسعة وقارناها بالتقنيات الحالية. تظهر النتائج فعالية ودقة طريقتنا في تقسيم الأسنان، والعظام الفكية العلوية والسفلية، والجيوب الأنفية الفكية، وقناة العصب الفكي، مع متوسط درجة Dice إجمالية قدرها والقدرة على تحقيق أحدث التقنيات في أهم مهام تقسيم الأسنان، مما يدل على قوة وقابلية تعميم طريقتنا في التقاط الهياكل التشريحية ذات الأهمية.
بالإضافة إلى ذلك، قمنا بتقييم تأثير الخوارزمية التكيفية على صور CBCT المختلفة المأخوذة من شركات تصنيع مختلفة. تظهر النتائج تفوق نهجنا التكيفي مقارنة بالطرق التقليدية، حيث يحقق باستمرار دقة تقسيم عالية بغض النظر عن خصائص تصوير نظام CBCT.
على الرغم من أن نتائج بحثنا تعد بنتائج تنافسية، إلا أن هناك بعض القيود التي يجب الاعتراف بها. أولاً، يتم إجراء التقييم على مجموعة بيانات محددة، والتي لا تشمل عيوب المعادن الشديدة أو تشويش الصورة الناتج عن مشاكل حركة المريض. لذلك، يجب إجراء مزيد من الاستكشاف حول قابلية تعميم هذه الطريقة على مجموعة سكانية أوسع ومجموعة متنوعة من السيناريوهات السريرية. ثانيًا، على الرغم من أن خوارزميتنا التكيفية أظهرت أداءً فعالًا، لا يزال هناك مجال للتحسين، مثل عيوب المعادن الشديدة في الصور، معالجة قيم تدرج الصورة في صور CBCT المعتمدة على التعلم العميق، ودمج نتائج التقسيم مع التجارب في المختبر.

استنتاج

في هذه الورقة، نقدم دراسة شاملة حول تقسيم هياكل زراعة الأسنان ذات الأهمية في صور CBCT الفموية باستخدام تقنيات التعلم العميق. توفر طريقتنا المقترحة العديد من الميزات الجديدة وتظهر تحسينًا كبيرًا مقارنة بالطرق الحالية.
لقد طورنا بنجاح طريقة تقسيم من النهاية إلى النهاية تحتوي على المعلومات الضرورية المطلوبة لتخطيط جراحة زراعة الأسنان. على عكس الطرق الحالية التي تتطلب تحديدًا يدويًا أو تقسيمًا في خطوات متعددة، تبسط طريقتنا عملية تقسيم الصورة وتخطيط الجراحة وتكون أساسًا للتخطيط الآلي بالكامل لجراحة زراعة الأسنان، مما يوفر للعيادة وقتًا وجهدًا ثمينين.
بالإضافة إلى ذلك، نقترح خوارزمية تكيفية قادرة على التعامل مع التغيرات الكامنة في صور CBCT المأخوذة من شركات تصنيع مختلفة. يضمن هذا التكيف اتساق وموثوقية طرق التعلم العميق على صور CBCT متعددة، متجاوزًا التحديات التي تطرحها اختلافات جودة الصورة، والدقة، والضوضاء، والتباين.
مساهمة ملحوظة في عملنا هي الاستخراج المباشر لنتائج تقسيم الأسنان بناءً على نظام الترقيم ثنائي الرقم FDI. هذا يمكّن من التعرف التلقائي على الأسنان المفقودة، وهو جانب رئيسي من التحليل والعلاج السني. على عكس الطرق الحالية، تلتقط طريقتنا بنجاح المعلومات حول الأسنان المفقودة، مما يحسن شمولية التقييمات السنية.
أظهر تقييمنا التجريبي الشامل ومقارنة مع التقنيات الحالية تفوق ودقة طريقتنا في تقسيم الأسنان، والعظام الفكية العلوية والسفلية، والجيوب الأنفية الفكية، وقناة العصب الفكي. تؤكد النتائج قوة طريقتنا في التقاط الهياكل التشريحية ذات الأهمية، حتى في مواقع الأسنان المختلفة.
على الرغم من أن دراستنا أسفرت عن نتائج ملحوظة، من المهم الاعتراف بحدودها. تم إجراء تقييمنا على مجموعة بيانات محددة، وهناك حاجة إلى مزيد من التحقيق لتقييم إمكانية تعميم نهجنا على مجموعات سكانية وسيناريوهات سريرية مختلفة، وللتحقق من كفاءة ودقة الطريقة من خلال دمجها بشكل أوسع مع الممارسة السريرية. بالإضافة إلى ذلك، هناك إمكانية لتحسين إضافي في التعامل مع التباينات الشديدة في ميزات صور CBCT، والتي يجب معالجتها في الدراسات المستقبلية.
في الختام، تقدم دراستنا طريقة جديدة تعتمد على التعلم العميق لتجزئة الهياكل في صور CBCT الفموية. توفر القدرة على التجزئة من النهاية إلى النهاية لجميع الهياكل المطلوبة لجراحة زراعة الأسنان، والقدرة على التجزئة بناءً على ترميز FDI ذو الرقمين، والقدرة على التكيف مع صور CBCT المختلفة، والقدرة على استخراج معلومات حول الأسنان المفقودة مزايا كبيرة مقارنة بالطرق الحالية. تظهر النتائج التجريبية فعالية ودقة نهجنا والقدرة على تقليل الوقت المستغرق في التخطيط قبل الجراحة بشكل كبير من قبل الجراح عند إجراء الجراحة باستخدام روبوت زراعة الأسنان. يجب أن تركز الأبحاث المستقبلية على التحقق من طريقتنا على مجموعات بيانات أكبر وأكثر تنوعًا ومعالجة الحدود المحددة لتعزيز قوتها وملاءمتها في الممارسة السريرية.

طرق البحث

طريقة المعالجة التكيفية لصورة CBCT

تستخدم صور CBCT مقياس قيمة كثافة رمادية، وهو مشابه لقيمة HU في الأشعة المقطعية العادية. ومع ذلك، فإن الفرق هو أن قيمة HU ثابتة، وعادة ما يتم تعيينها إلى ويتفاوت نطاق قيم الرمادي والتباين في صور CBCT اعتمادًا على طريقة الاستيفاء التي اختارها مصنع المعدات، ومعدات التصوير، والمعلمات المختارة أثناء المسح ومجال الرؤية، إلخ. علاوة على ذلك، فإن الفوكسيلا التي تحتوي على الأسنان في صور CBCT تمثل حوالي من الصورة الكاملة، مما يسبب توزيع غير متوازن للفئات ويبطئ سرعة ودقة تدريب الشبكة. لا توفر الطرق الحالية معالجة مستهدفة للخصائص المذكورة أعلاه لصور CBCT، بل تستخدم فقط طرق معالجة الصور العامة، التي تحذف البيانات الأولى والأخيرة للصورة، ثم تقوم بإجراء تنظيم.
بعد إجراء إحصائيات توزيع قيمة CT على مجموعة البيانات الحالية، قمنا برسم الرسم البياني لتوزيع قيمة الرمادي لكل بيانات، وتظهر الأشكال 6a-d عدة توزيعات نموذجية لقيم الرمادي لصور CBCT في مجموعة البيانات. يمكن ملاحظة أن كل صورة تحتوي عادةً على قمة أو قمتين. بناءً على الصورة الأصلية، يمكن ملاحظة أن القمم تمثل الهواء في الصورة، بينما تمثل القمة قيمة الرمادي للأنسجة الرخوة. الهدف من معالجة الصورة هو حذف البيانات ذات القيمة الرمادية الأقل من أنسجة العظام ثم إجراء معالجة تنظيمية.
عند النظر إلى الرسم البياني الإحصائي، يمكن ملاحظة أن صور CBCT تختلف في نطاق الرمادي وأن قمة أو قمتين تظهران لأن الفوكسيلا التي تظهر خارج مجال الرؤية والفوكسيلا التي تمثل الهواء لها نفس قيمة الرمادي، على التوالي؛ من ناحية أخرى، نظرًا لأن معظم الصور هي أنسجة رخوة، تظهر قمة، بينما لا توجد تقلبات ملحوظة للعظام والأسنان والترميمات الاصطناعية. لذلك، يمكن الحصول على متوسط قيمة الرمادي للأنسجة الرخوة من خلال حساب نقطة المنتصف لقمة الأنسجة الرخوة في الرسم البياني، بينما تكون قيمة الرمادي المقطوعة للعظام هي:
حيث هو الفرق بين قيمة الرمادي للأنسجة الرخوة وقيمة الرمادي للعظام.
للحصول على قيم و ، نعتبر الرسم البياني لتوزيع الرمادي كإشارة رقمية وندخل طرق معالجة المجال الترددي لمعالجة الإشارة، وأخيرًا نحصل على القيم المطلوبة. الطريقة التفصيلية هي كما يلي.
أولاً، نعتبر الرسم البياني المحسوب لتوزيع الرمادي كمنحنى إشارة يمثل تردد القيم الرمادية الملتقطة لمزيد من التحليل. لتحسين جودة المنحنى، يتم تطبيق فلتر وسطي لإزالة القمم أو الضوضاء.
بعد ذلك، يتم تحديد نقطة المنتصف لقمة الأنسجة الرخوة على منحنى الإشارة المفلترة، وتكون هذه النقطة هي التي سيتم حسابها. للقضاء على تأثير تقلبات المنحنى على حساب القمة، من الضروري تعيين حد أدنى لعرض وارتفاع القمة المستهدفة. في هذه التجربة، تم تعيين العرض إلى 5، وتم تعيين الارتفاع إلى من إجمالي عدد البكسلات في الصورة من خلال التحليل الإحصائي لمجموعة البيانات المستخدمة.
بعد ذلك، يتم تعريف منطقة الاهتمام حول القمة عن طريق اختيار عرض 200 وحدة على كلا الجانبين من نقطة المنتصف للقمة. نفترض أن القمة في هذه المنطقة تتبع التوزيع الغاوسي، ونختار دالة كثافة التوزيع الغاوسي لنمذجة منطقة الاهتمام. المعادلة الوظيفية هي:
حيث هو نقطة المنتصف للموجة، و هو الانحراف المعياري، و هو السعة.
أخيرًا، بناءً على دالة التوزيع الغاوسي الملائمة، يتم الحصول على العلاقة بين تباين قيمة الرمادي للأنسجة الرخوة والعظام و التي سيتم حسابها تجريبيًا.
توضح الشكل 7 تدفق المعالجة أعلاه، حيث المنحنى الأزرق هو الرسم البياني الأصلي، والمنحنى الأحمر هو المنحنى بعد التصفية المتوسطة، والمنحنى الأخضر هو دالة كثافة التوزيع الغاوسي الملائمة، والجزء الأسود هو نقطة المنتصف لقمة الموجة.
تظهر الشكل 8 شرائح صورة CBCT بعد تطبيق طريقة المعالجة السابقة، فيما يتعلق بـ و .

هيكل الشبكة

بالنسبة لمرحلتين من تجزئة الهيكل العظمي وتجزئة الأنبوب العصبي، اخترنا شبكة 3D-UNet كهيكل الشبكة. تم اختيار شبكة Swin-UNETR لمرحلة تجزئة الأسنان لتحقيق هذه المهمة.
الشكل 6 شرائح صورة CBCT مع مجالات رؤية مختلفة، ونطاق قيمة الرمادي ونسبة التباين والرسم البياني الرمادي المقابل
نظرًا لقيود حجم نواة الالتفاف وعدد قنوات الفلتر في الشبكات العصبية التلافيفية، فإن المجال الاستقبالي محدود، مما يجعل من الصعب التقاط وتخزين معلومات الاعتماد على المدى الطويل. من أجل التقاط الاعتماد على المدى الطويل، عادةً ما يكون من الممكن فقط زيادة حجم نواة الالتفاف أو عدد القنوات، مما قد يؤدي إلى اختفاء التدرج أو كوارث الأبعاد. فيما يتعلق بالمشكلة التي سيتم حلها في هذه الورقة، ستجعل المشاكل المذكورة أعلاه
من الصعب الحصول على العلاقة بين سنين بعيدتين عند إجراء تجزئة الأسنان، مما يؤدي إلى انخفاض دقة التجزئة. تتطلب طرق تجزئة الأسنان المعتمدة على الشبكات العصبية التلافيفية الحالية معلومات ميزات أخرى كمدخلات، مثل مراكز الأسنان التي تم الحصول عليها مسبقًا، ومواقع الأسنان التي تم الحصول عليها باستخدام نماذج المسح الفموية، إلخ.
الهيكل المحول في مجال معالجة اللغة الطبيعية قادر بطبيعته على التقاط معلومات الاعتماد على المدى الطويل، وبالتالي
الشكل 7 الرسم البياني لتوزيع الرمادي لصور CBCT مع نتائج المعالجة المسبقة
الشكل 8 صور عند اختيار معلمات معالجة مسبقة مختلفة بشكل منفصل
تحقيق نجاح كبير في مجال رؤية الكمبيوتر في السنوات الأخيرة. في مجال تجزئة الأسنان، تعتمد موضع الأسنان وفقًا لترميز FDI ذو الرقمين وتحديد الأسنان المفقودة بشكل رئيسي على أسنانها المجاورة ومعلومات الأسنان العامة، مما يجعل من الضروري أن يكون للشبكة العميقة المستخدمة أيضًا القدرة على النمذجة بين البكسلات على مسافات طويلة وتتطلب من الشبكة أن تكون قادرة على تعلم الميزات المحلية للصورة في نفس الوقت بسبب القيم الرمادية القريبة والحدود الضبابية للأسنان والفكين في الجزء الجذري من السن. لذلك، اخترنا شبكة Swin-UNETR التي أظهرت أداءً ممتازًا في التجزئة الدلالية لأورام الدماغ، كشبكة التجزئة. يمكن أن تكون هذه الطريقة
نموذج العلاقات بين البكسلات البعيدة واستخراج المعلومات المحلية في نفس الوقت، وهو أمر حاسم لتوقع موضع الأسنان.
يتكون نموذج Swin-UNETR من المكونات التالية:
Swin-Transformer: كمستخرج ميزات، يستخدم لاستخراج تمثيلات ميزات ذات مغزى من الصورة المدخلة. يعتمد على بنية Swin-Transformer ويستخدم نوافذ منزلقة غير متداخلة على مستويات متعددة لاستخراج الميزات من خلال آلية انتباه ذاتي وشبكة متصلة بالكامل. تأخذ هذه الطريقة في استخراج الميزات في الاعتبار المعلومات السياقية العالمية والمعلومات التفصيلية المحلية للصورة، مما يساعد على تحسين أداء تقسيم المعاني.
الجدول 7. اختيار معلمات الشبكة الفائقة
أبعاد التضمين حجم الميزة عدد الكتل حجم النافذة عدد الرؤوس المعلمات FLOPS
768 48 62.19 M 394.84 G
الجدول 8. وصف وخصائص مجموعات بيانات CBCT من مؤسسات طبية مختلفة (حجم الفوكسل متاح فقط في مجموعة البيانات العامة)
الشركة المصنعة اسم طراز الشركة المصنعة الجنس (أنثى/ ذكر) جهد الأنبوب/kVp تيار الأنبوب المسافة/ مم متوسط العمر/ سنوات عدد CBCT (الحالات)
Carestream Health CS 9300، CS 9301 90 10 0.18 40.1 15
دولي
J.Morita.Mfg.Corp. 2F/2M 89 7 0.25 25.3 4
LargeV HighRes3D، SMART3D 100 4 0.25 44.5 112
NewTom NTVGiMK4، NTVGiEVO، NT5G 22F/13M 110 1، 2، 3، 4، 5، 7، 9، 10 0.3، 0.25 42.1 35
NNT NTVGiEVO 7M 110 3، 7، 8، 9، 10، 11، 14 0.3 31.2 7
PaloDEx Group Oy ORTHOPANTOMOGRAPH OP 3D 5M 95 3، 8 0.25 44.2 7
RAY Co.، Ltd. RAYSCAN N Alpha Plus 1F/2M 90 10 1 3
Sirona ORTHOPHOS SL 85 10 0.22 46.7 10
Vatech Company Limited PHT-35LHS 1F/3M 94 8 0.2 47.8 4
YOFO Pirox-R 29F/23M 90 8 0.25 40.1 52
0.4 91
0.4 97
جزء التشفير: يتضمن عدة وحدات أساسية من UNetR لتقليل أبعاد الميزات تدريجياً. يقوم المشفر باستخراج تمثيل ميزات أكثر تجريدًا وغنيًا دلاليًا من ميزات الخرج من Swin-Transformer من خلال عدة طبقات من عمليات الالتفاف والتطبيع. يحتوي كل كتلة مشفرة على عمليات التفاف ودمج متبقي، مما يساعد على الحفاظ على معلومات الميزات المهمة والتخفيف من مشكلة اختفاء التدرج.
جزء فك التشفير: يتضمن عدة كتل تصعيد UNetR لاستعادة أبعاد الميزات تدريجياً إلى حجمها الأصلي. يستعيد فك التشفير المعلومات التفصيلية المفقودة من خلال دمج ميزات المشفر مع ميزات عالية الدقة من خلال عمليات التصعيد والاتصالات القفزية. هذا يحسن دقة ووضوح نتائج التقسيم.
طبقة الخرج: تستخدم لتوليد نتائج توقع التقسيم النهائية. تقوم طبقة الخرج بربط ميزات فك التشفير بتوزيع الاحتمالات للفئة المستهدفة من خلال سلسلة من عمليات الالتفاف والتطبيع. يمكن استخدام النتائج النهائية للتقسيم الدلالي على مستوى البكسل.
تستفيد بنية الشبكة لنموذج Swin-UNETR بشكل كامل من Swin-Transformer لتمكين مهام التقسيم الدقيقة مع تصميم المشفر-فك التشفير لبنية UNet مع الحفاظ على القدرة على الإدراك العالمي. في هذه المهمة، يتم عرض المعلمات الفائقة المختارة في الجدول 7.

دالة الخسارة

قمنا بوزن نتائج خسارة CE وخسارة Dice معًا كدالة خسارة أثناء التدريب.
حيث و هما أوزان خسارة CE وخسارة Dice،
على التوالي، والتي تم تعيينها إلى 1 في هذه التجربة.
حيث هو عدد الفئات؛ هو العدد الإجمالي للفوكسلات؛ هو وزن الفئة هو احتمال أن يكون الفوكسل -th ينتمي إلى الفئة كما هو ناتج من النموذج؛ هو احتمال أن يكون الفوكسل -th ينتمي إلى الفئة بعد ترميز الحقيقة الأرضية باستخدام كود one-hot.

مجموعة البيانات

في هذه الدراسة، جمعنا ما مجموعه 451 بيانات CBCT مع قوس الأسنان بالكامل من 10 مؤسسات طبية مختلفة ومجموعات بيانات متاحة للجمهور، بما في ذلك 11 مصنعًا لـ CBCT و 13 طريقة تصوير، لتقييم دقة الطريقة المقترحة، مستبعدين تشويش CBCT الناتج عن حركة المريض أو معلمات التصوير غير الكافية أثناء عملية التصوير. تم عرض بروتوكولات التصوير التفصيلية (أي، دقة الصورة، الشركة المصنعة، اسم طراز الشركة المصنعة، ومعلومات جرعة الإشعاع لتيار الأنبوب وجهد الأنبوب) وتوزيع عمر المريض والجنس للبيانات في الجدول 8. في الوقت نفسه، جمعنا أيضًا ما مجموعه 55 بيانات CBCT من المؤسسات الطبية العشر المذكورة أعلاه، بما في ذلك 11 مصنعًا لـ CBCT، للتحقق من عمومية الطريقة المقترحة.
تم وضع علامات على صور CBCT تحت إشراف أطباء الأسنان المحترفين للحصول على المعيار الذهبي. تم تقسيم مجموعة البيانات عشوائيًا إلى ثلاث فئات: مجموعة التدريب، مجموعة التحقق، ومجموعة الاختبار، بينما تمت إزالة جميع المعلومات الشخصية للمرضى.
تم توزيع الدقة الفيزيائية لصور CBCT التي جمعناها من 0.18 إلى 1.0 مم. نظرًا للتطبيق السريري وكفاءة معالجة البيانات، كان من الضروري أولاً إعادة أخذ عينات البيانات وفقًا للدقة الفيزيائية 0.4 مم. تم معالجة بيانات CBCT المعاد أخذ عينات منها أولاً بواسطة طريقة المعالجة المسبقة المقترحة أعلاه، وكانت قيم التدرج الرمادي المحتفظ بها تتراوح من قيم التدرج الرمادي للعظام التي تم الحصول عليها من المعالجة المسبقة إلى من الإجمالي، ثم تم تطبيعها للحصول على صورة قياسية بمتوسط 0 وانحراف معياري 1. خلال عملية التدريب، تم قص بيانات بحجم عشوائيًا من الصور ثلاثية الأبعاد كبيانات تدريب. من أجل تحسين عمومية النموذج، نطبق أيضًا طرق عكس المرآة العشوائية وإضافة قناع عشوائي لتعزيز البيانات، حيث يتم تنفيذ عكس المرآة العشوائية على طول ثلاثة محاور وعملية إضافة القناع العشوائي هي عملية قص عشوائية على بيانات التدريب، حيث يتم قص حجم واستبداله بـ 0. عدد القصات في نطاق وموقع القصات عشوائي.

معايير التقييم

اخترنا استخدام معامل تشابه Dice (DSC)، mloU، HD، وASD لتقييم نتائج التقسيم بدقة.
يستخدم DCS لقياس التشابه بين مجموعتين، ويتراوح نطاق قيمة DSC بين 0 و 1، حيث تشير 1 إلى تداخل كامل بين المجموعتين A و B، و 0 تشير إلى عدم وجود تداخل. في مهام تقسيم الصور، و تمثل عادةً نتائج التقسيم المتوقعة والتعليقات التوضيحية الفعلية للتقسيم، على التوالي.
IoU هو نسبة التقاطع مقسومة على الاتحاد، وmloU هو متوسط جميع فئات loU، والذي يستخدم لقياس أداء التقسيم للنموذج على كل فئة. كلما زادت القيمة، كان أداء التقسيم للنموذج أفضل على الفئات المختلفة.
يستخدم HD لقياس أقصى فرق بين مجموعتين، أي، القيمة القصوى لأقصر مسافة من نقطة في مجموعة واحدة إلى مجموعة أخرى، مما يعكس أسوأ حالة بين المجموعتين، أي، أقصى مسافة بين نتيجة تقسيم النموذج والتعليق الفعلي. كلما كانت قيمة HD أصغر، كانت المسافتان أقرب.
ASD هو متوسط المسافة السطحية بين مجموعتين، وهو متوسط أقصر مسافة من كل نقطة في مجموعة واحدة إلى مجموعة أخرى. يستخدم لتقييم متوسط الخطأ في حدود التقسيم، وهو متوسط المسافة بين نتيجة تقسيم النموذج والتعليق الفعلي. يشير ASD أصغر إلى حدود تقسيم أقرب بين المجموعتين.

تفاصيل التنفيذ

اخترنا إطار التدريب PyTorch 2.0.0 مع AdamW كمحسن، ومعدل تعلم ثابت قدره وعامل انحلال الوزن قدره . تم تدريب الشبكة على اثنين من وحدات معالجة الرسوميات Nvidia GeForce RTX 3090 Ti في بيئة Linux بحجم دفعة 2 و 300 دورة.

شكر وتقدير

تم دعم هذا العمل من قبل المؤسسة الوطنية للعلوم الطبيعية في الصين (رقم 81970987).

مساهمات المؤلفين

يو ليو: التصور، المنهجية، البرمجيات، التحليل الرسمي، الكتابة – المسودة الأصلية، التصور. روي شيا: التحقق، تنسيق البيانات، الكتابة – المراجعة والتحرير. ليفينغ وانغ، هونغبينغ ليو، تشين ليو: التحقيق. ييمين زهاو: الإشراف، إدارة المشروع. شيزهو باي: الحصول على التمويل. وينيونغ ليو: الإشراف.

معلومات إضافية

المصالح المتنافسة: يعلن المؤلفون عدم وجود مصالح متنافسة.
الموافقة الأخلاقية: هذه المقالة لا تحتوي على أي دراسات مع مشاركين بشريين أو حيوانات أجراها أي من المؤلفين.
الموافقة المستنيرة: هذه المقالة لا تحتوي على بيانات مرضى تم جمعها من قبل أي من المؤلفين.

REFERENCES

  1. Bai, S. Z. et al. [Animal experiment on the accuracy of the Autonomous Dental Implant Robotic System]. Zhonghua Kou Qiang Yi Xue Za Zhi 56, 170-174 (2021).
  2. Jia, S., Wang, G., Zhao, Y. & Wang, X. Accuracy of an autonomous dental implant robotic system versus static guide-assisted implant surgery: a retrospective clinical study. J. Prosthet. Dent. https://doi.org/10.1016/j.prosdent.2023.04.027 (2023).
  3. Li, Z., Xie, R., Bai, S. & Zhao, Y. Implant placement with an autonomous dental implant robot: a clinical report. J. Prosthet. Dent. https://doi.org/10.1016/ j.prosdent.2023.02.014 (2023).
  4. Wu, Q., Zhao, Y. M., Bai, S. Z. & Li, X. Application of robotics in stomatology. Int. J. Comput. Dent. 22, 251-260 (2019).
  5. Cheng, K. J. et al. Accuracy of dental implant surgery with robotic position feedback and registration algorithm: an in-vitro study. Comput. Biol. Med. 129, 104153 (2021).
  6. Tao, B. et al. Accuracy of dental implant surgery using dynamic navigation and robotic systems: an in vitro study. J. Dent. 123, 104170 (2022).
  7. Bolding, S. L. & Reebye, U. N. Accuracy of haptic robotic guidance of dental implant surgery for completely edentulous arches. J. Prosthet. Dent. 128, 639-647 (2022).
  8. Yang, X. et al. ImplantFormer: vision transformer based implant position regression using dental CBCT data. Accessed July 3, 2023. Preprint at http:// arxiv.org/abs/2210.16467 (2023).
  9. Płotka, S. et al. Convolutional neural networks in orthodontics: a review. Accessed July 3, 2023. Preprint at http://arxiv.org/abs/2104.08886 (2021).
  10. Duy, N. T., Lamecker, H., Kainmueller, D. & Zachow, S. Automatic detection and classification of teeth in CT data. In Medical Image Computing and ComputerAssisted Intervention – MICCAI 2012, Lecture Notes in Computer Science (eds Ayache, N., Delingette, H., Golland, P. & Mori, K.) 609-616 (Springer, 2012).
  11. Barone, S., Paoli, A. & Razionale, A. V. CT segmentation of dental shapes by anatomy-driven reformation imaging and B-spline modelling. Int. J. Numer. Method. Biomed. Eng. 32, e02747 (2016).
  12. Sepehrian, M., Deylami, A. M. & Zoroofi, R. A. Individual teeth segmentation in CBCT and MSCT dental images using watershed. In 2013 20th Iranian Conference on Biomedical Engineering (ICBME) 27-30 (IEEE, 2013).
  13. Gao, H. & Chae, O. Individual tooth segmentation from CT images using level set method with shape and intensity prior. Pattern Recognit. 43, 2406-2417 (2010).
  14. Qian, J. et al. An automatic tooth reconstruction method based on multimodal data. J. Vis. 24, 205-221 (2021).
  15. Poonsri, A., Aimjirakul, N., Charoenpong, T. & Sukjamsri, C. Teeth segmentation from dental X-ray image by template matching. In 2016 9th Biomedical Engineering International Conference (BMEICON) 1-4 (IEEE, 2016).
  16. Akhoondali, H., Zoroofi, R. A. & Shirani, G. Rapid automatic segmentation and visualization of teeth in CT-scan data. J. Appl. Sci. 9, 2031-2044 (2009).
  17. Zou, X., Liu, W., Wang, J., Tao, R. & Zheng, G. ARST: auto-regressive surgical transformer for phase recognition from laparoscopic videos. Accessed July 3, 2023. Preprint at http://arxiv.org/abs/2209.01148 (2022).
  18. Huang, S., Xu, T., Shen, N., Mu, F. & Li, J. Rethinking few-shot medical segmentation: a vector quantization view.
  19. Zhang, J., Xie, Y., Xia, Y. & Shen, C. DoDNet: learning to segment multi-organ and tumors from multiple partially labeled datasets. Accessed July 3, 2023. Preprint at http://arxiv.org/abs/2011.10217 (2020).
  20. Wang, R. et al. Medical image segmentation using deep learning: a survey. IET Image Process. 16, 1243-1267 (2022).
  21. Zhang, R. et al. Multiple supervised residual network for osteosarcoma segmentation in CT images. Comput. Med. Imaging Graph. 63, 1-8 (2018).
  22. Tao, R., Liu, W. & Zheng, G. Spine-transformers: vertebra labeling and segmentation in arbitrary field-of-view spine CTs via 3D transformers. Med. Image Anal. 75, 102258 (2022).
  23. Cai, Y. et al. Swin Unet3D: a three-dimensional medical image segmentation network combining vision transformer and convolution. BMC Med. Inf. Decis. Mak. 23, 33 (2023).
  24. Cao, H. et al. Swin-Unet: Unet-Like Pure Transformer for Medical Image Segmentation. In Computer Vision – ECCV 2022 Workshops. ECCV 2022. Lecture Notes in Computer Science, Vol. 13803 (eds. Karlinsky, L., Michaeli, T. & Nishino, K.) https://doi.org/10.1007/978-3-031-25066-8_9 (Springer, Cham, 2023).
Fully automatic AI segmentation of oral surgery-related tissues based on… Liu et al.
12
25. Hatamizadeh, A. et al. Swin UNETR: Swin Transformers for Semantic Segmentation of Brain Tumors in MRI Images. https://arxiv.org/abs/2201.01266 (2022).
26. Milletari, F., Navab, N. & Ahmadi, S.-A. V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation. 2016 Fourth International Conference on 3D Vision (3DV), Stanford, CA, USA. 565-571, https://doi.org/10.1109/3DV.2016.79 (2016).
27. Cui, Z. et al. A fully automatic AI system for tooth and alveolar bone segmentation from cone-beam CT images. Nat. Commun. 13, 2096 (2022).
28. Chen, Y. et al. Automatic segmentation of individual tooth in dental CBCT images from tooth surface map by a multi-task FCN. IEEE Access 8, 97296-97309 (2020).
29. Jaskari, J. et al. Deep learning method for mandibular canal segmentation in dental cone beam computed tomography volumes. Sci. Rep. 10, 5842 (2020).
30. Verhelst, P. J. et al. Layered deep learning for automatic mandibular segmentation in cone-beam computed tomography. J. Dent. 114, 103786 (2021).
31. Chung, M. et al. Pose-aware instance segmentation framework from cone beam CT images for tooth segmentation. Comput. Biol. Med. 120, 103720 (2020).
32. Cui, Z., Li, C. & Wang, W. ToothNet: automatic tooth instance segmentation and identification from cone beam CT Images. In 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 6361-6370 (IEEE, 2019).
33. Lee, J. et al. Tooth instance segmentation from cone-beam CT images through point-based detection and Gaussian disentanglement. Multimed Tools Appl. 81, 18327-18342 (2022).
34. Gerhardt, M. D. N. et al. Automated detection and labelling of teeth and small edentulous regions on cone-beam computed tomography using convolutional neural networks. J. Dent. 122, 104139 (2022).
35. Liu, J. et al. Deep learning-enabled 3D multimodal fusion of cone-beam CT and intraoral mesh scans for clinically applicable tooth-bone reconstruction. Patterns 4, 100825 (2023).
36. Nackaerts, O. et al. Segmentation of trabecular jaw bone on cone beam CT datasets: segmentation of jaw bone on CBCT datasets. Clin. Implant Dent. Relat. Res. 17, 1082-1091 (2015).
37. FDI World Dental Federation. Accessed July 11, 2023. https://web.archive.org/web/ 20070401074213/http://www.fdiworldental.org/resources/5_Onotation.html (2007).
38. Cui, Z., et al. Hierarchical morphology-guided tooth instance segmentation from CBCT images. In Information Processing in Medical Imaging, Lecture Notes in Computer Science (eds Feragen, A., Sommer, S., Schnabel, J. & Nielsen, M.) 150-162 (Springer International Publishing, 2021).
39. Isensee, F., Jäger, P. F., Kohl, S. A. A., Petersen, J. & Maier-Hein, K. H. Automated design of deep learning methods for biomedical image segmentation. Nat. Methods 18, 203-211 (2021).
40. Wu, X. et al. Center-sensitive and boundary-aware tooth instance segmentation and classification from cone-beam CT. In 2020 IEEE 17th International Symposium on Biomedical Imaging (ISBI) 939-942 (IEEE, 2020).
41. Zhang, Y. & Yu, H. Convolutional neural network based metal artifact reduction in X-ray computed tomography. IEEE Trans. Med. Imaging 37, 1370-1381 (2018).
42. Liang, X. et al. Generating synthesized computed tomography (CT) from conebeam computed tomography (CBCT) using CycleGAN for adaptive radiation therapy. Phys. Med. Biol. 64, 125002 (2019).
43. Liu, Y. et al. CBCT-based synthetic CT generation using deep-attention cycleGAN for pancreatic adaptive radiotherapy. Med. Phys. 47, 2472-2483 (2020).
44. Galibourg, A. et al. Assessment of automatic segmentation of teeth using a watershed-based method. Dentomaxillofac. Radiol. 47, 20170220 (2018).
45. Hounsfield, G. N. Computed medical imaging. Science 210, 22-28 (1980).
46. Özgün, Ç., Abdulkadir, A., Lienkamp, S. S., Brox, T. & Ronneberger, O. 3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation. International Conference on Medical Image Computing and Computer-Assisted Intervention (2016).
47. Vaswani, A. et al. Attention is All you Need. Adv. Neural Inf. Process. Syst. (2017).
48. Dosovitskiy, A. et al. An Image is Worth Words: Transformers for Image Recognition at Scale. https://arxiv.org/abs/2010.11929 (2020).
49. Han, K. et al. A survey on Vision Transformer. IEEE Trans. Pattern Anal. Mach. Intell. 45, 87-110 (2023).
50. Liu, Z. et al. Swin Transformer: Hierarchical Vision Transformer using Shifted Windows. 2021 IEEE/CVF International Conference on Computer Vision (ICCV) 9992-10002 (2021).
51. Hatamizadeh, A., Yang, D., Roth, H. R. & Xu, D. UNETR: Transformers for 3D Medical Image Segmentation. 2022 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV). 1748-1758 (2021).
Open Access This article is licensed under a Creative Commons Attribution 4.0 International License, which permits use, sharing, adaptation, distribution and reproduction in any medium or format, as long as you give appropriate credit to the original author(s) and the source, provide a link to the Creative Commons licence, and indicate if changes were made. The images or other third party material in this article are included in the article’s Creative Commons licence, unless indicated otherwise in a credit line to the material. If material is not included in the article’s Creative Commons licence and your intended use is not permitted by statutory regulation or exceeds the permitted use, you will need to obtain permission directly from the copyright holder. To view a copy of this licence, visit http:// creativecommons.org/licenses/by/4.0/.
© The Author(s) 2024
  1. Beijing Yakebot Technology Co., Ltd., Beijing, China; School of Mechanical Engineering and Automation, Beihang University, Beijing, China; State Key Laboratory of Oral & Maxillofacial Reconstruction and Regeneration, National Clinical Research Center for Oral Diseases, Shaanxi Key Laboratory of Stomatology, Digital Center, School of Stomatology, The Fourth Military Medical University, Xi’an, China and Key Laboratory of Biomechanics and Mechanobiology of the Ministry of Education, Beijing Advanced Innovation Center for Biomedical Engineering, School of Biological Science and Medical Engineering, Beihang University, Beijing, China
    Correspondence: Yimin Zhao(xaddoor@foxmail.com)
    These authors contributed equally: Yu Liu, Rui Xie

Journal: International Journal of Oral Science, Volume: 16, Issue: 1
DOI: https://doi.org/10.1038/s41368-024-00294-z
PMID: https://pubmed.ncbi.nlm.nih.gov/38719817
Publication Date: 2024-05-08

Fully automatic AI segmentation of oral surgery-related tissues based on cone beam computed tomography images

Yu Liu , Rui Xie , Lifeng Wang , Hongpeng Liu , Chen Liu , Yimin Zhao , Shizhu Bai and Wenyong Liu

Abstract

Accurate segmentation of oral surgery-related tissues from cone beam computed tomography (CBCT) images can significantly accelerate treatment planning and improve surgical accuracy. In this paper, we propose a fully automated tissue segmentation system for dental implant surgery. Specifically, we propose an image preprocessing method based on data distribution histograms, which can adaptively process CBCT images with different parameters. Based on this, we use the bone segmentation network to obtain the segmentation results of alveolar bone, teeth, and maxillary sinus. We use the tooth and mandibular regions as the ROI regions of tooth segmentation and mandibular nerve tube segmentation to achieve the corresponding tasks. The tooth segmentation results can obtain the order information of the dentition. The corresponding experimental results show that our method can achieve higher segmentation accuracy and efficiency compared to existing methods. Its average Dice scores on the tooth, alveolar bone, maxillary sinus, and mandibular canal segmentation tasks were , and , respectively. These results demonstrate that it can accelerate the development of digital dentistry.

International Journal of Oral Science (2024)16:34 ; https://doi.org/10.1038/s41368-024-00294-z

INTRODUCTION

With the widespread application of cone beam computed tomography (CBCT) technology in the oral field, digital technology has gradually become the foundation of modern dental diagnosis and treatment. As a high-resolution 3D imaging technology, CBCT images can provide detailed information on the oral anatomy, and by obtaining the complex anatomy of the oral cavity with precise positioning in the images, it can guide the surgeon in planning accurate implant position to avoid damage to surrounding nerves, blood vessels, etc. To orthodontics, accurate CBCT image segmentation can effectively avoid possible bone fenestration and dehiscence issues, and are an important prerequisite for achieving accurate evaluation of orthodontic plans, which can change the current situation of relying solely on doctor experience to estimate tooth root movement; to maxillofacial surgery, an accurate jawbone model can significantly improve the efficiency and accuracy of surgery, which is a prerequisite for scheme planning automation and surgical robot precision surgery; to dental implant surgery, with the gradual application of dental implant surgery robot technology in clinical practice in recent years, its accuracy and reliability have been effectively verified, proving that it can achieve higher implantation accuracy and less surgical time than manual implantation and navigation implantation, which is the future development direction of dental implant field, accurate segmentation results can provide a reference for the position of the mandibular nerve canal and maxillary sinus for surgery, which is the basis for computer automatic planning of implant positions and can be used to track implant positions for
accurate postoperative evaluation, at the same time, it can guide the shape of preparation holes in autologous tooth transplantation surgery. To achieve these goals, the key step is to precisely segment the oral structures of interest from CBCT images and perform 3D reconstruction.
In the field of medical imaging, the automatic segmentation of teeth, maxillary and mandibular bones, maxillary sinus, and mandibular nerve canal remains a practically and technically challenging task. Currently applied methods usually require segmentation using pre-designed manual features for tooth segmentation, such as level sets, template fitting, or manual adjustment after merely preforming threshold segmentation. However, due to the complexity of the dental occlusal surface, the flexibility of tooth topology changes, the low contrast between the root and the alveolar bone, and the uncertainty of third molar eruption make it difficult for existing segmentation methods to obtain accurate segmentation results. In addition, the efficiency of the existing tooth image segmentation methods is too low, which leads to a significant reduction in the efficiency of the dental implant surgery robot, and the professional dentist needs to spend more time on surgical planning and image processing compared to traditional freehand implants, and cannot focus on the surgical plan design.
And with the continuous development of deep learning methods, such as deep learning based on convolutional neural networks (CNNs), which have shown great robustness and accuracy in the field of medical images, a series of studies related to the application of deep learning methods for the
Fig. 1 Segmentation results of existing algorithms for tooth roots (upper and lower right regions, as can be seen, the same teeth are labeled as different teeth)
segmentation of tooth, bone, and mandibular neural tube structures have emerged. Among these studies, the tooth instance segmentation task is one of the most important and complex tasks, existing methods typically require designing complex tooth morphology representations and attaching tooth prior knowledge. Cui et al. first proposed the first network for tooth CBCT segmentation task in 2019: ToothNet. This method first extracts tooth edges from the input CBCT image, and then sends the detected edge map and the original CBCT image to the region proposal network to obtain segmentation results. Lee et al. and Gerhardt et al. proposed a method of first obtaining the position of a single tooth from the original CBCT image through object detection and other methods for segmentation, dividing the segmentation task into two stages and reducing the complexity of the network. To obtain better segmentation results, Cui et al. proposed to learn the tooth centroids and skeletons for identifying each tooth’s rough position and topological structures, respectively. Chung et al. proposed to first realign the CBCT image according to the maximum intensities projection. Liu et al.’s method requires first automatically registering the intraoral scan model obtained by an intraoral scanner or scanning traditional oral impressions with the CBCT image, and then segmenting the CBCT image based on the segmentation results of the intraoral scan model. Second, current methods are based on CNN networks, which have major problems in modeling longrange information because of the inherent properties of convolutional kernels and obtaining accurate the adjacent relationship between teeth and missing teeth. In addition, due to significant differences in grayscale range, contrast, and field of view between different CBCT images, existing methods have not optimized for this.
Summarizing the current methods, four shortcomings can be found as follows:
  1. Tooth segmentation results of existing methods do not mark the teeth according to the FDI Two-Digit Notation, so that the missing tooth information cannot be accurately detected and represented. We reproduced the method of Cui et al. which is the state-of-the-art in this field, the result is shown in Fig. 1. It cannot achieve the same classification results for teeth in the same position, which is mapped in the figure as different colors of teeth in the same position. The method proposed by Liu et al. requires first segmenting the oral scan model and registering it with the CBCT image to obtain segmentation results. This limits the application of these methods in the analysis and diagnosis of dental defects, since information on missing teeth is essential for the correct localization and assessment of the patient’s oral health status.
  2. Unlike conventional CT, different CBCT equipment manufacturers use different imaging devices and interpolation methods, and also dynamically select imaging parameters according to the patient’s condition when in use, so CBCT images will have different grayscale distribution and contrast, which makes it difficult to apply simple image
    preprocessing methods to all CBCT images; and in the tooth instance segmentation task, most of the original images are soft tissue regions that are not useful for segmentation, resulting in an unbalanced distribution of data, which is not addressed by the current methods. The actual CBCT images are shown in Fig. 2, and it can be seen that there are large differences in image contrast, field of view, etc.
  3. Existing methods are too complex and often require multiple steps to obtain good segmentation results. These methods may require the use of multiple preprocessing techniques, feature extraction methods, classifiers or models, and post-processing steps to complete the segmentation of teeth. This complexity leads to less computationally efficient methods, each step may introduce errors or mistakes, and each step in the whole process requires careful tuning and validation, which increases the difficulty of method development and application.
  4. Current methods do not perform all these segmentation tasks completely automatically in an end-to-end manner, as they usually focus on a single task, such as tooth segmentation or alveolar bone segmentation on predefined region of interest (ROI), with little research on the segmentation of the mandibular canal from the maxillary sinus.
These aforementioned drawbacks limit the accuracy, generalizability, and efficiency of these methods for oral structure segmentation and diagnostic tasks.
In this paper, we propose a deep learning-based fully automated segmentation system aimed at the precise delineation of tissues relevant to dental implantation. Specifically, we propose a data distribution histogram-based image preprocessing method by statistically analyzing the data distribution histograms of different brands of CBCT images. Based on this, we use a skeletal segmentation network to obtain maxillary and mandibular bone, tooth, and maxillary sinus segmentation results, and use the tooth and mandibular bone segmentation results as the ROI for subsequent tooth instance segmentation and mandibular neural tube segmentation, respectively. For the tooth segmentation, an attention-based deep learning network is proposed to obtain accurate tooth instance segmentation results, and the segmentation results can be labeled according to the FDI Two-Digit Notation to obtain information about the patient’s tooth missed sit; for the mandibular canal segmentation, we design a multilayer hierarchical feature extraction neural network to perform this task. The corresponding experimental results show that our method can obtain more accurate segmentation results and higher efficiency than the current methods, and the proposed data preprocessing method can effectively improve the segmentation accuracy.

RESULTS

An overview of the proposed method applied to the segmentation of oral CBCT images is illustrated in Fig. 3, it consists of three
Fig. 2 Slices of CBCT data from different sources
Fig. 3 Overview of our proposed artificial intelligence system for segmenting individual teeth, maxillary and mandibular bones, maxillary sinus, and mandibular neural tube from CBCT images (The input to the system is a 3D CBCT scan of the patient; a uniform image is first obtained using a CBCT image adaptive preprocessing algorithm, then processed by a bone extraction, neural tube extraction and tooth instance segmentation network, and finally a mask containing all structures to be segmented is output)
parts. First, the image preprocessing method proposed in this paper is applied and the preprocessed images are used for subsequent training. In the deep learning processing stage, a skeletal segmentation network is used to segment the preprocessed images to obtain four types of segmentation results: teeth, maxillary bone, mandibular bone, and maxillary sinus.
Then, the tooth segmentation results and mandibular bone segmentation results are used as ROls regions for the subsequent tasks, and the subsequent tooth instance segmentation results are combined with neural tube segmentation results and bone segmentation results to obtain the final oral CBCT image segmentation results.
Table 1 shows the segmentation accuracy achieved by our proposed method on the validation dataset, containing tooth segmentation, maxillary and mandibular segmentation, maxillary
Table 1. Segmentation accuracy of teeth, maxillary and mandibular bones, maxillary sinus, and mandibular nerve canal on the dataset
Segment classes Dice/% mloU/% HD/mm ASD/mm
Tooth
Maxillary bone
Mandible bone
Mandibular canal
Maxillary sinus
Average
sinus segmentation with mandibular neural tube segmentation. As can be seen, on the test dataset, our Al system was able to obtain an average Dice score of , an average mean Intersection over Union (mloU) of , an average Hausdorff distance (HD) of 1.62 mm , and an average surface distance (ASD) error of 0.12 mm in the segmentation of teeth task; while it was able to achieve , and in the maxillary, mandible, maxillary sinus, and mandibular neural tube segmentation tasks, respectively. Figure 4 shows the segmentation results for the teeth, maxillary and mandibular bones, maxillary sinus, and mandibular canal, respectively.
We compared our proposed method with deep learning methods from previous years, including Hi-MoToothSeg, Net, ToothNet, RELU-Net, and DenseASPP-UNet, all applying common data preprocessing methods to validate the effectiveness of our proposed method. The results are shown in Table 2, and it can be seen that our method achieves higher
Fig. 4 Results of tooth, maxillary and mandibular bone, maxillary sinus, and mandibular nerve canal segmentation
accuracy in all four metrics compared to current methods. Meanwhile, we conducted ablation experiments to verify the effectiveness of our proposed pretreatment method, and the results are shown in Table 3. It can be seen that our adaptive preprocessing method achieves a large improvement in all four metrics compared to the generic preprocessing method.
Table 2. Experimental results of quantitative comparison with existing advanced methods in terms of segmentation and detection accuracy
Methods Dice/% mloU/% HD/mm ASD/mm
Hi-MoToothSeg
nnUNet
ToothNet
RELU-Net
DenseASPP-UNet
Ours
Bold text represents the highest value in its column
Table 3. Analysis of the effect of choosing different relationships between and on segmentation accuracy during image preprocessing
Items Dice/% mloU/% HD/mm ASD/mm
Normal preprocess
Bold text represents the highest value in its column
Moreover, our method was able to obtain accurate relative tooth positions, and teeth in the same position were able to obtain the same markers, thus enabling us to assess the segmentation accuracy for each specific tooth, and the segmentation results are shown in Fig. 5. We chose the Dice coefficient as the evaluation index and evaluated the segmentation accuracy of maxillary and mandibular central incisors (T1), lateral incisors (T2), canine/acute teeth (T3), first premolars (T4), second premolars (T5), first molars (T6), second molars (T7), and third molars (T8), respectively, and the results are shown in Table 4.
In summary, our method is able to identify the relative positions of teeth while obtaining higher accuracy, obtain segmentation results marked according to the FDI Two-Digit Notation, and achieve higher segmentation efficiency with better clinical application prospects.
Taking the tooth segmentation task as an example, we validated the generalizability of the proposed method for different CBCT data on the independent validation dataset constructed above, and the validation results are shown in Table 5. It can be seen that our method achieves good performance on CBCT data using different image protocols, where it is able to obtain the best performance on the LargeV dataset, reaching an average Dice score of 96.9%.
Finally, we experimentally verify the efficiency and accuracy of the proposed fully automated end-to-end segmentation method compared to the traditional expert manual outlining method. The experimental results are shown in Table 6, where we can see that our method can achieve hundreds of times higher efficiency and the same segmentation accuracy as the expert.

DISCUSSION

In this study, we present a deep learning-based method for segmenting teeth, maxillary and mandibular bones, maxillary sinus, and mandibular nerve canal in oral CBCT images. Our method has several distinguishing features that make it different from current methods.
First, we achieve an end-to-end segmentation of all the necessary structures required for dental implant surgery planning and robotic navigation of the dental implant. This feature is critical because it allows for a streamlined and efficient workflow in treatment planning without the need for manual annotation or multiple individual segmentation steps. Experiment results show
Fig. 5 Segmentation results for different CBCT data (teeth with the same number are shown as the same color when displayed using the same color mapping relationship)
Table 4. Segmentation accuracy of Dice for teeth in different positions
Methods T1 T2 T3 T4 T5 T6 T7 T8
Ours
Table 5. Segmentation accuracy performance of the proposed tooth instance segmentation method on CBCT images from different sources
Manufacturer Manufacturer’s model name Dice/% mloU/% HD/mm ASD/mm
Carestream Health CS 9300, CS 9301
Imaging Sciences International 9-17
J.Morita.Mfg.Corp.
LargeV HighRes3D, SMART3D
NewTom NTVGiMK4, NTVGiEVO, NT5G
NNT NTVGiEVO
PaloDEx Group Oy ORTHOPANTOMOGRAPH OP 3D
RAY Co., Ltd. RAYSCAN N Alpha Plus
Sirona ORTHOPHOS SL
Vatech Company Limited PHT-35LHS
YOFO Pirox-R
Bold text represents the highest value in its column
Table 6. Quantitative comparison of segmentation accuracy and segmentation time between our AI system and a dental expert (three CBCT images randomly selected from the dataset)
Items Al Expert Al-assist + hand-tuning
Time 240 5.6
Dice/% 92.6
Bold text represents the highest value in its column
that our approach can significantly improve efficiency and accuracy compared to experts manually outlining ROI using existing software.
Second, we developed an adaptive algorithm that can efficiently handle the variations of CBCT images acquired from different manufacturers. This adaptation is critical because CBCT images may exhibit variations in image quality, resolution, noise, and contrast due to differences in acquisition protocols and equipment, and current methods are not targeted for CBCT images, making them less generalizable and requiring increasing data volumes to improve the applicability of the method. By adapting to these variations, our method is able to achieve the same or even better segmentation accuracy on a smaller training dataset. Experimental results show that our method exhibits robust performance on data from multiple CBCT manufacturers, improving the average Dice score by in the most dominant tooth instance segmentation task compared to the best available method, and by applying the proposed adaptive preprocessing method, it also achieves an average Dice score improvement of compared to itself.
An important contribution of our study is the ability of the proposed tooth instance segmentation method to obtain tooth classification results based on the FDI Two-Digit Notation. This feature enables automatic identification of missing teeth, which is an important aspect of dental analysis and treatment planning. Current methods often lack the ability to accurately capture information about missing teeth or require the use of oral scan models which can make the practical application of the
algorithm difficult and make it impossible to accurately locate and select specific teeth during software interaction. The ability to accurately capture information about missing teeth makes our method more conducive to comprehensive dental evaluation.
To evaluate the performance of our method, we conducted extensive experiments and compared it with existing techniques. The results demonstrate the effectiveness and accuracy of our method in segmenting teeth, maxillary and mandibular bones, maxillary sinus, and mandibular nerve canal, with an overall average Dice score of and the ability to achieve state-of-the-art on the most important tooth segmentation tasks, indicating the robustness and generalizability of our method in capturing anatomical structures of interest.
In addition, we evaluated the impact of the adaptive algorithm on different CBCT images obtained from different manufacturers. The results show the superiority of our adaptive approach compared to conventional methods, as it consistently achieves high segmentation accuracy regardless of the imaging characteristics of the CBCT system.
Although our research results promise competitive results, there are some limitations that need to be acknowledged. First, the evaluation is conducted on a specific dataset, which does not include severe metal artifacts or image blurring caused by patient movement issues. Therefore, further exploration should be conducted on the generalizability of this method to a wider population and various clinical scenarios. Second, although our adaptive algorithm showed effective performance, there is still room for improvement, such as severe metal artifacts in images, deep learning-based CBCT image grayscale value processing, and the combination of segmentation results with vitro experiments.

CONCLUSION

In this paper, we present a comprehensive study on the segmentation of dental implant structures of interest in oral CBCT images using deep learning techniques. Our proposed method provides several new features and demonstrates a significant improvement over current methods.
We have successfully developed an end-to-end segmentation method that contains the necessary information required for dental implant surgical planning. Unlike current methods that require manual outlining or segmentation in multiple steps, our method simplifies the image segmentation and surgical planning process and is the basis for fully automated planning of dental implant surgery, saving the clinician valuable time and effort.
In addition, we propose an adaptive algorithm capable of handling the variations inherent in CBCT images obtained from different manufacturers. This adaptability ensures the consistency and robustness of deep learning methods on multiple CBCT images, overcoming the challenges posed by differences in image quality, resolution, noise, and contrast.
A notable contribution of our work is the direct extraction of tooth segmentation results based on the FDI Two-Digit Notation. This enables the automatic identification of missing teeth, a key aspect of dental analysis and treatment planning. Unlike current methods, our approach successfully captures information about missing teeth, improving the comprehensiveness of dental assessments.
Our extensive experimental evaluation and comparison with existing techniques demonstrated the superiority and accuracy of our method in segmenting the teeth, maxillary and mandibular bones, maxillary sinus, and mandibular nerve canal. The results confirm the robustness of our method in capturing the anatomical structures of interest, even at different tooth positions.
Although our study yielded remarkable results, it is important to acknowledge its limitations. Our evaluation was performed on a specific dataset and further investigation is necessary to assess the generalizability of our approach to different populations and clinical scenarios, and to further validate the efficiency and accuracy of the method through broader integration with clinical practice. In addition, there is potential for further improvement in handling extreme variations in CBCT image features, which should be addressed in future studies.
In conclusion, our study introduces a new deep learning-based method to segment structures in oral CBCT images. The end-toend segmentation capability of all structures required for dental implant surgery, the segmentation capability based on the FDI Two-Digit Notation, the adaptability to different CBCT images, and the ability to extract information about missing teeth offer significant advantages over current methods. The experimental results demonstrate the effectiveness and accuracy of our approach and the ability to significantly reduce the preoperative planning time consumed by the surgeon when performing surgery with the dental implant surgery robot. Further research should focus on validating our method on larger and diverse datasets and addressing the identified limitations to enhance its robustness and applicability in clinical practice.

METHODS

CBCT image adaptive preprocessing method

CBCT images use a grayscale density value scale, which is similar to the HU value of ordinary CT. However, the difference is that the HU value is fixed, usually set to and the range of grayscale values and contrast of CBCT images can vary depending on the interpolation method chosen by the equipment manufacturer, the imaging equipment, the parameters chosen during scanning and the field of view, etc. Moreover, the voxels containing teeth in CBCT images only account for about of the whole image, which causes unbalanced distribution of categories and slows down the training speed and accuracy of the network. The existing methods do not provide targeted processing for the above characteristics of CBCT images, only using general image preprocessing methods, which delete the first and last data of the image, and then perform regularization.
After performing CT value distribution statistics on the existing dataset, we plotted the histogram of grayscale value distribution for each data, and Fig. 6a-d shows several typical distributions of grayscale values of CBCT images in the dataset. It can be seen that each image usually contains one or two spikes and one peak. Based on the original image, it can be seen that the spikes represent the air in the image, while the peak represents the grayscale value of the soft tissue. The goal of image preprocessing is to delete data with a grayscale value smaller than the bone tissue and then perform normalizing processing.
Looking at the statistical histogram, it can be seen that the CBCT images vary in their grayscale range and that one or two spikes appear because the voxels appearing outside the field of view and the voxels representing air have the same grayscale value, respectively; on the other hand, since most of the images are of soft tissues, a peak appears, whereas there is no significant undulation of bones, teeth, and artificial restoration. Therefore, the average grayscale value for soft tissue can be obtained by calculating the midpoint of the soft tissue peak in the histogram, while the truncated gray value for bone is:
where is the difference between the soft tissue grayscale value and the bone grayscale value.
To obtain the values of and , we consider the histogram of the grayscale distribution as a digital signal and introduce frequency domain processing methods for signal processing, and finally obtain the requested values. The detailed method is as follows.
First, we consider the calculated histogram of the gray distribution as a signal curve representing the frequency of captured gray values for further analysis. To improve the curve quality, a median filter is applied to remove spikes or noise artifacts.
Next, the midpoint of the soft tissue peak on the filtered signal curve is determined, and this point is the to be calculated. To eliminate the impact of curve fluctuations on peak calculation, it is necessary to set a minimum threshold for the width and height of the target peak. In this experiment, the width was set to 5 , and the height was set to of the total number of pixels in the image through statistical analysis of the dataset used.
Subsequently, define the ROI around the peak by selecting a width of 200 units on both sides of the midpoint of the peak. We assume that the peak in this area obeys the Gaussian distribution, and select the Gaussian distribution density function to model the ROI. The functional equation is:
where is the midpoint of the wave, is the standard deviation, and is the amplitude.
Finally, based on the fitted Gaussian distribution function, the relationship between the soft tissue and bone gray value disparity and to be calculated is obtained experimentally.
Figure 7 illustrates the above processing flow, where the blue curve is the original histogram, the red curve is the curve after median filtering, the green curve is the fitted Gaussian distribution probability density function, and the black line segment is the wave peak midpoint.
Figure 8 shows the CBCT image slices after the application of the above preprocessing method, in relation to the selected and .

Network structure

For the two stages of skeletal segmentation and neural tube segmentation, we selected the 3D-UNet network as the network backbone. The Swin-UNETR network was selected for the tooth instance segmentation stage to achieve this task.
Fig. 6 CBCT image slices with different field of view, gray value range and contrast ratio and corresponding gray histograms
Due to the limitations of the size of the convolutional kernel and the number of filter channels in CNNs, the receptive field is limited, making it difficult to capture and store long-range dependency information. In order to capture long-range dependencies, it is usually only possible to increase the size of the convolutional kernel or the number of channels, which can lead to gradient vanishing or dimensional disasters. In terms of the problem to be solved in this paper, the above problems will make
it difficult to obtain the relationship between two teeth that are far away when performing tooth instance segmentation, which leads to low segmentation accuracy. The existing CNN-based tooth instance segmentation methods require other feature information as input, such as pre-obtained tooth centroids, tooth positions obtained using oral scan models, etc.
The transformer structure in the NLP domain is inherently capable of capturing long-range dependency information, thus
Fig. 7 Histogram of grayscale distribution of CBCT images with preprocessing results
Fig. 8 Images when different preprocessing parameters are selected separately
achieving significant success in the field of computer vision in recent years. In the field of tooth instance segmentation, the localization of teeth according to the FDI Two-Digit Notation and the identification of missing teeth depend mainly on their adjacent teeth and the overall dentition information, which makes it necessary that the applied deep learning network also has the ability to model between pixels at long distances and requires the network to be able to learn local features of the image at the same time due to the close grayscale values and blurred boundaries of the teeth and jaws in the root portion of the tooth. Therefore, we chose the Swin-UNETR network, which has demonstrated excellent performance in semantic segmentation of brain tumors, as the segmentation network. This method can
simultaneously model the relationships between long-distance pixels and extract local information, which is crucial for predicting tooth position.
The Swin-UNETR model consists of the following components:
Swin-Transformer: as a feature extractor, used to extract meaningful feature representations from the input image. It is based on the Swin-Transformer architecture and uses nonoverlapping sliding windows at multiple levels for feature extraction through a self-attentive mechanism and a fully connected network. This feature extraction method takes full account of the global contextual information and local detail information of the image, which helps to improve the semantic segmentation performance.
Table 7. Network hyperparameters selection
Embed dimension Feature size Number of blocks Window size Number of heads Parameters FLOPS
768 48 62.19 M 394.84 G
Table 8. Description and characteristics of the CBCT datasets from different medical institutions (only voxel size is available in the public dataset)
Manufacturer Manufacturer’s model name Sex (Female/ Male) Tube voltage/kVp Tube current Spacing/ mm Average age/ years CBCT number (cases)
Carestream Health CS 9300, CS 9301 90 10 0.18 40.1 15
International
J.Morita.Mfg.Corp. 2F/2M 89 7 0.25 25.3 4
LargeV HighRes3D, SMART3D 100 4 0.25 44.5 112
NewTom NTVGiMK4, NTVGiEVO, NT5G 22F/13M 110 1, 2, 3, 4, 5, 7, 9, 10 0.3, 0.25 42.1 35
NNT NTVGiEVO 7M 110 3, 7, 8, 9, 10, 11, 14 0.3 31.2 7
PaloDEx Group Oy ORTHOPANTOMOGRAPH OP 3D 5M 95 3, 8 0.25 44.2 7
RAY Co., Ltd. RAYSCAN N Alpha Plus 1F/2M 90 10 1 3
Sirona ORTHOPHOS SL 85 10 0.22 46.7 10
Vatech Company Limited PHT-35LHS 1F/3M 94 8 0.2 47.8 4
YOFO Pirox-R 29F/23M 90 8 0.25 40.1 52
0.4 91
0.4 97
Encoder part: it includes several UNetR base modules for gradually decreasing feature dimensionality. The encoder extracts a more abstract and semantically rich feature representation from the output features of the Swin-Transformer through multiple layers of convolution and normalization operations. Each encoder block contains convolution operations and residual concatenation, which help to preserve important feature information and mitigate the gradient disappearance problem.
Decoder part: includes multiple UNetR upsampling blocks for gradually restoring the feature dimension to its original size. The decoder recovers the lost detail information by fusing the encoder features with higher resolution features through upsampling operations and jump connections. This improves the accuracy and precision of the segmentation results.
Output layer: used to generate the final segmentation prediction results. The output layer maps the decoder features to the probability distribution of the target class through a series of convolution and normalization operations. The final output results can be used for semantic segmentation at the pixel level.
The network structure of the Swin-UNETR model takes full advantage of the Swin-Transformer to enable fine-grained segmentation tasks with the encoder-decoder design of the UNet structure while maintaining the global perception capability. In this task, the selected hyperparameters are shown in Table 7.

Loss function

We weighted the results of the CE loss and Dice loss calculations together as the loss function at training.
where and are the weights of CE loss and Dice loss,
respectively, which are both set to 1 in this experiment.
where is the number of categories; is the total number of voxels; is the weight of category is the probability that the -th voxel belongs to category as output from the model; is the probability that the -th voxel belongs to category after encoding the ground truth with one-hot code.

Dataset

In this study, we collected a total of 451 CBCT data with entire dental arch from 10 different medical institutions and publicly available datasets, including 11 CBCT manufacturers and 13 imaging modalities, to evaluate the accuracy of the proposed method, excluding CBCT blurring caused by patient motion or insufficient imaging parameters during the imaging process. The detailed imaging protocols (i.e., image resolution, manufacturer, manufacturer’s model name, and radiation dose information for tube current and tube voltage) and patient age-sex distribution of the data are shown in Table 8. At the same time, we also collected a total of 55 CBCT data from the 10 medical institutions mentioned above, including 11 CBCT manufacturers, to verify the generalizability of the proposed method.
CBCT images were labeled under the guidance of professional dentists to obtain the gold standard. The dataset was randomly divided into three categories: training set, validation set, and test set, while all personal information of patients is removed.
The physical resolution of the CBCT images we collected was distributed from 0.18 to 1.0 mm . Considering the clinical application and data processing efficiency, it was, therefore, necessary to first resample the data according to the physical resolution of 0.4 mm . The resampled CBCT data were first preprocessed by the preprocessing method proposed above, and the retained grayscale values ranged from the grayscale values of the bones obtained by preprocessing to of the overall, and then normalized to obtain a standard image with a mean of 0 and a standard deviation of 1 . During the training process, data of size were randomly cropped from the 3D images as training data. In order to improve the generalizability of the model, we also apply random mirror flip and random add mask methods to enhance the data, where random mirror flip is performed along three axes and random add mask is a random crop operation on the training data, where the size of data is cropped and replaced by 0 . The number of crops is in the range of and the location of the crops is random.

Evaluation metrics

We chose to use Dice similarity coefficient (DSC), mloU, HD, and ASD to accurately evaluate the segmentation results.
DCS is used to measure the similarity between two sets, and the value range of DSC is between 0 and 1 , where 1 indicates complete overlap between sets A and B , and 0 indicates no overlap. In image segmentation tasks, and typically represent predicted segmentation results and actual segmentation annotations, respectively.
IoU is the ratio of intersection divided by union, and mloU is the average of all categories of loU, which is used to measure the segmentation performance of the model on each category. The higher the value, the better the segmentation performance of the model on different categories.
HD is used to measure the maximum difference between two sets, that is, the maximum value of the shortest distance from a point in one set to another set, reflecting the worst situation between the two sets, that is, the maximum distance between the model segmentation result and the actual annotation. The smaller the value of HD, the closer the two are.
ASD is the average surface distance between two sets, which is the average of the shortest distance from each point in one set to another set. It is used to evaluate the average error of the segmentation boundary, which is the average distance between the model segmentation result and the actual annotation. A smaller ASD indicates a closer segmentation boundary between the two.

Implementation details

We chose the training framework PyTorch 2.0.0 with AdamW as the optimizer, a fixed learning rate of and a weight decay factor of . The network was trained on two Nvidia GeForce RTX 3090 Ti GPUs in a Linux environment with the batch size of 2 and 300 epochs.

ACKNOWLEDGEMENTS

This work was supported by National Natural Science Foundation of China (No. 81970987).

AUTHOR CONTRIBUTIONS

Yu Liu: conceptualization, methodology, software, formal analysis, writing – original draft, visualization. Rui Xie: validation, data curation, writing – review and editing. Lifeng Wang, Hongpeng Liu, Chen Liu: investigation. Yimin Zhao: supervision, project administration. Shizhu Bai: funding acquisition. Wenyong Liu: supervision.

ADDITIONAL INFORMATION

Competing interests: The authors declare no competing interests.
Ethical approval: This article does not contain any studies with human participants or animals performed by any of the authors.
Informed consent: This article does not contain patient data collected by any of the authors.

REFERENCES

  1. Bai, S. Z. et al. [Animal experiment on the accuracy of the Autonomous Dental Implant Robotic System]. Zhonghua Kou Qiang Yi Xue Za Zhi 56, 170-174 (2021).
  2. Jia, S., Wang, G., Zhao, Y. & Wang, X. Accuracy of an autonomous dental implant robotic system versus static guide-assisted implant surgery: a retrospective clinical study. J. Prosthet. Dent. https://doi.org/10.1016/j.prosdent.2023.04.027 (2023).
  3. Li, Z., Xie, R., Bai, S. & Zhao, Y. Implant placement with an autonomous dental implant robot: a clinical report. J. Prosthet. Dent. https://doi.org/10.1016/ j.prosdent.2023.02.014 (2023).
  4. Wu, Q., Zhao, Y. M., Bai, S. Z. & Li, X. Application of robotics in stomatology. Int. J. Comput. Dent. 22, 251-260 (2019).
  5. Cheng, K. J. et al. Accuracy of dental implant surgery with robotic position feedback and registration algorithm: an in-vitro study. Comput. Biol. Med. 129, 104153 (2021).
  6. Tao, B. et al. Accuracy of dental implant surgery using dynamic navigation and robotic systems: an in vitro study. J. Dent. 123, 104170 (2022).
  7. Bolding, S. L. & Reebye, U. N. Accuracy of haptic robotic guidance of dental implant surgery for completely edentulous arches. J. Prosthet. Dent. 128, 639-647 (2022).
  8. Yang, X. et al. ImplantFormer: vision transformer based implant position regression using dental CBCT data. Accessed July 3, 2023. Preprint at http:// arxiv.org/abs/2210.16467 (2023).
  9. Płotka, S. et al. Convolutional neural networks in orthodontics: a review. Accessed July 3, 2023. Preprint at http://arxiv.org/abs/2104.08886 (2021).
  10. Duy, N. T., Lamecker, H., Kainmueller, D. & Zachow, S. Automatic detection and classification of teeth in CT data. In Medical Image Computing and ComputerAssisted Intervention – MICCAI 2012, Lecture Notes in Computer Science (eds Ayache, N., Delingette, H., Golland, P. & Mori, K.) 609-616 (Springer, 2012).
  11. Barone, S., Paoli, A. & Razionale, A. V. CT segmentation of dental shapes by anatomy-driven reformation imaging and B-spline modelling. Int. J. Numer. Method. Biomed. Eng. 32, e02747 (2016).
  12. Sepehrian, M., Deylami, A. M. & Zoroofi, R. A. Individual teeth segmentation in CBCT and MSCT dental images using watershed. In 2013 20th Iranian Conference on Biomedical Engineering (ICBME) 27-30 (IEEE, 2013).
  13. Gao, H. & Chae, O. Individual tooth segmentation from CT images using level set method with shape and intensity prior. Pattern Recognit. 43, 2406-2417 (2010).
  14. Qian, J. et al. An automatic tooth reconstruction method based on multimodal data. J. Vis. 24, 205-221 (2021).
  15. Poonsri, A., Aimjirakul, N., Charoenpong, T. & Sukjamsri, C. Teeth segmentation from dental X-ray image by template matching. In 2016 9th Biomedical Engineering International Conference (BMEICON) 1-4 (IEEE, 2016).
  16. Akhoondali, H., Zoroofi, R. A. & Shirani, G. Rapid automatic segmentation and visualization of teeth in CT-scan data. J. Appl. Sci. 9, 2031-2044 (2009).
  17. Zou, X., Liu, W., Wang, J., Tao, R. & Zheng, G. ARST: auto-regressive surgical transformer for phase recognition from laparoscopic videos. Accessed July 3, 2023. Preprint at http://arxiv.org/abs/2209.01148 (2022).
  18. Huang, S., Xu, T., Shen, N., Mu, F. & Li, J. Rethinking few-shot medical segmentation: a vector quantization view.
  19. Zhang, J., Xie, Y., Xia, Y. & Shen, C. DoDNet: learning to segment multi-organ and tumors from multiple partially labeled datasets. Accessed July 3, 2023. Preprint at http://arxiv.org/abs/2011.10217 (2020).
  20. Wang, R. et al. Medical image segmentation using deep learning: a survey. IET Image Process. 16, 1243-1267 (2022).
  21. Zhang, R. et al. Multiple supervised residual network for osteosarcoma segmentation in CT images. Comput. Med. Imaging Graph. 63, 1-8 (2018).
  22. Tao, R., Liu, W. & Zheng, G. Spine-transformers: vertebra labeling and segmentation in arbitrary field-of-view spine CTs via 3D transformers. Med. Image Anal. 75, 102258 (2022).
  23. Cai, Y. et al. Swin Unet3D: a three-dimensional medical image segmentation network combining vision transformer and convolution. BMC Med. Inf. Decis. Mak. 23, 33 (2023).
  24. Cao, H. et al. Swin-Unet: Unet-Like Pure Transformer for Medical Image Segmentation. In Computer Vision – ECCV 2022 Workshops. ECCV 2022. Lecture Notes in Computer Science, Vol. 13803 (eds. Karlinsky, L., Michaeli, T. & Nishino, K.) https://doi.org/10.1007/978-3-031-25066-8_9 (Springer, Cham, 2023).
Fully automatic AI segmentation of oral surgery-related tissues based on… Liu et al.
12
25. Hatamizadeh, A. et al. Swin UNETR: Swin Transformers for Semantic Segmentation of Brain Tumors in MRI Images. https://arxiv.org/abs/2201.01266 (2022).
26. Milletari, F., Navab, N. & Ahmadi, S.-A. V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation. 2016 Fourth International Conference on 3D Vision (3DV), Stanford, CA, USA. 565-571, https://doi.org/10.1109/3DV.2016.79 (2016).
27. Cui, Z. et al. A fully automatic AI system for tooth and alveolar bone segmentation from cone-beam CT images. Nat. Commun. 13, 2096 (2022).
28. Chen, Y. et al. Automatic segmentation of individual tooth in dental CBCT images from tooth surface map by a multi-task FCN. IEEE Access 8, 97296-97309 (2020).
29. Jaskari, J. et al. Deep learning method for mandibular canal segmentation in dental cone beam computed tomography volumes. Sci. Rep. 10, 5842 (2020).
30. Verhelst, P. J. et al. Layered deep learning for automatic mandibular segmentation in cone-beam computed tomography. J. Dent. 114, 103786 (2021).
31. Chung, M. et al. Pose-aware instance segmentation framework from cone beam CT images for tooth segmentation. Comput. Biol. Med. 120, 103720 (2020).
32. Cui, Z., Li, C. & Wang, W. ToothNet: automatic tooth instance segmentation and identification from cone beam CT Images. In 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 6361-6370 (IEEE, 2019).
33. Lee, J. et al. Tooth instance segmentation from cone-beam CT images through point-based detection and Gaussian disentanglement. Multimed Tools Appl. 81, 18327-18342 (2022).
34. Gerhardt, M. D. N. et al. Automated detection and labelling of teeth and small edentulous regions on cone-beam computed tomography using convolutional neural networks. J. Dent. 122, 104139 (2022).
35. Liu, J. et al. Deep learning-enabled 3D multimodal fusion of cone-beam CT and intraoral mesh scans for clinically applicable tooth-bone reconstruction. Patterns 4, 100825 (2023).
36. Nackaerts, O. et al. Segmentation of trabecular jaw bone on cone beam CT datasets: segmentation of jaw bone on CBCT datasets. Clin. Implant Dent. Relat. Res. 17, 1082-1091 (2015).
37. FDI World Dental Federation. Accessed July 11, 2023. https://web.archive.org/web/ 20070401074213/http://www.fdiworldental.org/resources/5_Onotation.html (2007).
38. Cui, Z., et al. Hierarchical morphology-guided tooth instance segmentation from CBCT images. In Information Processing in Medical Imaging, Lecture Notes in Computer Science (eds Feragen, A., Sommer, S., Schnabel, J. & Nielsen, M.) 150-162 (Springer International Publishing, 2021).
39. Isensee, F., Jäger, P. F., Kohl, S. A. A., Petersen, J. & Maier-Hein, K. H. Automated design of deep learning methods for biomedical image segmentation. Nat. Methods 18, 203-211 (2021).
40. Wu, X. et al. Center-sensitive and boundary-aware tooth instance segmentation and classification from cone-beam CT. In 2020 IEEE 17th International Symposium on Biomedical Imaging (ISBI) 939-942 (IEEE, 2020).
41. Zhang, Y. & Yu, H. Convolutional neural network based metal artifact reduction in X-ray computed tomography. IEEE Trans. Med. Imaging 37, 1370-1381 (2018).
42. Liang, X. et al. Generating synthesized computed tomography (CT) from conebeam computed tomography (CBCT) using CycleGAN for adaptive radiation therapy. Phys. Med. Biol. 64, 125002 (2019).
43. Liu, Y. et al. CBCT-based synthetic CT generation using deep-attention cycleGAN for pancreatic adaptive radiotherapy. Med. Phys. 47, 2472-2483 (2020).
44. Galibourg, A. et al. Assessment of automatic segmentation of teeth using a watershed-based method. Dentomaxillofac. Radiol. 47, 20170220 (2018).
45. Hounsfield, G. N. Computed medical imaging. Science 210, 22-28 (1980).
46. Özgün, Ç., Abdulkadir, A., Lienkamp, S. S., Brox, T. & Ronneberger, O. 3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation. International Conference on Medical Image Computing and Computer-Assisted Intervention (2016).
47. Vaswani, A. et al. Attention is All you Need. Adv. Neural Inf. Process. Syst. (2017).
48. Dosovitskiy, A. et al. An Image is Worth Words: Transformers for Image Recognition at Scale. https://arxiv.org/abs/2010.11929 (2020).
49. Han, K. et al. A survey on Vision Transformer. IEEE Trans. Pattern Anal. Mach. Intell. 45, 87-110 (2023).
50. Liu, Z. et al. Swin Transformer: Hierarchical Vision Transformer using Shifted Windows. 2021 IEEE/CVF International Conference on Computer Vision (ICCV) 9992-10002 (2021).
51. Hatamizadeh, A., Yang, D., Roth, H. R. & Xu, D. UNETR: Transformers for 3D Medical Image Segmentation. 2022 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV). 1748-1758 (2021).
Open Access This article is licensed under a Creative Commons Attribution 4.0 International License, which permits use, sharing, adaptation, distribution and reproduction in any medium or format, as long as you give appropriate credit to the original author(s) and the source, provide a link to the Creative Commons licence, and indicate if changes were made. The images or other third party material in this article are included in the article’s Creative Commons licence, unless indicated otherwise in a credit line to the material. If material is not included in the article’s Creative Commons licence and your intended use is not permitted by statutory regulation or exceeds the permitted use, you will need to obtain permission directly from the copyright holder. To view a copy of this licence, visit http:// creativecommons.org/licenses/by/4.0/.
© The Author(s) 2024
  1. Beijing Yakebot Technology Co., Ltd., Beijing, China; School of Mechanical Engineering and Automation, Beihang University, Beijing, China; State Key Laboratory of Oral & Maxillofacial Reconstruction and Regeneration, National Clinical Research Center for Oral Diseases, Shaanxi Key Laboratory of Stomatology, Digital Center, School of Stomatology, The Fourth Military Medical University, Xi’an, China and Key Laboratory of Biomechanics and Mechanobiology of the Ministry of Education, Beijing Advanced Innovation Center for Biomedical Engineering, School of Biological Science and Medical Engineering, Beihang University, Beijing, China
    Correspondence: Yimin Zhao(xaddoor@foxmail.com)
    These authors contributed equally: Yu Liu, Rui Xie