أكثر أشكال الأورام الخبيثة شيوعًا التي تنشأ في الدماغ تُعرف باسم الأورام الدبقية. من أجل تشخيصها وعلاجها وتحديد عوامل الخطر، من الضروري أن يكون هناك تقسيم دقيق وموثوق للأورام، بالإضافة إلى تقدير معدل بقاء المرضى بشكل عام. لذلك، قدمنا نهجًا للتعلم العميق يستخدم مجموعة من صور الرنين المغناطيسي لتقسيم أورام الدماغ بدقة وتوقع البقاء في المرضى الذين يعانون من الأورام الدبقية. لضمان تقسيم قوي وموثوق للأورام، نستخدم هياكل الشبكات العصبية الالتفافية الحجمية ثنائية الأبعاد التي تستخدم قاعدة الأغلبية. تساعد هذه الطريقة في تقليل انحياز النموذج بشكل كبير وتحسين الأداء. بالإضافة إلى ذلك، من أجل توقع معدلات البقاء، نستخرج ميزات إشعاعية من مناطق الأورام التي تم تقسيمها، ثم نستخدم شبكة عصبية مكررة ثلاثية الأبعاد مستوحاة من التعلم العميق لتحديد الميزات الأكثر فعالية. كان النموذج المقدم في هذه الدراسة ناجحًا في تقسيم أورام الدماغ وتوقع نتائج الأورام المعززة والأورام المعززة الحقيقية. تم تقييم النموذج باستخدام مجموعة بيانات معايير BRATS2020، وكانت النتائج التي تم الحصول عليها مرضية وواعدة.

الكلمات الرئيسية: ورم دماغي، التصوير بالرنين المغناطيسي، استخراج الميزات، التقسيم، توقع أيام البقاء، التعلم العميق، شبكة عصبية مكررة ثلاثية الأبعاد، شبكة التلافيف الحجمية ثنائية الأبعاد

يلعب التصوير بالرنين المغناطيسي دورًا حاسمًا في التصوير السريري حيث يوفر معلومات موثوقة وقابلة للقياس للتشخيص. يُستخدم لأغراض متعددة مثل تصوير الجهاز العضلي الهيكلي، والجهاز القلبي الوعائي، وخاصة الجهاز العصبي المركزي والأنظمة العصبية الفرعية. يتمتع التصوير بالرنين المغناطيسي بمزايا كبيرة مقارنة بأساليب التصوير الطبي التقليدية . ومع ذلك، يمكن أن تتأثر تفسير التصوير بالرنين المغناطيسي بالتغيرات في الكثافة الناتجة عن عدم تجانس الحقول B1 وB0 . يمكن أن يؤدي ذلك إلى مظهر غير متساوٍ للأنسجة، مما قد يضلل خوارزميات تحليل الصور ويجعل من الصعب على نماذج التعرف اكتشاف المناطق الشاذة.

أورام الدماغ هي حالات نادرة تنشأ من نمو خلايا خبيثة يمكن أن تنشأ من أي مكان في الدماغ . يمكن تصنيف الأورام على أنها خبيثة أو حميدة بناءً على الهيكل ووجود خلايا نشطة. الأورام الخبيثة لها شكل غير منتظم وخلايا نشطة، بينما الأورام الحميدة لها هيكل ثابت ولا تحتوي على خلايا نشطة . الأورام الدبقية والأستروسيتومات هي أورام عالية الدرجة تُصنف على أنها خبيثة، بينما الأورام السحائية والأورام الدبقية هي أورام منخفضة الدرجة تُعتبر حميدة.

طورت جمعية أورام الدماغ الأمريكية ومنظمة الصحة العالمية نظام تصنيف يتراوح من الدرجة الأولى إلى الدرجة الرابعة لتصنيف الأورام الحميدة والخبيثة. الأورام الدبقية من الدرجة الأولى والثانية تُعتبر حميدة، بينما تُعتبر الأورام من الدرجة الثالثة والرابعة خبيثة. بينما تنمو الأورام الدبقية من الدرجة الثالثة والرابعة

بسرعة، تنمو الأورام منخفضة الدرجة، مثل الأورام الدبقية من الدرجة الأولى والثانية، بشكل أبطأ . يمكن أن تتطور ورم دماغي منخفض الدرجة إلى ورم دماغي خبيث عالي الدرجة إذا لم يتم تلقي العلاج. تُصنف الأورام العصبية المركزية إلى العديد من الفئات في الطبعة الخامسة من منظمة الصحة العالمية , بما في ذلك الأورام السحائية، والأورام الجنينية، والأورام الصنوبرية، والانتقالات العصبية المركزية.

لقد خضعت الطبعة الخامسة من الكتاب الأزرق، الذي هو تحديث من الطبعة الرابعة (الشكل 1) الصادرة في عام 2016، لتغييرات كبيرة في تصنيف الأورام الدبقية، والأورام العصبية الدبقية والعصبية، والأورام الجنينية. قدمت الطبعة الجديدة 14 ورمًا دبقيًا جديدًا تم التعرف عليه. علاوة على ذلك، يتم الآن تصنيف الأورام الدبقية المنتشرة من قبل منظمة الصحة العالمية كأورام من نوع البالغين أو الأطفال .

يمكن علاج الأورام الحميدة منخفضة الدرجة، مثل الأورام الدبقية من الدرجة الأولى والثانية، من خلال الإزالة الجراحية الكاملة. من ناحية أخرى، يمكن علاج الأورام الدماغية الخبيثة من الدرجة الثالثة والرابعة من خلال مزيج من الإشعاع، والعلاج الكيميائي، أو كليهما. يمكن العثور على الأورام الدبقية الخبيثة، بما في ذلك الأستروسيتومات غير المتمايزة، في كل من الأورام من الدرجة الثالثة والرابعة . الأستروسيتومة غير المتمايزة هي ورم متوسط الدرجة له نمط نمو غير عادي أو غير متوقع ومعدل نمو أعلى من الأورام منخفضة الدرجة. الأورام الدبقية، وهي أكثر أنواع الأستروسيتومات شدة، هي أعلى درجة من الأورام الدبقية. على عكس درجات الأورام الأخرى، تتميز الأورام الدبقية بوجود خلايا ميتة (نخر) حول الورم ونمو سريع للأوعية الدموية .

يعد تقسيم الصور الطبية ضروريًا لعزل أنسجة الأورام الملوثة. يتضمن التقسيم تقسيم الصورة إلى أجزاء أو كتل متميزة بناءً على ميزات مشتركة مثل اللون، والملمس، والتباين، والسطوع، والحدود، ومستويات الرمادي. تُستخدم صور الرنين المغناطيسي أو تقنيات التصوير الأخرى لتقسيم أورام الدماغ إلى أورام صلبة، والتي قد تشمل السائل النخاعي، والمواد الرمادية (GM)، والمواد البيضاء (WM)، بالإضافة إلى فصلها عن أنسجة الجهاز العصبي المركزي والوذمة (CSF) .

تتناول هذه الدراسة أو البحث في التصوير الطبي تحليل بيانات أورام الدماغ المستمدة من صور الرنين المغناطيسي (التصوير بالرنين المغناطيسي). الهدف من هذه الدراسة هو استخراج ميزات ذات مغزى من صور أورام الدماغ، وتقسيم مناطق الورم، وتوقع أيام البقاء للمرضى باستخدام مجموعة من تقنيات التعلم العميق. تستخدم الدراسة مجموعة معينة من التقنيات لتحقيق أهدافها، وهي شبكة تلافيف حجمية ثنائية الأبعاد وشبكة عصبية مكررة ثلاثية الأبعاد مستوحاة من التعلم العميق. يعد التصوير بالرنين المغناطيسي طريقة تصوير غير جراحية تقدم تفاصيل شاملة عن التشريح الداخلي للدماغ، بما في ذلك الأورام. استخراج الميزات هو عملية أخذ الميزات ذات الصلة من صور أورام الدماغ. من بين الصفات التي يمكن استخدامها لتمييز مناطق الأورام عن الأنسجة الدماغية السليمة تشمل الشكل، والملمس، والكثافة، وغيرها من الخصائص المميزة. يتم تحديد مواقع الأورام داخل صور الرنين المغناطيسي وتحديدها بواسطة إجراء يُعرف بالتقسيم. هذه العملية ضرورية لفصل الورم عن الأنسجة السليمة المحيطة وعزل المنطقة المتأثرة. في هذه الدراسة، تم استخدام هيكل شبكة عصبية آخر

المستخدمة هي شبكة التلافيف الحجمية ثنائية الأبعاد. لمعالجة مناطق الورم المقسمة وتوقع أيام البقاء، من المحتمل أن تستخدم طبقات تلافيف ثنائية الأبعاد. يمكن أن تستخرج الشبكة العصبية المكررة تمثيلات ذات مغزى من بيانات الورم من خلال استخدام تقنيات التعلم العميق. تحلل هذه الدراسة بيانات أورام الدماغ من صور الرنين المغناطيسي باستخدام خوارزميات التعلم العميق المتطورة. تحاول الدراسة توقع أيام بقاء المرضى من خلال استخدام نماذج تنبؤية، وتقسيم مواقع الأورام، واستخراج الخصائص المهمة، مما سيوفر معلومات هامة لاتخاذ القرارات السريرية.

تستخدم هذه الدراسة مجموعة متنوعة من أنماط التصوير بالرنين المغناطيسي (MRI)، بما في ذلك التصوير بالرنين المغناطيسي المعتمد على استعادة الانعكاس السائل، والتصوير بالرنين المغناطيسي المعتمد على كثافة البروتون، والتصوير بالرنين المغناطيسي المعتمد على T2، والتصوير بالرنين المغناطيسي المعتمد على T1، لتحديد أورام الدماغ. يعتمد العلاج الفعال لأورام الدماغ على الكشف المبكر. يتطلب الأمر دراسة إشعاعية عندما يكون هناك اشتباه سريري في وجود ورم دماغي لتحديد الموقع الدقيق، ومدى التأثير على المناطق المجاورة. بناءً على هذه المعلومات، يمكن تحديد العلاج الأنسب، سواء كان جراحة، أو علاج إشعاعي، أو علاج كيميائي. يمكن أن يزيد الكشف المبكر عن الورم بشكل كبير من فرص بقاء المريض. يوضح الشكل 2 التصور لفحص الرنين المغناطيسي متعدد الأنماط للدماغ.

يمكن سرد المساهمة الكبيرة التي قدمتها الدراسة البحثية المعنية كما يلي:

بقية هذه المقالة منظمة كما هو موضح في الشكل 3 على النحو التالي. القسم العمل المتعلق يقدم مراجعة للأبحاث السابقة ذات الصلة. في القسم المواد والمنهجية المعدلة، نستعرض المواد والمنهجية التي استخدمناها في دراستنا. القسم قياس المعلمات والنتائج التجريبية مخصص لتقديم المعلمات القياسية والنتائج التجريبية. القسم المناقشة يتضمن مناقشة لنتائجنا ومقارنة مع النماذج الموجودة. أخيرًا، في القسم الخاتمة، نختتم عملنا بأفكار ختامية واقتراحات للتحسينات المستقبلية.

البحث يقدم إطار عمل لشبكة عصبية تلافيفية عميقة (CNN) تستخدم عدة طبقات ومتغيرات لتحديد وفصل سرطان الدماغ بدقة وبشكل مستقل من مجموعات بيانات التصوير بالرنين المغناطيسي. من خلال استخدام اتصال تخطي مع الكاردينالية، يعالج النموذج المقترح مشكلة تلاشي التدرج، ويخفف من تعقيد الحسابات على بنية CNN العميقة، ويحسن جودة البكسل. يتم استخدام مقياس F1، ومؤشر جاكارد، والاسترجاع، ودرجة DICE، ومقاييس أخرى لتقييم أداء النموذج من حيث الدقة. UnetResNet-50

وتمت مقارنة نماذج Vanilla Unet مع نموذج UnetResNext-50 بالإضافة إلى الأساليب المتطورة. درجة DICE لنموذج UnetResNext-50 هي 95.73، ولديه معدل الدقة.

تم استخدام شبكة عصبية تلافيفية (CNN) في الدراسة لتصنيف أورام الدماغ إلى خمس مجموعات استنادًا إلى بيانات التصوير بالرنين المغناطيسي. استنادًا إلى الصور المدخلة، يقوم الأسلوب المقترح بتحديد وتعلم الخصائص العميقة باستخدام شبكة عصبية تلقائية التلافيف (CANN). يتم دمج الجوانب العميقة لكل مستوى لتوليد عناصر جديدة وأقوى تعزز الأداء العام. تتمتع التقنية المقترحة بأداء مثير للإعجاب.
معدل الدقة عند الاختبار على مجموعة بيانات تشنغ، التي تصنف أورام الدماغ إلى ثلاث فئات: السحائي، والورم الدبقي، والغدة النخامية.

هدف البحث المبلغ عنه في المنشور هو استخدام التعلم العميق لبناء نموذج يمكنه التمييز بين شرائح الإدخال التي تحتوي على أنسجة ورمية وأخرى صحية. لمعالجة عدم التجانس وتأثيرات المجال للشرائح المدمجة والتقنية، يتم استخدام صورة فلتر عالي التمرير. كما يتم تطبيق خطوة معالجة فلتر الوسيط على الشرائح المدمجة لتحسين جودة الشرائح الناتجة بالإضافة إلى تنعيم وتحديد حواف شرائح الإدخال. ثم يقوم المؤلفون بتجميع البكسلات ذات الصلة باستخدام عتبة مناسبة، ويستخدمون نهج نمو البذور المتصل بأربعة نقاط لتجميع البكسلات القابلة للمقارنة من شرائح الإدخال بناءً على الكثافة.

المقال يقترح تقنية لاستخراج صور الأشعة السينية للدماغ للأورام، بما في ذلك الأورام السحائية، والأورام الدبقية، وأورام الغدة النخامية. تتضمن الطريقة استخدام التعلم الانتقالي لتمييز ميزات الصور من ترميزات GoogLeNet. ثم يتم تمثيل ترميزات GoogLeNet في فضاء ميزات ثنائي الأبعاد باستخدام شبكة عصبية سيامية (SNN). لتدريب SNN، يتم استخدام دالة خسارة تباينية لتعليمها الميزات المميزة لكل نوع من الصور. ثم يتم استخدام فضاء الميزات ذو الأبعاد المنخفضة لمقارنة صور الاستعلام بصور قاعدة البيانات باستخدام المقياس الإقليدي. تحقق هذه الاستراتيجية نتائج ممتازة في استرجاع صور الأشعة السينية للدماغ.

تمت دراسة عدة تقنيات لاستخراج الميزات وتصنيف صور الرنين المغناطيسي في هذا العمل. لقد جمع المؤلفون بين فوائد تحويل الموجات المنفصلة (DWT) وطرق كيس الكلمات لإنشاء طريقة فريدة من نوعها لكيس الكلمات. تحتوي ثلاثة مجموعات بيانات (DS-66 و DS-160 و DS-255) على تُستخدم الصور من كلية الطب بجامعة هارفارد لتقييم فعالية النظام. يتم استخدام طريقة التحقق المتقاطع (CV) ذات الطيات المتعددة والموزعة في خطوة التحقق، مما يؤدي إلى الحصول على درجات دقة من ، و للمجموعات البيانية DS-66 وDS-160 وDS-255، على التوالي. يتم حساب كل صورة MR في حوالي 0.027 ثانية في المتوسط.

هذه الدراسة تقترح تقنية تستخدم خصائص القوام والترميز النادر للنواة لتمييز أورام الدماغ عن صور الرنين المغناطيسي المعززة بتباين FLAIR. بعد إزالة الضوضاء وتعزيز التباين وعدم تجانس الشدة، تتم ترميز البقعة المحيطة بالفاكسل بشكل نادر باستخدام المتجهات الذاتية الإحصائية. باستخدام تعلم قاموس النواة، يتم استرجاع الخصائص غير الخطية لإنتاج قاموسين تكيفيين: واحد للأنسجة السليمة وآخر للأنسجة التالفة. بعد ذلك، يتم تحديد الفاكسلات باستخدام التمييز الخطي وترميزها باستخدام تقنية التجميع القائم على تعلم القاموس. أخيرًا، يتم استخدام عملية ملء الفيض لتحسين جودة التقسيم.

الشبكات العصبية هي تقنية أخرى تم اقتراحها في هذا المجال. لتحديد وتصنيف أورام الدماغ. مصنف قائم على الشبكات العصبية مع يمكن أن تحدد الدقة المحتملة المادة البيضاء، والمادة الرمادية، والسائل النخاعي، ومناطق الورم بجودة جيدة. علاوة على ذلك، يمكنها تقسيم مناطق الورم، والمادة الرمادية، والمادة البيضاء. ورقة مختلفة يقدم طريقة للكشف التلقائي عن أورام الدماغ باستخدام صور الرنين المغناطيسي. يجمع دمج منهجية MRMR مع مصنف يعتمد على SVM واستخراج الميزات المعتمد على تحويل فورييه السريع من دقة هذه الطريقة، التي تحقق معدل التصنيف.

وفقًا للدراسات يمكن تمييز أورام الدماغ في صور الرنين المغناطيسي من خلال تقسيمها إلى جزئين: جزء يحتوي على خلايا ورمية والآخر يحتوي على خلايا طبيعية. بالنسبة لتجزئة أورام الدماغ، يُقترح استراتيجية تجمع بين نمو منطقة البذور، وخوارزميات معامل التشابه جاكارد، وFCM. . عند مستويات الضوضاء التي تتراوح من 3 إلى ، تحقق الطريقة متوسط درجة تقسيم قدره تم وصف طريقة لتقسيم أنسجة الدماغ بشكل مستقل من صور الرنين المغناطيسي باستخدام اختيار الميزات وخوارزميات التجميع التمييزي في . طريقة أخرى مقترحة في يقسم صور الرنين المغناطيسي للدماغ إلى ورم، مادة بيضاء (WM)، مادة رمادية (GM)، وذمة، وسوائل دماغية شوكية (CSF) بكفاءة عالية باستخدام الموجات و الشبكات العصبية. الدراسات لقد قمت بدراسة استخدام تحويلات الموجات، وميزات القوام، وخوارزميات SVM من بين طرق أخرى لتصنيف صور الرنين المغناطيسي المعزز بالتباين الديناميكي. عند مقارنتها بالميزات الإحصائية من الدرجة الأولى، فإن الطريقة الموضحة في يقدم توقعات متفوقة ومتغيرات سريرية محسّنة مثل مرحلة السرطان وحجمه.

تُقدم الورقة استراتيجية لتصنيف أورام الدماغ باستخدام مزيج من تحليل المكونات الرئيسية، ونواة RBF، وخوارزميات SVM. . هذه الطريقة حددت معدل خطأ إجمالي قدره ، أنتجت مؤشرات تشابه عالية ونسب تداخل من و ، على التوالي، وكان لديها معدل الدقة في تصنيف أنواع الأورام. تم استخدام شبكة عصبية صناعية وميزات النسيج الأساسية في تقنية أخرى نُشرت في إلى تشخيص أورام الدماغ بدقة من صور الرنين المغناطيسي. نهج جديد بمعدلات دقة تتراوح من 83 إلى الذي ميز بنجاح بين السائل الدماغي الشوكي، والمادة البيضاء، والمادة الرمادية في صور الرنين المغناطيسي للدماغ باستخدام التجميع الضبابي المحلي مع المعلومات المكانية استنادًا إلى درجة تشابه جاكارد. لمعالجة عدم تجانس الكثافة في تقسيم الصورة ، طوروا طريقة تستخدم نموذج الكنتور النشط. علاوة على ذلك , اقترح طريقة لاستخراج الميزات تعتمد على GMM للكشف عن أورام الدماغ في صور الرنين المغناطيسي. من خلال استخدام PCA وميزات قائمة على الموجات، فإن نهج استخراج ميزات GMM يعمل بشكل جيد، مما يحقق معدل دقة قدره لصورة FLAIR و لصورة الرنين المغناطيسي T1 و T2.

يمكن تقسيم أورام الدماغ وتصنيفها بدقة باستخدام تقنية موصوفة في التي تجمع بين الشبكات العصبية الاصطناعية (ANN) وتقنية التجميع الضبابي المعدلة (MFCM). تأخذ هذه الطريقة صور الرنين المغناطيسي لأورام الدماغ وتستخرج بيانات الشكل والملمس والشدة، والتي يتم تعزيزها بعد ذلك باستخدام خوارزمية Hybrid Fruit Fly و Artificial Bee Colony (HFFABC). من أجل مراقبة عملية تعلم طبقة فك التشفير وتعزيز إنشاء خريطة الميزات، يقترح نهج مختلف تصميم المولد مع دالة خسارة مستقلة لكل طبقة. تركز بوابات الانتباه في مولد Res-UNet بشكل انتقائي على البيانات ذات الصلة بدلاً من السماح لكل شيء بالمرور عبر اتصالات التخطي.

لكشف عن سرطانات الدماغ في صور الرنين المغناطيسي، يجمع B-CNN بين الشبكة العصبية التلافيفية مع خوارزمية الخفاش. تقوم هذه الطريقة أولاً بمعالجة البيانات مسبقًا لإزالة الضوضاء، ثم تستخرج خصائص صور الرنين المغناطيسي للدماغ باستخدام مرشح Gabor ثنائي الأبعاد. تختار خوارزمية الخفاش الخصائص الأكثر صلة لتحسين الدقة.

الهدف الرئيسي من الدراسة الموصوفة في هو تعزيز دقة تقسيم أورام الدماغ. لتحقيق ذلك، يقترح المؤلف بنية جديدة تسمى MIRAU-Net، والتي تتضمن وحدات متبقية ووحدات بداية
مع بوابات الانتباه في نموذج U-Net الحالي. تُستخدم مسارات البداية المتبقية لربط خرائط ميزات الترميز وفك التشفير لتقليل المسافة بينها. كما يتم معالجة مشكلة عدم توازن الفئات باستخدام مزيج من دالة خسارة الانتروبيا المتقاطعة، وGDL، ودوال خسارة Tversky المركزة.

تم تقديم نهج آخر لتصنيف سرطان الدماغ في ، والذي يسمى CWCSO-enabled Deep CNN. تتضمن الطريقة المقترحة إزالة الضوضاء والتجميع الضبابي الاحتمالي الكسري لتقسيم منطقة الورم. تخضع المناطق المقسمة لاستخراج الميزات باستخدام تقنيات مختلفة مثل تحويل الموجات، وتحويل التشتت، ومقاييس المعلومات النظرية، وLDP، وEMP. تقدم الدراسة تقنية جديدة تسمى Significant LOOP، التي تعدل SLBP من خلال LOOP. تُستخدم هذه الميزات بعد ذلك لتدريب نموذج Deep CNN باستخدام الطريقة المقترحة CWCSO لتصنيف بين الفئات غير الورمية، والوذمة، والورم، وزيادة الورم.

في هذا البحث ، تم تقديم طريقة تعتمد على الشبكة العصبية التلافيفية (CNN) لتقسيم وتصنيف أورام الدماغ من صور الرنين المغناطيسي. تحقق التقنية المقترحة خصوصية وحساسية ودقة عالية، وF1-score، ودقة لتقسيم أورام الدماغ.

تتمثل هذه الدراسة في تقديم تقسيم سرطانات الدماغ في صور الرنين المغناطيسي من خلال استخدام مزيج من طريقة المياه وتقسيم العتبة، تليها تصنيف أورام الدماغ باستخدام مصنفات مختلفة بناءً على الميزات المستخرجة مثل MSER وFAST وHarlick، من بين أمور أخرى. تتضمن الطريقة المقترحة خطوات متعددة مثل معالجة الصور مسبقًا، واكتساب الصور، واستخراج الميزات وتقسيم الصور،

استنادًا إلى تحليل الأبحاث ذات الصلة، تم تحديد القيود التالية:

استخدمت هذه الورقة نهجًا هجينًا يستخدم شبكة عصبية مكررة ثلاثية الأبعاد مستوحاة من التعلم العميق وشبكة تلافيفية حجمية ثنائية الأبعاد لاستخراج الميزات والتقسيم لتوقع بقاء المرضى. استنادًا إلى النتائج، يقترح الباحثون أن طريقتهم مناسبة للتكامل مع أنظمة دعم القرار السريري لمساعدة المتخصصين الطبيين أو أطباء الأشعة في الفحص الأولي والتشخيص.

في هذا البحث، نقيم فعالية طريقة استخراج الميزات والتقسيم المقترحة باستخدام مجموعة بيانات BraTS2020، التي تتكون من 368 مسحة رنين مغناطيسي للدماغ مع تسميات، كل منها بحجم مع 155 شريحة، واستخدام واحدة من أربع أوضاع تصوير، وهي T1 وT1C وT2 وFLAIR، كما هو موضح في الشكل 4. تم إجراء التجربة على جهاز مزود بمعالج i7-6500U يعمل بسرعة من ذاكرة الوصول العشوائي، وNVIDIA GEFORCE GTX. توفر كل وضع تصوير معلومات فريدة لتحديد أورام الدماغ، مثل أنه يمكن تحديد الأنسجة السليمة في صور T1، ويمكن تحديد حدود الورم باستخدام وضع T1C، ويمكن تمييز مناطق الوذمة من السائل الدماغي الشوكي في صور FLAIR، وتكون صور T2 مفيدة لتحديد مناطق ورم الوذمة. جميع أوضاع التصوير مدرجة في طريقتنا المقترحة ومعالجة مسبقًا قبل استخدامها كصور إدخال للشبكات العصبية.

يتم عرض تصور صور الرنين المغناطيسي وأقنعتها باستخدام قيم صورة فريدة، وقيم دنيا وعليا، وقيم قناع فريدة في الشكل 5. بالنسبة لمجموعة بيانات صور الرنين المغناطيسي المستخدمة في هذه الدراسة، كان لدى صورة واحدة 1202 قيمة فريدة، مع قيم صورة دنيا وعليا تبلغ 0 و1. تم إعطاء عدد قيم القناع الفريدة كـ (array ([0., 1.], dtype float32)، array ).

الهدف الرئيسي من المعالجة المسبقة هو تحسين وضوح صور الرنين المغناطيسي وتحويلها إلى تنسيق يمكن معالجته بواسطة البشر أو أنظمة التعلم الآلي. كما تحسن المعالجة المسبقة الجودة البصرية لصور الرنين المغناطيسي من خلال تعزيز نسبة الإشارة إلى الضوضاء، وإزالة العناصر الخلفية غير المرغوب فيها والضوضاء، وتنعيم داخل المناطق، والحفاظ على حوافها. تحتوي مجموعة بيانات BRATS 2020 على 368 صورة رنين مغناطيسي بتنسيق nii. نظرًا لقيود الذاكرة، استخدمت هذه الدراسة 150 صورة رنين مغناطيسي للتجربة، والتي تم تقسيمها إلى ثلاثة أجزاء للتدريب والاختبار والتحقق ( ، و ). بعد تغيير حجم الصور وإدخالها، تعزز خطوة التطبيع الصور وتساعد في معالجة أي مشكلات محتملة
مع استخراج الميزات. تم استخدام تقنية قياس MinMax لإجراء التطبيع. يتشارك التطبيع والتوحيد نفس المفهوم الأساسي المتمثل في ضبط المتغيرات التي يتم تقييمها على مقاييس مختلفة لمنع التحيز في ملاءمة النموذج ووظائف التعلم. لذلك، يتم عادةً إجراء التطبيع على مستوى الميزات، مثل قياس MinMax، قبل ملاءمة النموذج. في قياس MinMax، يتم تحويل المتغيرات المدخلة إلى النطاق [ 0،1 ]، حيث تكون 0 و1 هي القيم القصوى والدنيا لكل ميزة/متغير. يتم إعطاء الصيغة الرياضية لقياس minmax في المعادلة 1.

تُعرف نماذج التعلم العميق بأدائها الاستثنائي، لكنها تأتي مع بعض العيوب. أحدها هو أنها عرضة للضوضاء، مما يعني أن هناك حاجة إلى معالجة مسبقة شاملة لكل إدخال مرئي. لتطبيع صور الرنين المغناطيسي مع جميع الخصائص، تم اتباع خطوات المعالجة المسبقة لعمليات التقسيم والكشف الموضحة في الشكل 6.

الخطوة 1. للبدء، تحتوي جميع الأنماط والحقيقة الأساسية على أحجام ثلاثية الأبعاد لها أبعاد .
الخطوة 2. يؤدي تقطيع هذه الأحجام إلى 155 صورة ثنائية الأبعاد بقياس بكسل.
الخطوة 3. من كل حجم، يتم اختيار 90 جزءًا تتراوح من 30 إلى 120.
الخطوة 4. أخيرًا، يتم تقليل كل نمط من أنماط الرنين المغناطيسي إلى أبعاد عن طريق تقليم الضوضاء الخلفية.
يمثل الشكل 7 الرسم البياني للتوزيع للتدريب والاختبار والتحقق.

الوصف: هنا مجموعة البيانات هي مجموعة من صور الرنين المغناطيسي التي ستستخدم في عملية المعالجة المسبقة

الوصف: هنا ستتم عملية التهيئة للمعالجة المسبقة

تعيين مثيل من الفئة
تعيين المرحلة لمجموعة البيانات
تعيين متغير التAugmentation للتهيئة مع استدعاء الدالة للمرحلة المعطاة
تعيين أنواع البيانات لصور مجموعة البيانات
تعيين متغير تغيير الحجم للصور

الوصف: هنا للعثور على الشكل في إطار البيانات
إرجاع قيمة الشكل في إطار البيانات
Fetch_Images(مثيل من الفئة، معرف للصور)
تعيين معرف لموقع صور BRATS
تعيين root_path لجلب القيمة
تعيين متغير للصور لتحميل جميع الأنماط
لكل data_type في class_instance.data_types
تعيين image_path حسب أنواع البيانات المعطاة
تعيين متغير img لتحميل الصور من image_path
إذا كانت class_instance.resize صحيحة، إذن
تحديث img بحجم الصورة الجديد
تحميل القيمة في img بعد استدعاء دالة class_instance.normalize مع القيمة المعطاة كمعامل
إضافة جميع الصور
إنشاء كومة للصور
تحديث المحور
إذا كانت class_instance.phase لا تساوي القيمة المرسلة، إذن
تعيين متغير mask_path باستخدام قيمة .seg لصورة الرنين المغناطيسي
تعيين متغير mask لتحميل القيمة المقسمة
إذا كانت class_instance.resize صحيحة، إذن

تحويل قيمة mask من int إلى float وتحديث متغير mask
تحديث mask بقيمة 0 و 1
استدعاء الدالة لتحديث تسمية mask
تنفيذ عملية التAugmentation
تعيين img و mask لقيمة الصورة و mask المعززة
إرجاع قيمة المعرف والصورة و mask
إرجاع المعرف والصورة

الوصف: هذه الدالة لتحميل جميع الصور وتحويلها إلى شكل مصفوفة
تعيين متغير البيانات لتحميل قيمة مسار الملف
تحديث متغير البيانات بعد تحويله إلى مصفوفة
إرجاع قيمة البيانات

الوصف: هذه الدالة مخصصة لتطبيع البيانات وفقًا للقيمة الدنيا والقصوى للصور

تعيين datamin للقيمة الدنيا للبيانات
إرجاع قيمة التعبير [(data – datamin)/(max(data) – datamin]

الوصف: تحديث قيمة mask لكائن WT و TC و ET
تحديث قيمة mask للورم الكلي بقيمة 0 و 1
تحديث قيمة mask لنواة الورم بقيمة 0 و 1
تحديث قيمة mask للورم المعزز بقيمة 0 و 1
إنشاء كومة لقيمة mask لـ WT و TC و ET
تحديث المحور لقيمة mask
إرجاع قيمة mask

الشبكة العصبية المكررة هي نوع من الشبكات العصبية التغذوية التي تعيد بناء المخرجات باستخدام نفس المدخلات. أولاً، تقلل من أبعاد المدخلات ثم تنشئ المخرجات بناءً على تلك التمثيلات. تُستخدم الشبكة العصبية المكررة بشكل متكرر للتعلم غير المراقب لأنها يمكن أن تساعد في تحديد العلاقات الخفية داخل البيانات وتقديمها في شكل أكثر إيجازًا. من خلال تحويل مشكلات التعلم غير المراقب إلى خوارزميات التعلم المراقب، يمكن تدريب الشبكة العصبية المكررة لتحديد الأنماط داخل البيانات.
تُمرر المدخلات إلى المخرجات، وتقوم شبكة التشفير بضغط المدخلات إلى شكل مشفر أصغر. في الوقت نفسه، تقوم شبكة فك التشفير بفك تشفير التشفير لإعادة بناء المدخلات .

تولد طبقة التشفير نسخة ذات أبعاد أقل من المعلومات، مما يكشف عن اتصالات معقدة ومثيرة للاهتمام داخل البيانات. يوضح الشكل 8 مكونات الشبكة العصبية المكررة.

وفقًا للعناصر التالية، يتم وصف الشبكة العصبية المكررة: فضاءات التعليمات المفككة والمعلومات المشفرة (Z) هما مجموعتان. في معظم الأوقات، و هما فضاءات إقليدية، مع و لبعض m و n.

هناك مكونان رئيسيان من الوظائف التي تم تهيئتها: عائلة المشفرين ، المهيئة بواسطة ؛ وعائلة فك التشفير ؛ المهيئة بواسطة .

غالبًا ما نكتب لأي قيمة من ونشير إليها بالعديد من الأسماء، بما في ذلك الكود، المتغير الكامن، التمثيل الكامن، المتجه الكامن، إلخ. من ناحية أخرى، نكتب غالبًا ونقابل هذا كرسالة (مفككة) لأي .

عادةً ما يتم استخدام الإدراك متعدد الطبقات لتصميم كل من المشفر وفك التشفير. كمثال، المشفر MLP ذو الطبقة الواحدة هو

تشير مصطلح “الوزن” إلى مصفوفة ممثلة بـ W، و”التحيز” يشير إلى متجه يُشار إليه بـ b، و”دالة التنشيط”، التي يُرمز إليها بـ ، هي دالة عنصرية مثل دالة سيغمويد أو وحدة خطية مصححة (ReLU).

يتكون تدريب الشبكة العصبية المكررة ثلاثية الأبعاد المقترحة من مجرد مجموعة من عاملين بمفردها. يحتاج التدريب إلى مهمة من أجل تقييم جودته. يتم استخدام توزيع احتمالي مرجعي على ودالة “كفاءة إعادة البناء” لتعريف مهمة، و هو قياس مدى انحراف عن .

تتيح لنا هذه العناصر بناء دالة خسارة الشبكة العصبية المكررة على النحو التالي

تكون الشبكة العصبية المكررة المقدمة للمهمة المفترضة ( ) هي بعد ذلك . يمكن استخدام أي نهج تحسين رياضي للعثور على الشبكة العصبية المكررة المقترحة.

المكونان الرئيسيان للشبكة العصبية المكررة هما مشفر يقوم بتحويل الاتصال إلى كود ومفكك يقوم باستخراج المعلومات من الكود. تحدد دالة جودة الاسترداد d “قريب من المثالي” كالأداء الذي يمكن أن تحققه شبكة عصبية مكررة مثالية من حيث الاستعادة.

يوضح الشكل 9 كيف تفسر الشبكة العصبية المكررة ثلاثية الأبعاد لاستخراج الميزات النموذج؛ يتم عرض النموذج بعد أن خضعت المدخلات للمعالجة المسبقة والتطبيع، ولدى المشفر ثلاث طبقات تلافيفية، وثلاث طبقات تجميع، وطبقة خطية واحدة.

الخطوة 1 – التهيئة لتمثيل التشفير تكون على هذا النحو

الخطوة 2 – التهيئة لتمثيل فك التشفير تكون على هذا النحو

الخطوة 3 – لتنفيذ عملية ترميز إطار البيانات:

بعد عملية الطبقات المذكورة أعلاه، يعود نموذج الشبكة العصبية المكررة ثلاثية الأبعاد بالميزات التي سيتم فك تشفيرها في الخطوات التالية.

الخطوة 4 – هيكل الطبقات لفك التشفير وفقًا للميزات العائدة باستخدام فك الالتواء وعدم التجميع مثل ذلك:

Decoding_Linear → unpool $1 rightarrow$ deconv $1 rightarrow$ unpool $2 rightarrow$ deconv $2 rightarrow$ unpool $3 rightarrow$ deconv 3

يوضح الشكل 10 تصور شبكتنا العصبية الالتفافية. تُستخدم العمليات الالتفافية لاستخراج الميزات من المعلومات، وبعد كل مرحلة، يتم تقليل دقة البيانات باستخدام خطوة مناسبة. الجانب الأيسر من الشبكة يضغط الإشارة، بينما الجانب الأيمن يفك ضغطها حتى تعود إلى حجمها الأصلي. . يتم تطبيق الحشو بشكل مناسب على الالتفافات في جميع أنحاء الشبكة.

في هذه الشبكة، يتعامل القسم الأيسر مع دقات مختلفة من بيانات الإدخال. تستخدم المراحل الثلاث الأولى طبقات التفاف لتحديد وظيفة متبقية، يتم تدريبها باستخدام إدخال من كل مرحلة، ثم تتم معالجتها بشكل غير خطي. تضمن هذه الوظيفة المتبقية التقارب، وهو ما لا يمكن تحقيقه في الشبكات التعليمية التقليدية بدون كتل متبقية. تستخدم عملية الالتفاف نواة حجمية بحجم فوكسي. .

تلعب الوظيفة المتبقية دورًا محوريًا في تعزيز تقارب الشبكات العصبية العميقة، ويمكن فهم فعاليتها بشكل أفضل عند مقارنتها بمسار الضغط في شبكة الالتفاف الحجمية. في مثل هذه الشبكات، يقلل مسار الضغط من الدقة باستخدام الالتفافات بخطوة 2 و نوى بعرض فوكسي، مما يقلل حجم خريطة الميزات في كل خطوة، تمامًا مثل طبقات التجميع. ومع ذلك، على عكس طبقات التجميع التي تستخدم مفاتيح لإعادة توجيه المخرجات إلى المدخلات من أجل الانتشار العكسي، يضاعف مسار الضغط عدد قنوات الميزات في كل خطوة. يضمن هذا الاختيار التصميمي أنه، حتى مع انخفاض الدقة المكانية، تحتفظ الشبكة بمعلومات كافية من خلال زيادة عدد القنوات، مما يسهل تعلم الميزات المعقدة. تضمن الوظيفة المتبقية، على غرار هذا المسار الضاغط، التدفق الفعال للمعلومات عبر الشبكة من خلال إدخال اتصالات مختصرة. تسمح هذه الاتصالات للانحدارات بتجاوز بعض الطبقات، مما يعالج مشاكل الانحدار المتلاشي والمتفجر، والتي تكون شائعة في الشبكات العميقة جدًا. تمامًا كما يزيد مسار الضغط من منطقة الاهتمام من خلال تقليل العينة ويقدم عدم الخطية عبر PReLU، تبسط الوظيفة المتبقية عملية التعلم عن طريق

إعادة صياغة المهمة إلى تعلم المتبقيات – الفروق بين المدخلات والمخرجات – بدلاً من التحولات الكاملة. تجعل هذه التبسيط الشبكة أكثر سهولة في التحسين، تمامًا كما أن تقليل العينة في مسار الضغط يوسع تركيز الشبكة. تسرع هذه الآلية أيضًا عملية التقارب، مما يسمح للشبكة بالتدريب بشكل أكثر كفاءة وفعالية. بشكل عام، تسهل الوظيفة المتبقية تقاربًا أفضل من خلال استقرار الانحدارات، وتبسيط التعلم، ومنع التدهور في الشبكات العميقة، وتحسين عملية التدريب.

يقلل هيكل الشبكة العصبية المكررة (RNN) من استخدام الذاكرة من خلال عدة آليات رئيسية. يقوم بترميز البيانات بكفاءة إلى تمثيل منخفض الأبعاد، مما يضغط بشكل كبير على بيانات الإدخال ويقلل من حجم التنشيطات الوسيطة. تتطلب عملية الترميز هذه موارد أقل مقارنةً بالبيانات الأصلية عالية الأبعاد. تستخدم الشبكة أيضًا مشاركة الوزن عبر الطبقات، مما يقلل من العدد الإجمالي للمعلمات التي تحتاج إلى التخزين. خلال التدريب، تمتد هذه الكفاءة إلى تقليل تخزين التنشيط ومتطلبات ذاكرة الانتشار العكسي الأكثر قابلية للإدارة.

من خلال استخراج الميزات وزيادة التغطية الجغرافية لخرائط الميزات ذات الدقة المنخفضة، تحاول الشبكة جمع وتوليف البيانات اللازمة لإنتاج تجزئة حجمية ذات قناتين. يتم زيادة حجم إدخال كل مستوى باستخدام إجراء فك الالتواء، والذي يرافقه من عملية التفاف واحدة إلى ثلاث عمليات، كل منها تحتوي على نصف عدد 555 نواة مثل الطبقة التي تسبقها. تمامًا كما يتم تعليم النصف الأيسر من الشبكة، يتم تعليم الوظيفة المتبقية. يتم إنتاج خريطتين ميزات بنفس حجم الحجم المصدر وقوة نواة 111 من قبل آخر طبقة التفاف. يتم تقسيم المناطق الخلفية والأمامية بشكل احتمالي إلى هاتين الخريطتين الناتجتين باستخدام طريقة فوكسي ناعمة.

تخسر عملية الضغط في الشبكة العصبية الالتفافية معلومات الموقع، كما هو موضح في الجانب الأيسر. لحل هذه المشكلة، يتم دمج الاتصالات الأفقية لنقل العناصر من المراحل المبكرة من القسم الأيسر للشبكة العصبية الالتفافية إلى الجزء الأيمن. لا يعزز هذا فقط دقة توقع الشكل النهائي ولكن أيضًا يوفر
معلومات موضع دقيقة للمكون الأيمن. من خلال دمج هذه الاتصالات، يتم تسريع وقت التقارب للنموذج.

الخطوة 2 عملية تطبيع البيانات
الخطوة 3 تقسيم البيانات المعيارية 75% بيانات التدريب، 13% بيانات الاختبار، 12% بيانات التحقق
الخطوة 4 تطبيق نموذج V-Net ثنائي الأبعاد (عملية الترميز وفك التشفير على البيانات المعيارية)
الخطوة 5 تطبيق نموذج التدريب على بيانات الاختبار وبيانات التحقق

تُستخدم وحدة الخطية المعادلة البارامترية (PReLU) كدالة تنشيط في الشبكات العصبية العميقة لمعالجة بعض القيود في دوال التنشيط التقليدية، مثل ReLU. تقدم PReLU معلمة صغيرة قابلة للتعلم للانحدار السلبي لدالة التنشيط، مما يسمح لها بتعلم أفضل انحدار بشكل تكيفي أثناء التدريب.

تُعرف PReLU على أنها لـ و لـ ، حيث هي معلمة قابلة للتعلم. على عكس ReLU القياسية، التي تضبط جميع المدخلات السلبية إلى صفر، تسمح PReLU بانحدار صغير للقيم السلبية، مما يمنع مشكلة “ReLU الميت”، حيث يمكن أن تصبح الخلايا العصبية غير نشطة وتتوقف عن التعلم إذا كانت تنتج فقط أصفارًا.

كيف تحسن PReLU أداء النموذج:

تشير استخراج الميزات إلى التقنية المستخدمة للحصول على بيانات أكثر تفصيلاً حول الصورة، مثل نسيجها وشكلها وتباينها ولونها. يعتبر تحليل النسيج جانبًا حيويًا لكل من أنظمة التعلم الآلي والإدراك البصري البشري. من خلال اختيار الميزات المهمة، يمكن أن يعزز بشكل فعال دقة النظام التشخيصي. يمكن أن تكون الملاحظات والتحليلات النسيجية مفيدة في تقييم المراحل المختلفة للأورام (تصنيف الأورام) وللتشخيص. يتم تقديم الصيغة لبعض الجوانب الإحصائية ذات الصلة ونتائج التجارب أدناه.

المتوسط (M): يتم تحديد متوسط الجسم من خلال ضرب مجموع جميع قيم البكسل في الجسم بعدد البكسلات الكلي الموجودة في الجسم.

نتيجة تجريبية للمتوسط لمجموعة بيانات BRATS 2020 مع وزن t1 ووزن t1ce ووزن t2 وflair موضحة في الشكل 11.

الانحراف (Skn) الانحراف هو مقياس للتناظر أو عدمه. تعريف الانحراف لمتغير عشوائي X، يُمثل كـ هو تحديد متوسط الصورة.

حيث SD هو الانحراف المعياري وسيتم تقييمه بهذه الطريقة

نتيجة تجريبية للانحراف في مجموعة بيانات BRATS 2020 مع وزن t1 ووزن t1ce ووزن t2 وflair موضحة في الشكل 12a.

الكورتوز (Krt) يصف معلم الكورتوز شكل توزيع الاحتمالات لمتغير عشوائي. بالنسبة للمعرف العشوائي X، يتم تعريف الكورتوز على أنه ويتم تعريفه على أنه.

نتيجة تجريبية للكورتوزيس لمجموعة بيانات BRATS 2020 مع وزن t1 ووزن t1ce ووزن t2 وflair موضحة في الشكل 12b.

فرق الانحراف: يقيس فرق الانحراف التفاوت في عدم التماثل بين توزيعين احتماليين أو مجموعتين من البيانات. الانحراف نفسه يقيس مدى انحراف التوزيع عن التماثل حول متوسطه: الانحراف الإيجابي يشير إلى ذيل أطول على اليمين، بينما الانحراف السلبي يشير إلى ذيل أطول على اليسار. من خلال حساب الفرق في الانحراف بين مجموعتين من البيانات، يوفر فرق الانحراف رؤى حول كيفية مقارنة عدم تماثلهما. الشكل 12c يظهر النتيجة التجريبية لفرق الانحرافات لمجموعة بيانات BRATS 2020 مع وزن t1، وزن t1ce، وزن t2 وflair.

المسافة المكثفة هي مفهوم يُستخدم لقياس الفرق النسبي أو التشابه بين نقاط البيانات أو التوزيعات مع التحكم في المقياس والحجم. على عكس مقاييس المسافة التقليدية، التي غالبًا ما

تأخذ الفروق المطلقة في الاعتبار وقد تتأثر بمقياس البيانات، بينما تركز المسافة المكثفة على الخصائص الجوهرية للبيانات من خلال تطبيعها أو تعديلها لتأثيرات المقياس.

تظهر الشكل 12d النتيجة التجريبية للتوزيع المكثف لمجموعة بيانات BRATS 2020 مع وزن t1، وزن t1ce، وزن t2 و flair.

المسافة غير المكثفة عن بُعد هي مفهوم يُستخدم لقياس المسافة بين نقاط البيانات أو التوزيعات دون الأخذ في الاعتبار التعديلات على المقياس أو التباين. على عكس المسافة المكثفة، التي تقوم بتطبيع المقياس لضمان مقارنات عادلة، تأخذ المسافة غير المكثفة في الاعتبار الفروقات الخام بين القيم أو الميزات مباشرة. لا يقوم هذا النهج بتعديل حجم أو توزيع البيانات، مما يجعله حساسًا للقيم المطلقة والمقياس. تُظهر الشكل 12e النتيجة التجريبية للتوزيع غير المكثف لمجموعة بيانات BRATS 2020 مع وزن t1 ووزن t1ce ووزن t2 وflair.

الانحراف المكثف هو قياس الانحراف لبيانات التوزيع المكثف. توضح الشكل 12f النتيجة التجريبية للانحراف المكثف لمجموعة بيانات BRATS 2020 مع وزن t1 ووزن t1ce ووزن t2 وflair.

الانحراف غير المكثف هو قياس الانحراف للبيانات ذات التوزيع غير المكثف. الشكل 13أ يظهر النتيجة التجريبية للانحراف غير المكثف لمجموعة بيانات BRATS 2020 مع وزن t1، وزن t1ce، وزن t2 وflair.

فرق الانحراف الكثيف للبيانات يقيم التباين الخام في الانحراف بين مجموعتين من البيانات، مما يعكس اختلافات عدم التماثل دون تعديل للقياس أو التطبيع. توضح الشكل 13b النتيجة التجريبية لفرق الانحراف الكثيف لمجموعة بيانات BRATS 2020 مع وزن t1 ووزن t1ce ووزن t2 وflair.

فرق انحراف البيانات غير الكثيفة هو الفرق بين انحراف البيانات والانحراف غير الكثيف. توضح الشكل 13c النتيجة التجريبية لفرق انحراف البيانات غير الكثيفة لمجموعة بيانات BRATS 2020 مع وزن t 1، وزن t 1 ce، وزن t 2 و flair.

الميزات الكامنة مجموعة من الكائنات مدمجة داخل فضاء متعدد الأبعاد يُعرف غالبًا بفضاء الميزات الكامنة أو فضاء التضمين (الشكل 13d). في الفضاء الكامن، يتم وضع العناصر الأكثر تشابهًا مع بعضها البعض بالقرب من بعضها. ببساطة، الفضاء الكامن هو تمثيل للبيانات المضغوطة، حيث تقع نقاط البيانات المتشابهة بالقرب من بعضها. الفضاء الكامن مفيد لاكتشاف تصورات أكثر بساطة للتحليل وكذلك لتعلم ميزات البيانات.

لتحقيق نتائج تقييم أفضل على صور الرنين المغناطيسي للدماغ، هناك حاجة إلى معايير تقييم جودة إضافية إلى المعايير المذكورة أدناه لتجزئة الصور.

الخسارة: طريقة لتقييم مدى فعالية برنامجك في نمذجة مجموعة البيانات الخاصة بك هي من خلال دالة الخسارة. إنها دالة رياضية لبارامترات خوارزمية التعلم العميق. في هذا العمل المقترح، يتم قياس أداء نموذج التقسيم من خلال خسارة الانتروبيا المتقاطعة. الرقم بين 0 و 1 يمثل الخسارة (أو الخطأ)، حيث يمثل 0 النموذج المثالي. بشكل عام، الهدف هو جعل نموذجك قريبًا من 0 قدر الإمكان. باستخدام الانتروبيا المتقاطعة، يمكننا قياس الخطأ (أو الفرق) بين توزيعين احتماليين.

على سبيل المثال، يتم توفير الانتروبيا المتقاطعة في سياق التصنيف الثنائي بواسطة:

حيث، p هو الاحتمال المتوقع و y هو المؤشر.
الدقة: هي إحصائية تُستخدم لتقييم فعالية النموذج عبر جميع الفئات. تكون مفيدة جدًا عندما تُعطى كل فئة وزنًا متساويًا. لحساب الدقة، يتم قسمة العدد الإجمالي للتخمينات الصحيحة على العدد الإجمالي للتوقعات.

متوسط IOU: يحسب متوسط التقاطع على الاتحاد (MeanIoU) نسبة التداخل بين صندوقين محيطين إلى اتحاد مساحات الصناديق. تحتوي التنبؤات والحقائق الأرضية ضمن هذه الصناديق المحيطة. يمكن استخدام هذه المقياس لأي نهج يتنبأ بالصناديق المحيطة. صيغته الرياضية هي:

معامل ديس: تم استخدام معامل التشابه ديس (DSC) كمعيار للتحقق الإحصائي لتقييم تكرارية تقسيمات البشر ودقة تداخل المساحات لتقسيمات الصور بالرسم الاحتمالي الآلي لصور الرنين المغناطيسي. يقيس هذا المعامل مدى تشابه صورتين من خلال قسمة العدد الإجمالي للبكسلات في الصورتين على مساحة التداخل بين الصورتين المقسمتين.

الدقة: يتم قياس دقة النموذج من خلال نسبة العينات الإيجابية التي تم تصنيفها بشكل صحيح من جميع العينات التي تم تصنيفها على أنها إيجابية، بغض النظر عما إذا كانت مصنفة بشكل صحيح أو غير صحيح. من ناحية أخرى، تقيم الدقة مدى فعالية النموذج في تحديد عينة على أنها إيجابية.

يرتفع المقام وتصبح الدقة منخفضة عندما يقوم النموذج بعمل العديد من التصنيفات الإيجابية الخاطئة أو عدد قليل من التصنيفات الإيجابية الصحيحة. ومع ذلك، تكون الدقة عالية عندما:

الشكل 17. توزيع أيام البقاء المستديرة للمرضى كما هو موضح في BRATS 2020.

تنفيذ نهج استخراج ميزات ورم الدماغ القائم على التصوير بالرنين المغناطيسي، والتقسيم، وتوقع أيام البقاء باستخدام شبكة عصبية مقلدة مستوحاة من التعلم العميق وشبكة الالتفاف الحجمية يواجه عدة تحديات:

تواجه أنظمة التصوير الطبي الحالية العديد من القضايا العملية والمحتملة التي تؤثر على فعاليتها واندماجها في الممارسة السريرية:

يمكن أن يؤدي دمج المنهجية المقترحة في سير العمل السريرية إلى تعزيز دقة التشخيص وتحسين رعاية المرضى من خلال تبسيط وأتمتة العمليات الرئيسية. يضمن التكامل السلس مع أنظمة التصوير الطبي الحالية والسجلات الصحية الإلكترونية التوافق ويقلل من الاضطرابات. يمكن أن تحسن الخوارزميات المتقدمة للمنهجية من تحديد الأورام وتحديد موقعها، مما يؤدي إلى تشخيصات أكثر دقة وعلاجات أفضل استهدافًا. تقلل أتمتة المهام الروتينية، مثل معالجة الصور وتحليلها، من عبء العمل وتقلل من الأخطاء البشرية، مما يسمح للأطباء بالتركيز على تفسير النتائج. توفر قدرات التحليل في الوقت الحقيقي تغذية راجعة فورية أثناء إجراءات التصوير، مما يسهل التعديلات السريعة والقرارات الأكثر استنارة. تقدم أدوات إدارة البيانات والتصور المحسنة رؤى أوضح ومعلومات شاملة للأطباء. يضمن التدريب والدعم الفعالين للمهنيين الصحيين اعتمادًا ناجحًا واستخدامًا للمنهجية الجديدة. بالإضافة إلى ذلك، تساعد آليات مراقبة الجودة والتغذية الراجعة المستمرة في تحسين المنهجية، مما يحافظ على معايير عالية من الدقة والموثوقية. يؤدي هذا التكامل في النهاية إلى تحسين العمليات التشخيصية ورعاية المرضى، مما يساهم في تحسين النتائج السريرية.

شملت هذه الدراسة استخدام التصوير بالرنين المغناطيسي (MRI) للدماغ لتمييز بين الأنسجة الطبيعية للدماغ وأنسجة الأورام، وخاصة الأورام الدبقية. من المهم تحديد مواقع الأورام الدماغية بدقة لتشخيصها وعلاجها بشكل صحيح وتقدير معدل بقاء المريض بشكل عام. لتحقيق ذلك، استخدم الباحثون نهج التعلم العميق باستخدام مجموعة من مسحات الرنين المغناطيسي. استخدموا بنية شبكة الالتفاف الحجمية ثنائية الأبعاد مع قاعدة الأغلبية لضمان تقسيم موثوق للأورام وتحسين الأداء. كما استخرج الباحثون ميزات إشعاعية من مناطق الأورام المقسمة واستخدموا شبكة عصبية ثلاثية الأبعاد مستوحاة من التعلم العميق لتحديد الميزات الأكثر فعالية في التنبؤ بمعدلات البقاء. بالمقارنة مع التعرف اليدوي من قبل المتخصصين السريريين، أظهرت النتائج أن النموذج فصل بدقة بين أورام الدماغ وتنبأ بمصير الأورام المعززة الحقيقية. توفر المنهجية المقترحة اكتشافًا دقيقًا وسريعًا لأورام الدماغ وتحديدًا دقيقًا لموقع الورم. تعتبر نتائج الدراسة حاسمة للممارسة السريرية، حيث تقدم رؤى يمكن أن تعزز رعاية المرضى ونتائجهم. من خلال دمج هذه النتائج، يمكن للأطباء تحسين فعالية العلاج وتخصيص التدخلات، مما يؤدي إلى إدارة أفضل للمرضى ونتائج صحية أفضل. يعد التعرف الدقيق وتحديد موقع أورام الدماغ أمرًا حيويًا لتحسين التشخيص وتخطيط العلاج. يضمن الكشف الدقيق أن الأورام يتم التعرف عليها بشكل صحيح، مما يمكّن استراتيجيات العلاج المستهدفة. يساعد التحديد الدقيق في تخطيط التدخلات الجراحية والعلاجات الأخرى، مما يقلل من الأضرار التي تلحق بأنسجة الدماغ السليمة. بشكل عام، تؤدي هذه التطورات إلى علاج أكثر فعالية، ونتائج أفضل، ورعاية مرضى محسنة. يمكن أن تركز الأبحاث المستقبلية حول هذا النهج على دمج البيانات متعددة الوسائط، مثل الجينات وأنواع التصوير الأخرى، لتحسين دقة التنبؤ. سيساهم تطوير نماذج علاجية مخصصة وتحسين المعالجة في الوقت الحقيقي في تعزيز الفائدة السريرية. يمكن استكشاف التعلم المنقول لتحسين القابلية للتعميم عبر مجموعات سكانية متنوعة وإعدادات التصوير بالرنين المغناطيسي.

سيقدم المؤلف المراسل المعلومات المستخدمة لدعم نتائج هذه الدراسة عند الطلب.

تاريخ الاستلام: 21 أبريل 2024؛ تاريخ القبول: 23 ديسمبر 2024
تم النشر عبر الإنترنت: 09 يناير 2025

اقترح D.R. وM.D. وS.K. وJ.K. وP.F. وA.A.K. الفكرة تحت إشراف P.J. وG.E. علاوة على ذلك، ساهم D.R. وJ.K. وM.D. وS.K. وP.F. وA.A.K. في المحاكاة التجريبية والتصميم، بينما عمل P.J. وG.E. وA.A.K. على النمذجة الرياضية. أيضًا، كتب D.R. وM.D. وS.K. وP.F. وA.A.K. المخطوطة تحت الاقتراحات المثمرة لـ J.K. وP.J. وG.E. قرأ جميع المؤلفين ووافقوا على النسخة المنشورة من المخطوطة.

يعلن المؤلفون عدم وجود مصالح متنافسة.

يجب توجيه المراسلات والطلبات للحصول على المواد إلى A.A.K. أو J.K.
معلومات إعادة الطبع والتصاريح متاحة على www.nature.com/reprints.
ملاحظة الناشر تظل Springer Nature محايدة فيما يتعلق بالمطالبات القضائية في الخرائط المنشورة والانتماءات المؤسسية.

الوصول المفتوح هذه المقالة مرخصة بموجب رخصة المشاع الإبداعي للاستخدام غير التجاري، والتي تسمح بأي استخدام غير تجاري، ومشاركة، وتوزيع، وإعادة إنتاج في أي وسيلة أو تنسيق، طالما أنك تعطي الائتمان المناسب للمؤلفين الأصليين والمصدر، وتوفر رابطًا لرخصة المشاع الإبداعي، وتوضح إذا قمت بتعديل المادة المرخصة. ليس لديك إذن بموجب هذه الرخصة لمشاركة المواد المعدلة المشتقة من هذه المقالة أو أجزاء منها. الصور أو المواد الأخرى من طرف ثالث في هذه المقالة مشمولة في رخصة المشاع الإبداعي للمقالة، ما لم يُشار إلى خلاف ذلك في سطر ائتمان للمادة. إذا لم تكن المادة مشمولة في رخصة المشاع الإبداعي للمقالة وكان استخدامك المقصود غير مسموح به بموجب اللوائح القانونية أو يتجاوز الاستخدام المسموح به، ستحتاج إلى الحصول على إذن مباشرة من صاحب حقوق الطبع والنشر. لعرض نسخة من هذه الرخصة، قم بزيارة http://creativecommo ns.org/licenses/by-nc-nd/4.0/.
© المؤلفون 2025

The most prevalent form of malignant tumors that originate in the brain are known as gliomas. In order to diagnose, treat, and identify risk factors, it is crucial to have precise and resilient segmentation of the tumors, along with an estimation of the patients’ overall survival rate. Therefore, we have introduced a deep learning approach that employs a combination of MRI scans to accurately segment brain tumors and predict survival in patients with gliomas. To ensure strong and reliable tumor segmentation, we employ 2D volumetric convolution neural network architectures that utilize a majority rule. This method helps to significantly decrease model bias and improve performance. Additionally, in order to predict survival rates, we extract radiomic features from the tumor regions that have been segmented, and then use a Deep Learning Inspired 3D replicator neural network to identify the most effective features. The model presented in this study was successful in segmenting brain tumors and predicting the outcome of enhancing tumor and real enhancing tumor. The model was evaluated using the BRATS2020 benchmarks dataset, and the obtained results are quite satisfactory and promising.

Keywords Brain tumor, Magnetic resonance imaging, Feature extraction, Segmentation, Survival days prediction, Deep learning, 3D replicator neural network, 2D volumetric Convolutional Network

MRI plays a crucial role in clinical imaging as it provides reliable and measurable information for diagnosis. It is used for various purposes such as imaging the musculoskeletal system, cardiovascular system, and particularly the central nervous system and neurological subsystems. MRI has significant advantages over conventional medical imaging methods . However, the interpretation of MRI can be affected by changes in intensity caused by B1 and B0 field nonuniformity . This can result in an uneven appearance of tissues, which can mislead image analysis algorithms and make it difficult for recognition models to detect abnormal areas.

Brain tumours are uncommon conditions that arise from growths of malignant cells that can originate anywhere in the brain . Tumours can be classified as malignant or benign based on the structure and presence of active cells. Malignant tumours have an irregular form and active cells, whereas benign tumours have a constant structure and no active cells . Glioblastomas and astrocytomas are high-grade tumours that are categorised as malignant, whereas meningiomas and gliomas are low-grade tumours that are benign.

The American Brain Tumour Society and the World Health Organisation have developed a grading system that goes from grade I to grade IV for the categorisation of benign and malignant tumours. Grades I and II gliomas are benign, whereas grades III and IV are regarded as malignant. While grade III and IV gliomas grow

quickly, low-grade tumours, such as grade I and II gliomas, grow more slowly . A low-grade brain tumour has the potential to progress to a malignant, high-grade brain tumour if treatment is not received. CNS neoplasms are classified into many categories in the WHO 5th edition , including meningiomas, embryonal tumours, pineal tumours, and CNS metastases.

The 5th edition of the blue book, which is an update from the 4th edition (Fig. 1) released in 2016, has undergone major changes in the classification of gliomas, glioneuronal and neuronal tumors, and embryonal tumors. The new edition has introduced 14 newly identified gliomas and glioneuronal tumors. Furthermore, diffuse gliomas are now classified by the WHO as either adult or paediatric-type neoplasms .

Low-grade benign tumors, such as grade I and II gliomas, can be treated by complete surgical removal. On the other hand, malignant brain tumors of grade III and IV can be cured through a combination of radiation, chemotherapy, or both. Malignant gliomas, including anaplastic astrocytoma’s, can be found in both grade III and grade IV tumors . Anaplastic astrocytoma is a mid-grade tumor with an unusual or unpredictable growth pattern and a higher growth rate than low-grade tumors. Glioblastoma, the most severe type of astrocytoma, is the highest-grade glioma. Unlike other tumor grades, glioblastoma is characterized by the presence of dead cells (necrosis) around the tumor and the rapid growth of blood vessels .

Medical image segmentation is necessary to isolate contaminated tumour tissues. Segmentation involves dividing an image into distinct parts or blocks based on shared features like colour, texture, contrast, brightness, boundaries, and greyscale levels. MR images or other imaging techniques are utilized for segmenting brain tumors into solid tumors, which may include cerebrospinal fluid, grey matter (GM), and white matter (WM), as well as separating them from central nervous system tissues and edema (CSF) .

This research or medical imaging study that focuses on the analysis of brain tumor data obtained from MRI (Magnetic Resonance Imaging) scans. The objective of this study is to extract meaningful features from brain tumor images, segment the tumor regions, and predict the survival days of patients using a combination of deep learning techniques. The study employs a particular set of techniques to achieve its objectives, specifically a 2D volumetric convolutional network and a 3D replicator neural network influenced by deep learning. An MRI is a non-invasive imaging method that offers comprehensive details on the interior anatomy of the brain, including tumours. Feature extraction is the process of taking pertinent features out of the pictures of brain tumours. Among the traits that can be used to distinguish tumour areas from healthy brain tissue include form, texture, intensity, and other distinguishing qualities. Tumour locations within the MRI images are identified and delineated by a procedure known as segmentation. This process is essential for separating the tumour from the surrounding healthy tissue and isolating the affected region. In this study, another neural network architecture

used is the 2D Volumetric Convolutional Network. To process the divided tumour zones and forecast survival days, it probably makes use of 2D convolutional layers. The replicator neural network can effectively extract meaningful representations from the tumour data by utilising deep learning techniques. This study analyses brain tumour data from MRI images using cutting-edge deep learning algorithms. The study attempts to forecast patients’ survival days by using predictive models, segmenting tumour locations, and extracting significant characteristics, which will provide important information for clinical decision-making.

This study employs a variety of magnetic resonance imaging (MRI) patterns, including fluid-attenuated inversion recovery-weighted MRI, proton density weighted MRI, T2-weighted MRI, and T1-weighted MRI, to identify brain tumours. Effective treatment for brain tumours depends on early detection. Radiological study is required when there is a clinical suspicion of a brain tumour in order to pinpoint the exact location, extent, and influence on adjacent regions. Based on this information, the most suitable treatment, whether it be surgery, radiation therapy, or chemotherapy, can be determined. Early detection of a tumour can significantly increase the chances of patient survival. Figure 2 illustrates the visualization for multimodal scan of brain MRI.

The significant contribution introduced by the research study under consideration can be listed as follows:

The rest of this article is organized Fig. 3 as follows. Section Related work provides a review of relevant previous research. In Sect. Materials and methodology adapted, we outline the materials and methodology that we used in our study. Section Measuring parameter and experimental results is dedicated to presenting the measuring parameters and experimental results. Section Discussion includes a discussion of our findings and a comparison with existing models. Finally, in Sect. Conclusion, we wrap up our work with concluding thoughts and suggestions for future improvements.

The research introduces a deep convolutional neural network (CNN) framework that utilizes several layers and variables to accurately and autonomously identify and separate brain cancer from MRI datasets. By using a skip connection with cardinality, the suggested model addresses the issue of gradient decay, lightens the computation complexity on the deep CNN architecture, and improves pixel quality. The F1-score, Jaccard Index, recall, DICE score, and other metrics are used to assess the model’s performance in terms of accuracy. The UnetResNet-50

and Vanilla Unet models are contrasted with the UnetResNext-50 model as well as cutting-edge methods. The DICE score for the UnetResNext-50 model is 95.73 , and it has a accuracy rate.

A convolutional neural network (CNN) is employed in study to classify brain tumours into five groups based on MRI data. Based on the input pictures, the proposed method identifies and learns deep properties using a convolutional autoencoder neural network (CANN). The deep aspects of each level are combined to generate new, stronger elements that enhance overall performance. The proposed technique has an impressive
accuracy rate of when tested on the Cheng dataset, which classifies brain tumours into three categories: meningioma, glioma, and pituitary.

The goal of the research reported in the publication is to use deep learning to construct a model that can differentiate between input slices containing tumorous and healthy tissue. To address the inhomogeneities and field effects of the combined MR and input slices, a high-pass filter image is utilised. A median filter processing step is also applied to the fused slices to improve the quality of the output slices as well as to smooth and highlight the edges of the input slices. The authors then cluster the relevant pixels using a suitable threshold, and they use a 4-connected seed growth approach to group comparable pixels from the input slices based on intensity.

The article suggests a technique for extracting brain tumor MRI images, including meningioma, glioma, and pituitary tumors. The method involves using transfer learning to distinguish image features from GoogLeNet encodings. The GoogLeNet encodings are then represented in a 2D feature space using a Siamese Neural Network (SNN). To train the SNN, a contrastive loss function is employed to teach it the distinct features of each image type. The lower-dimensional feature space is then used to compare query images to database images using the Euclidean metric. This strategy achieves excellent results in retrieving brain tumor MRI images.

Several techniques for feature extraction and categorisation of MR images are investigated in this work . The authors have combined the benefits of the Discrete Wavelet Transform (DWT) and Bag-of-Words approaches to create a unique BoW method. Three datasets (DS-66, DS-160, and DS-255) containing photos from Harvard Medical School are used to assess the system’s effectiveness. The k-fold stratified Cross Validation (CV) approach is used in the validation step, yielding accuracy scores of , and for the DS-66, DS160, and DS-255 datasets, respectively. Every MR image is computed in around 0.027 s on average.

This study suggests a technique that uses texture characteristics and kernel sparse coding to distinguish brain tumours from FLAIR contrast-enhanced MRIs. After eliminating noise and enhancing contrast and intensity non-uniformity, a patch surrounding the voxel is sparsely coded using statistical eigenvectors. Using kernel dictionary learning, non-linear characteristics are retrieved to produce two adaptive dictionaries: one for healthy tissue and another for damaged tissue. After that, the voxels are identified using linear discrimination and coded using a kernel-clustering technique based on dictionary learning. Finally, the flood-fill process is used to improve the segmentation quality.

Neural networks are another technique that has been proposed in this field for the identification and classification of brain tumours. A neural network-based classifier with potential accuracy can segment white matter, grey matter, cerebrospinal fluid, and tumour regions with good quality. Moreover, it can divide tumour, grey matter, and white matter areas. A different paper presents a method for automatically detecting brain tumours using MR images. Combining the MRMR methodology with an SVM-based classifier and Fast Fourier Transform-based feature extraction improves the accuracy of this approach, which obtains a classification rate.

According to studies , brain cancers may be distinguished in MR images by being divided into two parts: one having tumour cells and the other holding normal cells. For brain tumour segmentation, a strategy combining seed region growth, Jaccard similarity coefficient algorithms, and FCM is suggested in . At noise levels ranging from 3 to , the method achieves an average segmentation score of . A method for autonomously segmenting brain tissues from MR images utilising feature selection and discriminative clustering algorithms is described in . Another method proposed in divides brain MR images into tumour, white matter (WM), grey matter (GM), edoema, and cerebrospinal fluid (CSF) with high efficiency using wavelets and neural networks. Studies have examined the use of wavelet transformations, texture features, and SVM algorithms among other methods to categorise dynamic contrast-enhanced MR images. When compared to first-order statistical features, the method described in produces superior predictions and improved clinical variables such cancer stage and volume.

A strategy for categorising brain tumours utilising a mix of PCA, RBF kernel, and SVM algorithms is presented in the paper . This method identified a total error rate of , produced high similarity indices and overlap fractions of and , respectively, and had a accuracy rate in categorising tumour kinds. An ANN and texture-primitive features are used in another technique published in to accurately diagnose brain tumours from MR images. In , a new approach with accuracy rates ranging from 83 to that successfully distinguished between cerebrospinal fluid, white matter, and grey matter in brain MR images employed localised fuzzy clustering with spatial information based on the Jaccard similarity score. To address intensity inhomogeneities in picture segmentation , developed a method utilising an active contour model. Furthermore , proposed an automated GMM-based feature extraction method for brain tumour detection in MR images. By using PCA and wavelet-based features, the GMM feature extraction approach performs well, yielding an accuracy rate of for FLAIR weighted images and for T1- and T2-weighted MR images.

Brain tumours may be precisely segmented and categorised using a technique described in that combines Artificial Neural Networks (ANN) and Modified Fuzzy C-Means Clustering (MFCM). The method is taking MR images of brain tumours and extracting shape, texture, and intensity data, which are then enhanced with the Hybrid Fruit Fly and Artificial Bee Colony (HFFABC) algorithm. In order to monitor the decoder layer’s learning process and enhance the feature map creation, a different suggested approach proposes designing the generator with an independent loss function for each layer. Attention gates in Res-UNet’s generator selectively focus on pertinent data instead of letting everything pass via skip connections.

For the detection of brain cancers in MRI images, B-CNN combines Convolutional Neural Network with the Bat algorithm. This method first pre-processes the data to eliminate noise, and then extracts the characteristics of the MRI brain images using the 2-D Gabor filter. The Bat algorithm selects the most relevant characteristics to improve accuracy.

The main aim of the study discussed in is to enhance the accuracy of brain tumour segmentation. To achieve this, the author suggests a novel architecture called MIRAU-Net, which incorporates residual and inception
modules with attention gates into the existing U-Net model. Inception Residual paths are used to connect encoder and decoder feature maps to reduce the distance between them. The problem of class imbalance is also tackled using a combination of weight cross-entropy, GDL, and focused Tversky loss functions.

Another approach for brain cancer classification is presented in , which is called CWCSO-enabled Deep CNN. The proposed method involves noise elimination and fractional probabilistic fuzzy clustering to segment the tumor region. The segmented regions are subjected to feature extraction using various techniques such as wavelet transform, scattering transform, information theoretic measures, LDP, and EMP. The study introduces a novel technique called Significant LOOP, which modifies SLBP through LOOP. These features are then used to train a Deep CNN model using the suggested CWCSO method to classify between non-tumor, edema, tumor, and increased tumor categories.

In this research , a Convolutional Neural Network (CNN) based method is presented to segment and classify brain tumours from magnetic resonance images. The proposed technique achieves specificity, sensitivity, high accuracy, F1-score and precision for brain tumour segmentation.

This study is to presented brain cancers segmentation in MRI images by utilizing a combination of the watershed method and threshold segmentation, followed by classifying brain tumours using various classifiers based on extracted features such as MSER, FAST, and Harlick, among others. The suggested approach includes multiple steps such as image pre-processing, image acquisition, feature extraction and image segmentation,

Based on the analysis of related research, the following limitations have been identified:

This paper employed a hybrid approach that uses a 3D Replicator Neural Network inspired by deep learning and 2D Volumetric Convolutional Network for feature extraction and segmentation to predict patient survival. Based on the findings, the researchers propose that their method is suitable for integration with clinical decision support systems to assist medical professionals or radiologists in initial screening and diagnosis.

In this research, we evaluate the efficacy of our proposed method’s feature extraction and segmentation using the BraTS2020 dataset, which consists of 368 brain MRI scans with labels, each having dimensions of with 155 slices, and using one of the four imaging modalities, namely T1, T1C, T2, and FLAIR, as illustrated in Fig. 4. The experiment was performed on a machine equipped with an i7-6500U CPU running at of RAM, and an NVIDIA GEFORCE GTX. Each imaging modality provides unique information for identifying brain tumours, such as healthy tissues can be identified on T1 images, tumour boundaries can be identified using T1C modality, edema regions can be discriminated from cerebrospinal fluid on FLAIR images, and T2 images are useful for determining edema tumour regions. All the imaging modalities are included in our proposed method and pre-processed before being utilized as input images for neural networks.

The visualization of MR images and their masks using unique image values, minimum and maximum values, and unique mask values is shown in Fig. 5. For the MR image dataset used in this study, one image had 1202 unique values, with minimum and maximum image values of 0 and 1 . The number of unique mask values was given as (array ([0., 1.], dtype float32), array ).

The primary objective of pre-processing is to improve the clarity of MR images and convert them into a format that can be processed by humans or machine learning systems. Pre-processing also improves the visual quality of MR images by enhancing their signal-to-noise ratio, eliminating unwanted background elements and noise, smoothing the interior of regions, and maintaining their edges. The BRATS 2020 dataset contains 368 MR images in nii format. Due to memory limitations, this study used 150 MR images for the experiment, which were divided into three parts for training, testing, and validation ( , and ). After resizing and inputting the images, the normalization step strengthens them and helps to address any potential issues
with feature extraction. The MinMax scaling technique was used to perform normalization. Normalization and standardization share the same basic concept of adjusting variables assessed at different scales to prevent bias in model fitting and learning functions. Therefore, feature-wise normalization, such as MinMax Scaling, is typically done before model fitting. In MinMax scaling, input variables are transformed to the range [ 0,1 ], with 0 and 1 being the maximum and minimum values for each feature/variable. The mathematical formulation for the minmax scaling is given by Eq. 1.

Deep learning models are known for their exceptional performance, but they do come with a few drawbacks. One of them is that they are susceptible to noise, which means that extensive pre-processing is required for every input visualize. To normalize MRI images with all characteristics, the pre-processing steps for segmentation and detection operations shown in Fig. 6 were followed.

Step 1. To begin with, all the modalities and ground truth contain 3D volumes that have a dimension of .
Step 2. Slicing these volumes results in 155 2D images with a measurement of pixels.
Step 3. From each size, 90 portions ranging from 30 to 120 are selected.
Step 4. Finally, each MRI modality is reduced to a dimension of by trimming the background noise.
Figure 7 represent the distribution graph for training, testing and validation.

Description: Here Dataset is a set of MR image that will used in the process of preprocessing

Description: Here the process of initialization will be acquired for preprocessing

Set instance of class
Set phase for dataset
Set Augmentation variable to initialize with calling the function for given phase
Set data_types for dataset images
Set resize variable for images

Description: Here to find the shape in dataframe
Return the value of shape in dataframe
Fetch_Images(instance of the class, id for images)
Set id for the location of BRATS images
Set root_path to fatch the value
Set variable for images to load all the modalities
for data_type in class_instance.data_types
Set image_path as per given datatypes
Set variable img to load images from image_path
if class instance.resize is true then
Update the img with new image size
Load value in img after the calling class_instance.normalize function with given img value as a pareameter
Append all the images
Create a stack for the images
Update the axis
if class_instance.phase not equal to the passed value then
Set variable for the mask_path using the .seg value of MR image
Set variable mask for the loading of segmented value
if class_instance.resize is true then

Convert mask value from int to float and update mask variable
Update mask with 0 and 1 value
Call the function to update the mask label
Perform the operation of augmentation
Set img and mask for augmented value of image and mask
Return value of id, image and mask
Return id and image

Description: This function to load all the images and convert into array form
Set data variable to load value of file path
Update data variable after converting into array
Return data value

Description: This function dedicated to normalize the data as per min and max value of images

Set datamin for minimum value of the data
Return value of the expression [(data – datamin)/(max(data) – datamin]

Description: Update mask value for the object of WT, TC and ET
Update mask value for Whole Tumor with the value of 0 and 1
Update mask value for Tumor Core with the value of 0 and 1
Update mask value for Enhanced Tumor with the value of 0 and 1
Create a stack for WT, TC and ET mask value
Update the axis for mask value
Return value of the mask

A replicator neural network is a type of feedforward neural network that reconstructs the output using the same input. It first reduces the input’s dimension and then creates the output based on that representation. Replicator Neural Network is frequently used for unsupervised learning because they can help identify hidden relationships within data and present them in a more concise format. By transforming unsupervised learning issues into supervised learning algorithms, replicator neural network can be trained to identify patterns within data. The
input is passed through to the output, and an encoder network compresses the input into a smaller encoded form. Meanwhile, a decoder network decodes the encoding to reconstruct the input .

The encoder layer generates a lower-dimensional version of the information, revealing complex and fascinating connections within the data. Figure 8 outlines the components of a replicator neural network.

According to the following elements, replicator neural network is described: The spaces of decoded instructions and encoded information (Z) are two sets. The majority of the time, and are both Euclidean spaces, with and for certain m and n .

There are two primary components of functions that have been parametrized: the encoder family , parametrized by ; and the decoder family ; parametrized by .

We often write for any value of and refer to it by many names, including the code, latent variable, latent representation, latent vector, etc. On the other hand, we often write and correspond to this as the (decoded) message for any .

Typically, multilayer perception is used to design both the encoder and the decoder. As an illustration, the one-layer MLP encoder is

The term “weight” refers to a matrix represented by W , “bias” refers to a vector indicated by b, and “activation function,” denoted by , is an element-wise function such as a sigmoid function or rectified linear unit (ReLU).

The training of proposed 3D replicator neural network consists of just a bundle of two factors on its own. Training needs an assignment in order to assess its quality. A benchmark probability distribution over and a “reconstruction efficiency” function are used to define a job, and is a measurement of how far deviates from .

These enable us to construct the replicator neural network’s loss function as

The presented replicator neural network for the assumed job ( ) is then . Any mathematical optimization approach can be used to find the suggested replicator neural network.

The two primary components of replicator neural network are an encoder that converts a communication to a code and a decoder that extracts the information from the code. The recovery quality function d defines “near to perfect” as the performance that an ideal replicator neural network may achieve in terms of restoration.

Figure 9 illustrates how the 3D Replicator Neural Network for feature extraction interprets the model; the model is displayed after input has undergone pre-processing and normalisation, and the encoder has three convolutional layers, three pooling layers, and one linear layer.

Step 1 – Initialization for encoding representation is like that

Step 2 – Initialization for decoding representation is like that

Step 3 – To perform the operation of Encoding the data frame:

After the process of the above mention layers, the Replicator Neural Network 3D model returns the features that will be decoded by the next steps.

Step 4 – The layering structure for the decoding as per the return features using deconvolution and unpooling like that:

Decoding_Linear → unpool $1 rightarrow$ deconv $1 rightarrow$ unpool $2 rightarrow$ deconv $2 rightarrow$ unpool $3 rightarrow$ deconv 3

The Fig. 10 illustration shows our conceptual convolutional neural network. Convolutional operations are utilized to extract features from the information, and after each stage, the data’s resolution is reduced using an appropriate stride. The left side of the network compresses the signal, while the right side uncompresses it until it returns to its initial size . Padding is suitably applied to convolutions throughout the network.

In this network, the left section handles different resolutions of the input data. The first three stages use convolutional layers to identify a residual function, which is trained using input from each phase, and then nonlinearly processed. This residual function ensures convergence, which is not possible in conventional learning networks without residual blocks. The convolutional operation uses a volumetric kernel with a voxel size of .

The residual function plays a pivotal role in enhancing the convergence of deep neural networks, and its effectiveness can be better understood when compared to the compression path in a volumetric convolutional network. In such networks, the compression path reduces resolution using convolutions with a stride of 2 and voxel-wide kernels, halving the feature map size at each step, much like pooling layers. However, unlike pooling layers that use switches to map outputs back to inputs for backpropagation, the compression path doubles the number of feature channels at each step. This design choice ensures that, even as the spatial resolution decreases, the network retains sufficient information through an increased number of channels, facilitating the learning of complex features. The residual function, similar to this compression path, ensures the effective flow of information through the network by introducing shortcut connections. These connections allow the gradients to bypass certain layers, addressing the vanishing and exploding gradient problems, which are common in very deep networks. Just as the compression path increases the region of interest through downsampling and introduces non-linearity via PReLU, the residual function simplifies the learning process by

reformulating the task into learning residuals-differences between the input and the output-rather than full transformations. This simplification makes it easier for the network to optimize, much like how down-sampling in the compression path broadens the network’s focus. This mechanism also accelerates the convergence process, allowing the network to train more efficiently and effectively. Overall, the residual function facilitates better convergence by stabilizing gradients, simplifying learning, preventing degradation in deep networks, and optimizing the training process.

The Replicator Neural Network (RNN) architecture reduces memory usage through several key mechanisms. It efficiently encodes data into a lower-dimensional representation, significantly compressing the input data and reducing the size of intermediate activations. This encoding process requires fewer resources compared to the original high-dimensional data. The network also employs weight sharing across layers, which minimizes the total number of parameters that need to be stored. During training, this efficiency extends to reduced activation storage and more manageable backpropagation memory requirements.

By extracting features and increasing the geographic coverage of the lower resolution feature maps, the network tries to collect and synthesise the necessary data for producing a two-channel volumetric segmentation. Each level’s input size is increased using a deconvolution procedure, which is accompanied by one to three convolution operation that each have half as many 555 kernels as the layer before them. Similar to how the left half of the network is taught, so is the residual function. Two feature maps with the identical size as the source volume and 111 kernel strengths are produced by the last convolutional layer. The background and foreground areas are probabilistically divided into these two output feature maps using a soft-max voxel-wise method.

The compression process of the CNN loses location information, as depicted on the left side. To resolve this issue, horizontal connections are incorporated to transmit elements from the early stages of the CNN’s left section to the right portion. This not only enhances the accuracy of the final contour prediction but also provides
precise position information to the right component. By incorporating these connections, the convergence time of the model is accelerated.

Step 2 Process of Data Normalization
Step 3 Splitting the normalized data 75% Training Data, 13% Testing Data, 12% Validation Data
Step 4 Apply 2D V-Net Model (Encoding and Decoding process on normalized Data)
Step 5 Applying Training model into Testing Data and Validation Data

The Parametric Rectified Linear Unit (PReLU) is used as the activation function in deep neural networks to address certain limitations of traditional activation functions, such as ReLU. PReLU introduces a small, learnable parameter for the negative slope of the activation function, allowing it to adaptively learn the best slope during training.

PReLU is defined as for and for , where is a learnable parameter. Unlike the standard ReLU, which sets all negative inputs to zero, PReLU allows a small gradient for negative values, thereby preventing the “dying ReLU” problem, where neurons can become inactive and stop learning if they output only zeros.

How PReLU Improves Model Performance:

Feature extraction refers to the technique of obtaining more detailed data about an image, such as its texture, shape, contrast, and color. Texture analysis is a vital aspect of both machine learning systems and human visual perception. By selecting significant features, it can effectively enhance the accuracy of the diagnostic system. Textural observations and analysis can be beneficial in evaluating the different stages of tumours (tumour staging) and for diagnosis. The formula for some relevant statistical aspects and the results of the experiments are provided below.

Mean (M): The mean of the object is determined using, by multiplying the sum of all the pixel values in an object by the overall number of pixels present in the object.

Experimental result of mean for the BRATS 2020 dataset with t1 weighted, t1ce weighted, t2 weighted and flair is shown in Fig. 11.

Skewness (Skn) Skewness is a metric for symmetry or lack thereof. The definition of the skewness of an arbitrary variable X , represented as , is the determination of the image’s mean.

Where SD is standard deviation and will be evaluated like that

Experimental result of Skewness for the BRATS 2020 dataset with t1 weighted, t1ce weighted, t2 weighted and flair is shown in Fig. 12a.

Kutosis (Krt) The Kurtosis parameter describes the probability distribution’s form for a random variable. For the random identifier X , the Kurtosis is identified as and it is defined as.

Experimental result of Kurtosis for the BRATS 2020 dataset with t1 weighted, t1ce weighted, t2 weighted and flair is shown in Fig. 12b.

Skewness Difference: Skewness Difference measures the disparity in asymmetry between two probability distributions or datasets. Skewness itself quantifies how a distribution deviates from symmetry around its mean: positive skewness indicates a longer tail on the right, while negative skewness suggests a longer tail on the left. By calculating the difference in skewness between two datasets, Skewness Difference provides insight into how their asymmetries compare. Figure 12c shows the experimental result of skewness differences for the BRATS 2020 dataset with t1 weighted, t1ce weighted, t2 weighted and flair.

Intensive Distance Intensive Distance is a concept used to measure the relative difference or similarity between data points or distributions while controlling for scale and size. Unlike traditional distance metrics, which often

consider absolute differences and may be influenced by the scale of data, Intensive Distance focuses on the inherent characteristics of the data by normalizing or adjusting for scale effects.

Figure 12d shows the experimental result of intensive distribution for the BRATS 2020 dataset with t1 weighted, t1ce weighted, t2 weighted and flair.

Non-intensive Distance Non-Intensive Distance is a concept used to measure the distance between data points or distributions without accounting for scale or variability adjustments. Unlike Intensive Distance, which normalizes for scale to ensure equitable comparisons, Non-Intensive Distance considers the raw differences between values or features directly. This approach does not adjust for the size or distribution of the data, making it sensitive to absolute values and scale. Figure 12e shows the experimental result of non-intensive distribution for the BRATS 2020 data set with t1 weighted, t1ce weighted, t2 weighted and flair.

Intensive skewness It is the measurement of skewness for intensive distribution data. Figure 12f shows the experimental result of intensive skewness for the BRATS 2020 dataset with t1 weighted, t1ce weighted, t2 weighted and flair.

Non-intensive Skewness It is the measurement of skewness for non-intensive distribution data. Figure 13a shows the experimental result of non-intensive skewness for the BRATS 2020 dataset with t1 weighted, t1ce weighted, t 2 weighted and flair.

Data intensive skewness difference It evaluates the raw disparity in skewness between two datasets, reflecting the asymmetry differences without adjusting for scale or normalization. Figure 13b show the experimental result of Intensive Skewness Difference for the BRATS 2020 data set with t1 weighted, t1ce weighted, t2 weighted and flair.

Data non-intensive skewness difference It is the difference between data skewness and non-intensive skewness. Figure 13c shows the experimental result of data non-intensive skewness Difference for the BRATS 2020 data set with t 1 weighted, t 1 ce weighted, t 2 weighted and flair.

Latent feature A set of objects is embedded within a multidimensional in a latent space, often referred to as a latent feature space or embedding space (Fig. 13d). In the latent space, the items that are more similar to one another are placed closer to one another. Simply said, the latent space is a depiction of compressed data, where like data points are located near to one another. Latent space is helpful for discovering more straightforward visualisations for analysis as well as for learning data features.

To achieve better evaluation results on brain MR images, additional quality evaluation parameters to the one below mentioned are also required for segmentation.

Loss: A way to assess how effectively your programme models your dataset is via the Loss function. It is a mathematical function of the deep learning algorithm’s parameters. In this proposed work, performance of a segmentation model is measured by cross entropy loss. A number between 0 and 1 represents the loss (or error), with 0 representing the ideal model. Generally speaking, the objective is to bring your model as close to 0 as you can. Using cross entropy, we can measure the error (or difference) between two probability distributions.

Cross-entropy, for instance, in the context of Binary Classification is provided by:

Where, p is the predicted probability and y is the indicator.
Accuracy: A statistic used to assess the model’s effectiveness across all classes is accuracy. When each class is given equal weight, it is very helpful. To determine accuracy, divide the total number of correct guesses by the total number of forecasts.

MeanIOU: Mean Intersection over Union (MeanIoU) calculates the proportion of the overlap between two bounding boxes to the union of the areas of the boxes. The prediction and the ground truth are contained within these bounding boxes. This metric can be used for any approach that predicts bounding boxes. Its mathematical formulation is:

Dice Coefficient: The Dice similarity coefficient (DSC) was employed as a statistical validation metric to assess the repeatability of human segmentations and the spatial overlap accuracy of automated probabilistic fractional segmentation of MR images. This coefficient measures how similar two images are by dividing the total number of pixels in both images by the area of overlap between the two segmented images.

Precision: The model’s accuracy is measured by the percentage of Positive samples that were correctly classified out of all samples that were classified as Positive, regardless of whether they were classified correctly or incorrectly. Precision, on the other hand, evaluates how effectively the model identifies a sample as positive.

The denominator rises and the precision becomes low when the model makes many wrong Positive classifications or few correct Positive classifications. However, the precision is high when:

Fig. 17. Distribution of rounded Survival Days of patient as given in BRATS 2020.

Implementing the MRI-based brain tumor feature extraction, segmentation, and survival days prediction approach using a Deep Learning Inspired Replicator Neural Network and Volumetric Convolution Network presents several challenges:

Existing medical imaging systems face several practical and potential issues that impact their effectiveness and integration into clinical practice:

Integrating the proposed methodology into clinical workflows can enhance diagnostic accuracy and optimize patient care by streamlining and automating key processes. Seamless integration with existing medical imaging systems and electronic health records ensures compatibility and reduces disruptions. The methodology’s advanced algorithms can improve tumor identification and localization, leading to more precise diagnoses and better-targeted treatments. Automation of routine tasks, such as image preprocessing and analysis, reduces workload and minimizes human error, allowing clinicians to focus on interpreting results. Real-time analysis capabilities provide immediate feedback during imaging procedures, facilitating quicker adjustments and more informed decisions. Enhanced data management and visualization tools offer clearer insights and comprehensive information for clinicians. Effective training and support for healthcare professionals ensure successful adoption and use of the new methodology. Additionally, quality control mechanisms and ongoing feedback help refine the methodology, maintaining high standards of accuracy and reliability. This integration ultimately improves diagnostic processes and patient care, contributing to better clinical outcomes.

This study involved using magnetic resonance imaging (MRI) of the brain to distinguish between normal brain tissue and tumor tissue, specifically gliomas. It is important to accurately identify and locate brain tumors to properly diagnose, treat, and estimate the patient’s overall survival rate. To achieve this, the researchers employed a deep learning approach using a combination of MRI scans. They used a 2D Volumetric Convolutional Network architecture with a majority rule to ensure reliable tumor segmentation and improve performance. The researchers also extracted radiomic features from the segmented tumor regions and used a Deep Learning Inspired 3D Replicator neural network to identify the most effective features for predicting survival rates. In comparison to manual identification by clinical specialists, the findings demonstrated that the model accurately segregated brain tumours and forecasted the fate of enhancing and genuine enhancing tumours. The proposed methodology provides an accurate and speedy detection of brain tumors and precise location of the tumour. The study’s findings are crucial for clinical practice, offering insights that can enhance patient care and outcomes. By integrating these results, clinicians can improve treatment effectiveness and tailor interventions, leading to better patient management and health outcomes. Accurate identification and localization of brain tumors are critical for improving diagnosis and treatment planning. Precise detection ensures that tumors are correctly identified, enabling targeted treatment strategies. Accurate localization helps in planning surgical interventions and other therapies, minimizing damage to healthy brain tissue. Overall, these advancements lead to more effective treatment, better outcomes, and improved patient care. Future research on this approach could focus on integrating multimodal data, such as genetics and other imaging types, to improve prediction accuracy. Developing personalized treatment models and optimizing for real-time processing would enhance clinical utility. Transfer learning could be explored to improve generalizability across diverse populations and MRI settings.

The corresponding author will give the information used to back up the findings of this investigation upon request.

Received: 21 April 2024; Accepted: 23 December 2024
Published online: 09 January 2025

D.R., M.D., S.K., J.K., P.F. and A.A.K. proposed the idea under the supervision of the P.J., and G.E. Moreover, D.R., J.K, M.D., S.K., P.F. and A.A.K. contributed in the experimental simulations and designing, while P.J., G.E. and A.A.K. worked on the mathematical modeling. Also, D.R., M.D., S.K., P.F. and A.A.K. wrote the manuscript under the fruitful suggestions of J.K., P.J., G.E. All authors have read and agreed to the published version of the manuscript.

The authors declare no competing interests.

Correspondence and requests for materials should be addressed to A.A.K. or J.K.
Reprints and permissions information is available at www.nature.com/reprints.
Publisher’s note Springer Nature remains neutral with regard to jurisdictional claims in published maps and institutional affiliations.