DOI: https://doi.org/10.1016/j.neucom.2026.133905
تاريخ النشر: 2026-05-08
المؤلف: Simone Cammarasana وآخرون
الموضوع الرئيسي: طرق إزالة الضوضاء من الصور والإشارات
نظرة عامة
تقدم الورقة نهجًا جديدًا يسمى الالتفاف الموزون، والذي يعزز طريقة الالتفاف التقليدية المستخدمة للإشارات على الشبكات المنتظمة، مثل الصور ثنائية الأبعاد. على عكس الالتفاف القياسي الذي يعامل جميع البكسلات المجاورة بشكل متساوٍ، يطبق الالتفاف الموزون دالة كثافة مثالية لتعديل مساهمات البكسلات المجاورة بناءً على مسافتها من البكسل المركزي. يهدف هذا الأسلوب إلى تحسين دقة التقريب في الشبكات العصبية الالتفافية (CNNs).
يقترح المؤلفون إطارًا لحساب دالة الكثافة المثالية من خلال نموذج تقليل، والذي يفصل تحسين أوزان نواة الالتفاف (باستخدام الانحدار العشوائي) عن تحسين دالة الكثافة (باستخدام خوارزمية DIRECT-L). تشير النتائج التجريبية إلى أن الالتفاف الموزون يؤدي إلى تقليل كبير في الخسارة (تحسين يصل إلى 53%) وزيادة في دقة الاختبار لمهام تحويل الصورة إلى صورة، مثل إزالة الضوضاء من الصور، مقارنةً بالالتفاف القياسي. على الرغم من أن الطريقة تزيد من وقت التنفيذ بنسبة 11%، إلا أنها تظهر قوة عبر مختلف المعلمات الفائقة. ستستكشف الأبحاث المستقبلية تطبيق الالتفاف الموزون في سيناريوهات التعلم الالتفافي للصور ثنائية وثلاثية الأبعاد في العالم الحقيقي.
مقدمة
تناقش مقدمة هذه الورقة البحثية التقدم في التعلم العميق، مع التركيز بشكل خاص على الشبكات العصبية الالتفافية (CNNs) وتطبيقها في معالجة الصور ثنائية الأبعاد. يستفيد التعلم العميق من مجموعات بيانات كبيرة وطبقات متعددة لتحويل الإشارات المدخلة إلى تمثيلات ذات مستوى أعلى، مما يقلل بشكل فعال من عدد المعلمات المطلوبة. يتم تسليط الضوء على مشغل الالتفاف لقدراته في استخراج الميزات ووصف التسلسلات الهرمية المكانية، وهو أمر حاسم لمجموعة متنوعة من التطبيقات في رؤية الكمبيوتر، والروبوتات، والسيارات، والرعاية الصحية. يقترح المؤلفون نهجًا جديدًا يسمى الالتفاف الموزون، والذي يدمج دالة كثافة في عملية الالتفاف لتحسين مساهمة البكسلات المجاورة بالنسبة لبكسل مرجعي، مما يعزز استخراج الميزات مع الحفاظ على نفس عدد المعلمات القابلة للتدريب.
تحدد الورقة نموذج تحسين يحسب دالة الكثافة المثالية لتقليل دالة الخسارة مقارنةً بالتعديل المتساوي. تم تصميم نموذج التعلم لمهام تحويل الصورة إلى صورة، مثل إزالة الضوضاء من الصور، ويستخدم طريقتين مختلفتين للتحسين: الانحدار العشوائي (SGD) لتحسين أوزان النواة وطريقة تقسيم المستطيل المحلي (DIRECT-L) لتحسين دالة الكثافة. تظهر النتائج التجريبية أن الالتفاف الموزون يتفوق بشكل كبير على دالة الكثافة المتساوية، محققًا متوسط تقليل بنسبة 30% في دالة الخسارة. كما تحسن دالة الكثافة المثالية دقة التصنيف في مهام التصنيف متعددة التسميات. تشير النتائج إلى أن الالتفاف الموزون يلتقط بشكل فعال الاعتماديات المكانية ويعزز سلوك التقارب، مما يجعله نهجًا واعدًا للتطبيقات في العالم الحقيقي، خاصة في المجالات التي تتطلب دقة عالية مثل التصوير الطبي والأنظمة المستقلة. يوفر المؤلفون الوصول إلى كود التنفيذ لمزيد من البحث والتطبيق.
طرق
في هذا القسم، يقدم المؤلفون منهجيتهم لحساب دالة الكثافة المثالية، المشار إليها بـ $\alpha$، ويحللون الوقت المرتبط بالتنفيذ. على وجه التحديد، يعرفون الدالة $\Phi$ على أنها $\Phi = \alpha \alpha^\top$، حيث تعمل $\alpha$ كعنصر رئيسي في تحليلهم. يتم توضيح حساب دالة الكثافة المثالية في القسم 4.1، بينما يركز القسم 4.2 على الوقت المطلوب لهذه الحسابات. يعترف المؤلفون بالاستخدام غير التقليدي لمصطلح “دالة الكثافة” في هذا السياق، مما يشير إلى تفسير دقيق لتعريفها.
نقاش
في هذا القسم، يناقش المؤلفون التقدم في الشبكات العصبية الالتفافية (CNNs)، مع التركيز على تحسينات الهيكلية، وتكاليف الحوسبة، وإدخال مشغل الالتفاف الموزون مع دالة كثافة مثالية. يسلطون الضوء على تطور الشبكات العصبية الالتفافية من النماذج المبكرة مثل Cognitron إلى الهياكل المعاصرة، مؤكدين على دور طبقات الالتفاف، وتحسين النواة، وأهمية المعلمات الفائقة في تعزيز أداء النموذج. يتضمن النقاش تقنيات تحسين مختلفة، مثل استخدام آليات الانتباه الذاتي وطرق التجميع، التي تحسن دقة التصنيف من خلال الاستفادة من نقاط القوة في شبكات متعددة.
يقدم المؤلفون نهجًا جديدًا للالتفاف من خلال إدخال مشغل الالتفاف الموزون الذي يدمج دالة كثافة، مما يسمح باستخراج ميزات أكثر مرونة وفعالية. يظهرون أن هذه الطريقة يمكن أن تقلل بشكل كبير من دالة الخسارة—بنسبة 12% إلى 53%—مقارنةً بأساليب الالتفاف القياسية عبر أحجام نواة مختلفة. يتم تحقيق تحسين دالة الكثافة من خلال خوارزمية DIRECT-L، التي تحسب المعلمات المثالية بكفاءة مع تقليل دالة الخسارة. تشير النتائج إلى أن دالة الكثافة المثالية تعزز قدرة النموذج على التقاط الميزات ذات الصلة، مما يحسن الأداء العام في مهام مثل إزالة الضوضاء من الصور والتصنيف. يتم اقتراح عمل مستقبلي لتطبيق هذه المنهجية على مجموعات بيانات أكبر وهياكل أكثر تعقيدًا، بهدف التحقق من فوائد نهج الالتفاف الموزون بشكل أكبر.
DOI: https://doi.org/10.1016/j.neucom.2026.133905
Publication Date: 2026-05-08
Author(s): Simone Cammarasana et al.
Primary Topic: Image and Signal Denoising Methods
Overview
The paper presents a novel approach called weighted convolution, which enhances the traditional convolution method used for signals on regular grids, such as 2D images. Unlike standard convolution that treats all neighboring pixels equally, the weighted convolution applies an optimal density function to scale the contributions of neighboring pixels based on their distance from the central pixel. This method aims to improve approximation accuracy in convolutional neural networks (CNNs).
The authors propose a framework for computing the optimal density function through a minimization model, which separates the optimization of convolutional kernel weights (using stochastic gradient descent) from the optimization of the density function (using the DIRECT-L algorithm). Experimental results indicate that the weighted convolution leads to a significant reduction in loss (up to 53% improvement) and an increase in test accuracy for image-to-image tasks, such as image denoising, compared to standard convolution. Although the method increases execution time by 11%, it demonstrates robustness across various hyperparameters. Future research will explore the application of weighted convolution in real-world 2D and 3D image convolutional learning scenarios.
Introduction
The introduction of this research paper discusses the advancements in deep learning, particularly focusing on convolutional neural networks (CNNs) and their application in processing 2D images. Deep learning leverages large datasets and multiple layers to transform input signals into higher-level representations, effectively reducing the number of parameters needed. The convolution operator is highlighted for its ability to extract features and describe spatial hierarchies, which is crucial for various applications in computer vision, robotics, automotive, and healthcare. The authors propose a novel approach called weighted convolution, which incorporates a density function into the convolution process to optimize the contribution of neighboring pixels relative to a reference pixel, thereby enhancing feature extraction while maintaining the same number of trainable parameters.
The paper outlines an optimization model that computes the optimal density function to minimize the loss function compared to uniform scaling. The learning model is designed for image-to-image tasks, such as image denoising, and employs two different optimization methods: stochastic gradient descent (SGD) for kernel weight optimization and the divide rectangle-local (DIRECT-L) method for density function optimization. Experimental results demonstrate that the weighted convolution significantly outperforms the uniform density function, achieving an average reduction of 30% in the loss function. The optimal density function also improves classification accuracy in multi-label classification tasks. The findings suggest that the weighted convolution effectively captures spatial dependencies and enhances convergence behavior, making it a promising approach for real-world applications, particularly in fields requiring high accuracy like medical imaging and autonomous systems. The authors provide access to the implementation code for further research and application.
Methods
In this section, the authors present their methodology for computing the optimal density function, denoted as $\alpha$, and analyze the associated execution time. Specifically, they define the function $\Phi$ as $\Phi = \alpha \alpha^\top$, where $\alpha$ serves as a key component in their analysis. The computation of the optimal density function is elaborated in Section 4.1, while Section 4.2 focuses on the execution time required for these calculations. The authors acknowledge the unconventional use of the term “density function” in this context, indicating a nuanced interpretation of its definition.
Discussion
In this section, the authors discuss advancements in convolutional neural networks (CNNs), focusing on architectural optimizations, computational costs, and the introduction of a weighted convolution operator with an optimal density function. They highlight the evolution of CNNs from early models like the Cognitron to contemporary architectures, emphasizing the role of convolution layers, kernel optimization, and the importance of hyperparameters in enhancing model performance. The discussion includes various optimization techniques, such as the use of self-attention mechanisms and ensemble methods, which improve the classification accuracy by leveraging the strengths of multiple networks.
The authors present a novel approach to convolution by introducing a weighted convolution operator that incorporates a density function, which allows for more flexible and effective feature extraction. They demonstrate that this method can significantly reduce the loss function—by 12% to 53%—compared to standard convolution methods across different kernel sizes. The optimization of the density function is achieved through the DIRECT-L algorithm, which efficiently computes optimal parameters while minimizing the loss function. The results indicate that the optimal density function enhances the model’s ability to capture relevant features, thereby improving overall performance in tasks such as image denoising and classification. Future work is proposed to apply this methodology to larger datasets and more complex architectures, aiming to further validate the benefits of the weighted convolution approach.