DOI: https://doi.org/10.1007/s10462-025-11193-y
تاريخ النشر: 2025-03-21
المؤلف: Chaodong Fan وآخرون
الموضوع الرئيسي: أبحاث خوارزميات التحسين الميتاهيرستية
نظرة عامة
تقدم البحث آلة دعم مصفوفة التنسور (STTM)، التي تستفيد من الارتباطات الكامنة في هياكل بيانات التنسور ولكن تواجه تحديات تتعلق بتدريب المعلمات غير الفعال والازدواجية الكبيرة في الميزات. لمعالجة هذه القضايا، يقترح المؤلفون خوارزمية البحث الجاذبي الخطوي (SGSA) التي تهدف إلى تعزيز اختيار الميزات المتزامن وتحسين المعلمات لـ STTM. تستخدم SGSA هيكل سكان مزدوج جديد، حيث يركز أحد السكان الفرعيين (Pop1) على الاستكشاف من خلال استراتيجية تعلم هجينة من K الأفضل، بينما يركز السكان الفرعي الآخر (Pop2) على الاستغلال، باستخدام استراتيجية تحديث الموقع التي تجمع بين توزيعات كوشي وغوسي للحفاظ على قدرات الاستكشاف.
تظهر النتائج أن SGSA تتفوق على العديد من الخوارزميات الحديثة في أداء التحسين عبر وظائف اختبار متنوعة. بالإضافة إلى ذلك، عند تطبيقها على مجموعات بيانات fMRI، تقلل SGSA-STTM الميزات الزائدة بأكثر من 40% في معظم الحالات، مما يعزز بشكل كبير كفاءة الخوارزمية. بلغت دقة التصنيف المحققة على مجموعة بيانات fMRI StarPlus ومجموعة بيانات CMU Science 2008 60% و70%، على التوالي، مما يشير إلى إمكانية الطريقة في تحسين مهام التصنيف في بيانات التصوير العصبي.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على التعقيد المتزايد وحجم البيانات في مجالات مختلفة، مما يبرز أهمية التنسورات في التقاط الهيكل والارتباطات داخل هذه البيانات بشكل فعال. تواجه طرق التعلم الآلي التقليدية، التي تستخدم عادةً المتجهات أو المصفوفات، تحديات عند تطبيقها على بيانات التنسور، خاصة في السياقات الطبية مثل التصوير بالرنين المغناطيسي الوظيفي (fMRI)، حيث تعيق القيود الحاسوبية والتخزينية نشر نماذج معقدة مثل التعلم العميق. وبالتالي، اكتسبت النماذج الأبسط مثل آلات دعم المتجهات (SVM) زخمًا بسبب طبيعتها الخفيفة وقدراتها القوية على التعميم.
تستعرض الورقة تطور نماذج SVM المعتمدة على التنسور، بدءًا من نموذج التعلم بالتنسور المراقب (STL) الذي اقترحه تاو وآخرون في عام 2005، إلى تنويعات أكثر تقدمًا مثل آلة دعم التنسور (STM) وآلة دعم توكر (STuM). على الرغم من هذه التقدمات، غالبًا ما تكافح النماذج الحالية مع قضايا مثل محدودية التعبير وتعقيد الحوسبة العالي. يشير المؤلفون إلى أنه على الرغم من وجود أبحاث كبيرة حول تحسين معلمات SVM واختيار الميزات، تركز هذه الجهود بشكل أساسي على بيانات المتجهات. تقدم الورقة نهجًا جديدًا، وهو خوارزمية البحث الجاذبي الخطوي (SGSA)، التي تهدف إلى تحسين المعلمات واختيار الميزات لآلات دعم مصفوفة التنسور في وقت واحد. يتضمن هذا الأسلوب هيكل سكان مزدوج لتعزيز قدرات الاستكشاف والاستغلال، مما يعالج قيود الخوارزميات السابقة ويضع الأساس لتحسين أداء التصنيف في تطبيقات بيانات التنسور.
طرق
في هذا القسم، يوضح المؤلفون تحليل المعلمات وإعداد التجارب لتنفيذ SGSA (خوارزمية تحسين حوت العنبر). تعتبر المعلمات th1 و th2 و th3 و th4 حاسمة للتحكم في عمليات SGSA وتؤثر بشكل مباشر على نتائج تحسينها. يستكشف المؤلفون بشكل منهجي القيم المعقولة لهذه المعلمات: تتراوح th1 من 0 إلى 1، بينما يتم تقييد th2 و th3 من 0 إلى 0.33، و th4 محدود من 0-0.05 لضمان أن الوكلاء في Pop2 يستغلون بشكل أساسي حول أفضل موقع عالمي \( P_g \). تم اختبار ما مجموعه 900 تركيبة من هذه المعلمات عبر 30 تجربة مستقلة لكل وظيفة من \( F_1 \) إلى \( F_{24} \). يكشف التحليل أن th1 هي المعلمة الأكثر حساسية، حيث تؤثر بشكل كبير على تقسيم السكان وأداء الخوارزمية، بينما تظهر th4 أقل حساسية بسبب نطاقها المحدود.
تم تحديد تركيبة المعلمات المثلى وهي th1 = 0.70، th2 = 0.20، th3 = 0.15، و th4 = 0.05، والتي تم اعتمادها للتجارب اللاحقة. كما يقارن المؤلفون أداء التصنيف لـ SGSA ضد مجموعة متنوعة من المصنفات، بما في ذلك SVM و 3D CNN، في ظل ظروف الموارد الحاسوبية المحدودة. تستخدم جميع الطرق المعتمدة على النواة نواة Gaussian RBF، مع اختيار المعلمات C و σ من نطاق محدد مسبقًا. تم تعيين معلمات SGSA N و \( T_{\text{max}} \) إلى 10 و 29، على التوالي، مع انتهاء الخوارزمية عند الوصول إلى الحد الأقصى من التكرارات أو عندما تظل قيمة اللياقة للوكيل الأمثل عالميًا دون تغيير لمدة خمس تكرارات متتالية. يهدف هذا النهج المنظم إلى التحقق من فعالية SGSA في سيناريوهات التصنيف المختلفة.
نتائج
في قسم النتائج، يتم تقييم أداء خوارزمية SGSA المقترحة بشكل شامل مقابل مجموعة متنوعة من خوارزميات التحسين، بما في ذلك عدة متغيرات من خوارزمية البحث الجاذبي (GSA) وخوارزميات أخرى مثل VPPSO و COA و SCSO و OMA و RSA، بالإضافة إلى الفائزين في مسابقة CEC مثل LSHADE ومتغيراته. تشير النتائج إلى أن SGSA تتفوق باستمرار على GSA ومتغيراته، مما يظهر قدرات تحسين متفوقة عبر وظائف اختبار متعددة. على وجه الخصوص، يساهم الهيكل السكاني المزدوج لـ SGSA، الذي يدمج استراتيجيات الاستكشاف والاستغلال، في أدائها المحسن، محققًا أفضل النتائج في معظم الوظائف المختبرة.
تؤكد التحليلات الإحصائية باستخدام اختبار رتبة فريدمان فعالية SGSA، كاشفة عن مزايا كبيرة على العديد من الخوارزميات المقارنة، بينما تظهر مرتبة متوسطة تنافسية ضد أفضل متغيرات DE. بالإضافة إلى ذلك، يظهر SGSA-STTM، وهو متغير مصنف، أنه يتفوق على المصنفات التقليدية مثل SVM و 3D CNN على مجموعات بيانات fMRI، محققًا دقة تصنيف تتجاوز 60% و 70% على مجموعات بيانات StarPlus و CMU Science، على التوالي. تؤكد هذه النتائج قوة SGSA في كل من مهام التحسين والتصنيف، مما يثبت منهجياتها المقترحة لتحسين المعلمات واختيار الميزات.
مناقشة
في هذا القسم، يناقش المؤلفون تطوير وتحسين خوارزمية البحث الجاذبي الخطوي (SGSA) المدمجة مع آلة دعم مصفوفة التنسور (STTM) من أجل تصنيف فعال لبيانات التنسور. تعالج SGSA قيود خوارزمية البحث الجاذبي التقليدية (GSA) من خلال تقديم هيكل سكان مزدوج، حيث يركز أحد السكان الفرعيين على الاستكشاف والآخر على الاستغلال. يهدف هذا التصميم إلى تعزيز قدرة الخوارزمية على تحقيق التوازن بين هذين الجانبين الحاسمين طوال عملية التحسين. بالإضافة إلى ذلك، يقترح المؤلفون آلية تعلم هجينة تجمع بين التعلم من K الأفضل مع التعلم النخبوي للاحتفاظ بالوكلاء الأمثل واستخدام المعلومات التاريخية للبحث، مما يحسن سرعة التقارب والدقة.
كما يؤكد المؤلفون على أهمية اختيار الميزات المتزامن وتحسين المعلمات في STTM، مما يسمح بالتحسين المتزامن لمعايير النموذج ومجموعات الميزات. يتناقض هذا النهج مع الطرق التقليدية التي غالبًا ما تتطلب مراحل تحسين منفصلة، مما قد يؤدي إلى اختيار ميزات غير مثالي. يتم توضيح إطار عمل SGSA-STTM من خلال مخطط انسيابي، يوضح العملية من تحليل التنسور إلى الناتج النهائي للمعلمات المحسنة ومجموعات الميزات. من المتوقع أن يتفوق الأسلوب المقترح على الخوارزميات الهجينة الحالية من خلال إدارة تعقيدات تصنيف بيانات التنسور بشكل فعال مع الحفاظ على الكفاءة الحاسوبية.
DOI: https://doi.org/10.1007/s10462-025-11193-y
Publication Date: 2025-03-21
Author(s): Chaodong Fan et al.
Primary Topic: Metaheuristic Optimization Algorithms Research
Overview
The research introduces the support tensor train machine (STTM), which leverages the correlations inherent in tensor data structures but faces challenges related to inefficient parameter training and significant feature redundancy. To address these issues, the authors propose a step gravitational search algorithm (SGSA) aimed at enhancing synchronous feature selection and parameter optimization for STTM. The SGSA employs a novel dual population structure, where one subpopulation (Pop1) emphasizes exploration through a K best-Elite hybrid learning strategy, while the other subpopulation (Pop2) focuses on exploitation, utilizing a position update strategy that combines Cauchy and Gaussian distributions to maintain exploration capabilities.
The results demonstrate that SGSA outperforms several state-of-the-art algorithms in optimization performance across various test functions. Additionally, when applied to fMRI datasets, SGSA-STTM effectively reduces redundant features by over 40% in most cases, significantly enhancing algorithm efficiency. The classification accuracy achieved on the StarPlus fMRI dataset and the CMU Science 2008 fMRI dataset reached 60% and 70%, respectively, indicating the method’s potential for improving classification tasks in neuroimaging data.
Introduction
The introduction of this research paper highlights the increasing complexity and volume of data in various fields, emphasizing the importance of tensors for effectively capturing the structure and correlations within such data. Traditional machine learning methods, which typically utilize vectors or matrices, face challenges when applied to tensor data, particularly in medical contexts like functional magnetic resonance imaging (fMRI), where computational and storage limitations hinder the deployment of complex models such as deep learning. Consequently, simpler models like support vector machines (SVM) have gained traction due to their lightweight nature and robust generalization capabilities.
The paper reviews the evolution of tensor-based SVM models, starting from the supervised tensor learning (STL) model proposed by Tao et al. in 2005, to more advanced variations like the support tensor machine (STM) and support Tucker machine (STuM). Despite these advancements, existing models often struggle with issues such as limited expressiveness and high computational complexity. The authors note that while there has been significant research on optimizing SVM parameters and feature selection, these efforts predominantly focus on vector data. The paper introduces a novel approach, the step gravitational search algorithm (SGSA), which aims to simultaneously optimize parameters and feature selection for support tensor train machines. This method incorporates a dual population structure to enhance exploration and exploitation capabilities, addressing the limitations of previous algorithms and setting the stage for improved classification performance in tensor data applications.
Methods
In this section, the authors detail the parameter analysis and experimental setup for the SGSA (Sperm Whale Optimization Algorithm) implementation. The parameters th1, th2, th3, and th4 are critical for controlling SGSA’s operations and directly influence its optimization outcomes. The authors systematically explore reasonable values for these parameters: th1 ranges from 0 to 1, while th2 and th3 are constrained to 0 to 0.33, and th4 is limited to 0-0.05 to ensure agents in Pop2 primarily exploit around the global best position \( P_g \). A total of 900 combinations of these parameters were tested across 30 independent runs for each function from \( F_1 \) to \( F_{24} \). The analysis reveals that th1 is the most sensitive parameter, significantly affecting population division and algorithm performance, while th4 exhibits the least sensitivity due to its restricted range.
The optimal parameter combination identified is th1 = 0.70, th2 = 0.20, th3 = 0.15, and th4 = 0.05, which is adopted for subsequent experiments. The authors also compare the classification performance of SGSA against various classifiers, including SVM and 3D CNN, under conditions of limited computational resources. All kernel-based methods utilize the Gaussian RBF kernel, with parameters C and σ selected from a predefined range. The SGSA’s parameters N and \( T_{\text{max}} \) are set to 10 and 29, respectively, with the algorithm terminating upon reaching the maximum iterations or when the fitness value of the globally optimal agent remains unchanged for five consecutive iterations. This structured approach aims to validate the effectiveness of the SGSA in various classification scenarios.
Results
In the results section, the performance of the proposed SGSA algorithm is comprehensively evaluated against various optimization algorithms, including several variants of the Gravitational Search Algorithm (GSA) and other heuristic algorithms such as VPPSO, COA, SCSO, OMA, and RSA, as well as CEC competition winners like LSHADE and its variants. The findings indicate that SGSA consistently outperforms GSA and its variants, demonstrating superior optimization capabilities across multiple test functions. Specifically, SGSA’s dual population structure, which integrates both exploration and exploitation strategies, contributes to its enhanced performance, achieving the best results on most functions tested.
Statistical analysis using the Friedman rank test further corroborates SGSA’s effectiveness, revealing significant advantages over many compared algorithms, while showing a competitive average rank against top-performing DE variants. Additionally, SGSA-STTM, a classifier variant, is shown to outperform traditional classifiers like SVM and 3D CNN on fMRI datasets, achieving classification accuracies exceeding 60% and 70% on the StarPlus and CMU Science datasets, respectively. These results underscore the robustness of SGSA in both optimization and classification tasks, validating its proposed methodologies for parameter optimization and feature selection.
Discussion
In this section, the authors discuss the development and optimization of the Step Gravitational Search Algorithm (SGSA) integrated with a Support Tensor Train Machine (STTM) for effective classification of tensor data. The SGSA addresses limitations of the traditional Gravitational Search Algorithm (GSA) by introducing a dual-population structure, where one subpopulation focuses on exploration and the other on exploitation. This design aims to enhance the algorithm’s ability to balance these two critical aspects throughout the optimization process. Additionally, the authors propose a hybrid learning mechanism that combines K-best learning with elite learning to retain optimal agents and utilize historical search information, thereby improving convergence speed and accuracy.
The authors also emphasize the importance of synchronous feature selection and parameter optimization in STTM, which allows for simultaneous refinement of model parameters and feature sets. This approach contrasts with traditional methods that often require separate optimization phases, potentially leading to suboptimal feature selection. The SGSA-STTM framework is detailed through a flowchart, illustrating the process from tensor decomposition to the final output of optimized parameters and feature subsets. The proposed method is expected to outperform existing heuristic algorithms by effectively managing the complexities of tensor data classification while maintaining computational efficiency.