DOI: https://doi.org/10.1038/s41598-025-01761-1
PMID: https://pubmed.ncbi.nlm.nih.gov/40369050
تاريخ النشر: 2025-05-14
المؤلف: Junyao Ding وآخرون
الموضوع الرئيسي: الخوارزميات التطورية والتطبيقات
نظرة عامة
تقدم ورقة البحث طريقة لاختيار الميزات من مرحلتين تدمج بين الغابة العشوائية وخوارزمية جينية محسّنة لتعزيز أداء نماذج التعلم الآلي. تتضمن المرحلة الأولى حساب وتصنيف درجات أهمية الميزات باستخدام نهج الغابة العشوائية، مما يسمح بالإزالة الأولية للميزات الأقل أهمية، وبالتالي تقليل تعقيد الوقت للمعالجة اللاحقة. في المرحلة الثانية، يتم استخدام الخوارزمية الجينية المحسّنة لتحديد المجموعة الفرعية المثلى عالميًا من الميزات، مسترشدةً بدالة لياقة متعددة الأهداف تهدف إلى تقليل عدد الميزات مع زيادة دقة التصنيف. بالإضافة إلى ذلك، تتضمن الطريقة آلية تكيفية واستراتيجية تطور للحفاظ على تنوع السكان ومنع الانحدار خلال التكرارات اللاحقة، مما يحسن كفاءة البحث.
تظهر النتائج التجريبية على ثمانية مجموعات بيانات من UCI أن الطريقة المقترحة تعزز بشكل كبير أداء التصنيف وتظهر قدرات قوية في اختيار الميزات. ومع ذلك، يشير المؤلفون إلى أن تعقيد الوقت لهذه الطريقة قد يكون مرتفعًا، خاصة في السيناريوهات التي تتضمن بيانات ذات أبعاد فائقة الارتفاع، مما قد يؤدي إلى أوقات حسابية باهظة. لمعالجة هذه التحديات، تقترح الورقة تطوير إطار عمل معزز باستخدام GPU لاختيار الميزات، بالإضافة إلى استكشاف طرق أكثر كفاءة لتحسين التعامل مع مجموعات البيانات ذات الأبعاد الفائقة.
الطرق
في هذه الدراسة، قام المؤلفون بتقييم الطريقة المقترحة، RFIGA، باستخدام ثمانية مجموعات بيانات متنوعة من قاعدة بيانات UCI، بما في ذلك الورم الدبقي، والأمراض الجلدية، والسمع، وحركة الميزان، وعدم انتظام ضربات القلب، وداروين، وتغيير الفترة، والسمية. تفاوتت مجموعات البيانات في أبعاد الميزات من 23 إلى 1203 وشملت تصنيفات ثنائية ومتعددة الفئات. تضمنت الإعدادات التجريبية مقارنة RFIGA مع الغابة العشوائية (RF)، والخوارزمية الجينية (GA)، والخوارزمية الجينية المحسّنة (IGA) من خلال التحقق المتقاطع بعشر طيات، مع متوسط النتائج على عشرة تشغيلات مستقلة لأخذ العشوائية الحسابية في الاعتبار.
أظهرت تجارب الإزالة أن كل من IGA وRFIGA حسنت بشكل كبير أداء التصنيف مع تقليل عدد الميزات مقارنةً بتصنيف الأساس بدون اختيار الميزات. حققت RFIGA أعلى دقة على مجموعات بيانات الأمراض الجلدية (98.90%)، وحركة الميزان (69.00%)، وتغيير الفترة (83.00%)، والسمية (73.73%)، متجاوزةً الأساس بهوامش قدرها 2.18%، 5.39%، 21.89%، و20.46%، على التوالي. على الرغم من أن RFIGA احتلت المرتبة الثانية في الدقة لمجموعات البيانات المتبقية، إلا أنها تفوقت باستمرار على IGA من حيث تقليل الميزات، محققةً تقليصًا أكبر بنسبة 2% في السمع، و15% في عدم انتظام ضربات القلب، و6% في داروين، على الرغم من كونها أقل دقة قليلاً في تلك الحالات.
المناقشة
في هذا القسم، يناقش المؤلفون طريقة اختيار الميزات من مرحلتين التي تدمج بين الغابة العشوائية وخوارزمية جينية محسّنة (IGA) لتعزيز أداء التصنيف. تستخدم المرحلة الأولى مقياس أهمية المتغيرات (VIM) المستمد من الغابة العشوائية، والذي يقيم فعالية الميزات بناءً على معامل جيني. يتم تصنيف الميزات، وتُستخدم استراتيجية اختيار للاحتفاظ بتلك التي تسهم بشكل كبير في دقة التصنيف. تستخدم المرحلة الثانية IGA لمزيد من تحسين المجموعة الفرعية من الميزات، مع معالجة التحديات مثل فقدان التنوع والحدود المحلية التي يمكن أن تنشأ في الخوارزميات الجينية التقليدية. تتضمن IGA آليات تكيفية للاحتمالات التبادلية والطفرات، مما يعزز البحث عن مجموعات الميزات المثلى.
تظهر الطريقة المقترحة أداءً متفوقًا في تقليل الميزات ودقة التصنيف عبر مجموعات بيانات متنوعة مقارنةً بتقنيات اختيار الميزات التقليدية وتلك المعتمدة على ذكاء السرب. تشير النتائج التجريبية إلى أن الطريقة تقضي بشكل فعال على أكثر من 90% من الميزات في مجموعات البيانات عالية الأبعاد بينما تحقق تحسينات كبيرة في الدقة. ومع ذلك، يعترف المؤلفون بالتعقيد الزمني العالي المرتبط بالطريقة، خاصةً في السيناريوهات ذات الأبعاد الفائقة، مما يشير إلى الحاجة إلى أبحاث مستقبلية لتطوير أطر عمل أكثر كفاءة، مع إمكانية الاستفادة من الحوسبة باستخدام GPU لإدارة المتطلبات الحسابية.
DOI: https://doi.org/10.1038/s41598-025-01761-1
PMID: https://pubmed.ncbi.nlm.nih.gov/40369050
Publication Date: 2025-05-14
Author(s): Junyao Ding et al.
Primary Topic: Evolutionary Algorithms and Applications
Overview
The research paper presents a two-stage feature selection method that integrates random forest and an improved genetic algorithm to enhance the performance of machine learning models. The first stage involves calculating and ranking feature importance scores using the random forest approach, which allows for the preliminary elimination of less important features, thereby reducing the time complexity for subsequent processing. In the second stage, the improved genetic algorithm is employed to identify the globally optimal subset of features, guided by a multi-objective fitness function that aims to minimize the number of features while maximizing classification accuracy. Additionally, the method incorporates an adaptive mechanism and evolution strategy to maintain population diversity and prevent degeneration during later iterations, thus improving search efficiency.
Experimental results on eight UCI datasets demonstrate that the proposed method significantly enhances classification performance and exhibits strong feature selection capabilities. However, the authors note that the time complexity of this approach may be high, particularly in scenarios involving ultra-high-dimensional data, which could lead to prohibitive computational times. To address these challenges, the paper suggests the development of a GPU-accelerated framework for feature selection, as well as the exploration of more efficient methods to improve the handling of ultra-high-dimensional datasets.
Methods
In this study, the authors evaluated the proposed method, RFIGA, using eight diverse datasets from the UCI database, including Glioma, Dermatology, Audiology, Movement Libras, Arrhythmia, Darwin, Period Changer, and Toxicity. The datasets varied in feature dimensions from 23 to 1203 and included both binary and multi-class classifications. The experimental setup involved comparing RFIGA with Random Forest (RF), Genetic Algorithm (GA), and Improved Genetic Algorithm (IGA) through ten-fold cross-validation, with results averaged over ten independent runs to account for computational randomness.
The ablation experiments demonstrated that both IGA and RFIGA significantly improved classification performance while reducing the number of features compared to the baseline classification without feature selection. RFIGA achieved the highest accuracy on the Dermatology (98.90%), Movement Libras (69.00%), Period Changer (83.00%), and Toxicity (73.73%) datasets, surpassing the baseline by margins of 2.18%, 5.39%, 21.89%, and 20.46%, respectively. Although RFIGA ranked second in accuracy for the remaining datasets, it consistently outperformed IGA in terms of feature reduction, achieving a 2% greater reduction in Audiology, 15% in Arrhythmia, and 6% in Darwin, despite being slightly less accurate in those cases.
Discussion
In this section, the authors discuss a two-stage feature selection method that integrates random forest and an improved genetic algorithm (IGA) to enhance classification performance. The first stage utilizes the variable importance measure (VIM) derived from the random forest, which assesses feature effectiveness based on the Gini coefficient. Features are ranked, and a selection strategy is employed to retain those that significantly contribute to classification accuracy. The second stage employs the IGA to further refine the feature subset, addressing challenges such as loss of diversity and local optima that can arise in traditional genetic algorithms. The IGA incorporates adaptive mechanisms for crossover and mutation probabilities, enhancing the search for optimal feature subsets.
The proposed method demonstrates superior performance in feature reduction and classification accuracy across various datasets compared to traditional and swarm intelligence-based feature selection techniques. Experimental results indicate that the method effectively eliminates over 90% of features in high-dimensional datasets while achieving significant accuracy improvements. However, the authors acknowledge the high time complexity associated with the method, particularly in ultra-high-dimensional scenarios, suggesting the need for future research to develop more efficient frameworks, potentially leveraging GPU computing to manage the computational demands.