DOI: https://doi.org/10.62527/joiv.10.1.3743
تاريخ النشر: 2026-01-30
المؤلف: Tri Andi وآخرون
الموضوع الرئيسي: تعلم الآلة وتصنيف البيانات
نظرة عامة
تدرس هذه الدراسة بشكل منهجي تأثير تقنيات تحسين المعلمات الفائقة—البحث الشبكي، البحث العشوائي، والتحسين البايزي—على أداء النماذج التنبؤية باستخدام أربعة خوارزميات تعلم آلي: الانحدار اللوجستي (LR)، آلة الدعم الناقل (SVM)، الجيران الأقرب (KNN)، وتعزيز التدرج. أجريت الدراسة على مجموعات بيانات مرجعية من مستودع تعلم الآلة بجامعة كاليفورنيا، وتظهر النتائج أن تحسين المعلمات الفائقة يعزز بشكل كبير دقة التنبؤ مقارنة بالنماذج الأساسية، مع اختلاف التقنية المثلى حسب الخوارزمية. ومن الجدير بالذكر أن البحث العشوائي حقق أعلى دقة بلغت 0.883333 لـ LR و0.833333 لتعزيز التدرج، بينما تفوق التحسين البايزي بدقة بلغت 0.883333 لـ SVM. كان البحث الشبكي الأكثر فعالية لـ KNN، حيث حقق دقة بلغت 0.866667. كما تؤكد الدراسة أن التحسينات في الدقة لا تؤثر سلبًا على مقاييس الأداء الأخرى مثل الدقة والاسترجاع.
تساهم هذه الدراسة بإطار مفاهيمي يربط بين بنية النموذج وفعالية طرق تحسين المعلمات الفائقة، مشيرة إلى أنه لا توجد طريقة واحدة مثالية عالميًا. البحث العشوائي فعال للنماذج المعلمية والنماذج المعززة، التحسين البايزي مفيد للنماذج المعتمدة على النواة، والبحث الشبكي مناسب للنماذج المعتمدة على الأمثلة. يعزز هذا الإطار الفهم النظري لتحسين المعلمات الفائقة من خلال توضيح أن فعاليتها تتأثر بكل من تعقيد مساحة المعلمات وآليات تعلم النموذج. تقترح الدراسة اتجاهات بحث مستقبلية، بما في ذلك استراتيجيات تحسين هجينة وتقييمات عبر مجموعات بيانات متنوعة، بهدف تحسين أداء النموذج وكفاءة الحوسبة في تطبيقات تعلم الآلة.
مقدمة
تظل أمراض القلب مصدر قلق صحي عالمي رئيسي، حيث تسجل حوالي 17.9 مليون وفاة سنويًا، مما يبرز الحاجة الملحة للكشف المبكر والتشخيص الدقيق. أظهرت التطورات الأخيرة في تعلم الآلة (ML) وعدًا في تحسين عمليات التشخيص من خلال أتمتة تحليل بيانات المرضى. استكشفت الأبحاث السابقة تقنيات مختلفة لتعلم الآلة لتصنيف أمراض القلب، بما في ذلك الانحدار اللوجستي والجيران الأقرب (KNN). ومع ذلك، اعتمدت العديد من الدراسات على إعدادات المعلمات الفائقة الافتراضية أو طرق الضبط الفردية، مثل البحث الشبكي أو البحث العشوائي، وغالبًا ما أهملت كفاءة الحوسبة.
تتناول هذه الدراسة الفجوة البحثية الحالية من خلال تقديم نهج جديد يقيم في الوقت نفسه ثلاث طرق لضبط المعلمات الفائقة—البحث الشبكي، البحث العشوائي، والتحسين البايزي—عبر أربعة خوارزميات رئيسية لتعلم الآلة: الانحدار اللوجستي، آلة الدعم الناقل (SVM)، KNN، وتعزيز التدرج. من خلال التركيز على كل من الدقة وكفاءة الحوسبة للنماذج، تهدف النتائج إلى تقديم رؤى قيمة للممارسين والباحثين في اختيار تركيبات ضبط النماذج المثلى لتشخيص أمراض القلب الفعالة المعتمدة على تعلم الآلة.
طرق
يستعرض قسم “المواد والطرق” تصميم التجربة والإجراءات المستخدمة في الدراسة. يوضح المواد المستخدمة، بما في ذلك الكواشف المحددة، المعدات، وأي عينات بيولوجية، لضمان إعادة إنتاج البحث. كما يصف قسم الطرق البروتوكولات المتبعة لجمع البيانات، بما في ذلك أي تحليلات إحصائية تم إجراؤها لتفسير النتائج.
بالإضافة إلى ذلك، قد يسلط القسم الضوء على أي ضوابط تم تنفيذها للتحقق من النتائج والأسباب وراء المنهجيات المختارة. بشكل عام، يعد هذا القسم أساسًا حيويًا لفهم الإطار التجريبي وموثوقية النتائج التي تم الحصول عليها في الدراسة.
النتائج
في هذه الدراسة، تم تقييم أربعة خوارزميات تعلم آلي—الانحدار اللوجستي، آلة الدعم الناقل (SVM)، الجيران الأقرب (KNN)، وتعزيز التدرج—على مجموعة بيانات لأمراض القلب باستخدام طرق مختلفة لضبط المعلمات الفائقة: البحث الشبكي، البحث العشوائي، والتحسين البايزي. كشفت التقييمات الأولية أن SVM تفوقت على النماذج الأخرى بدقة بلغت 85% ودرجة F1 بلغت 83.02%، تلتها KNN التي حققت أيضًا دقة 85%. أظهر الانحدار اللوجستي أداءً قويًا بدقة 83.33%، بينما تأخر تعزيز التدرج بدقة بلغت 76.67%.
بعد تطبيق ضبط المعلمات الفائقة، لوحظت تحسينات كبيرة. باستخدام البحث الشبكي، حققت جميع النماذج الثلاثة الأعلى (الانحدار اللوجستي، SVM، وKNN) دقة بلغت 86.67%، مع إظهار KNN أعلى استرجاع عند 82.14%. عزز البحث العشوائي أداء الانحدار اللوجستي إلى 88.33%، مما جعله النموذج الأفضل أداءً من حيث الدقة ودرجة F1. حقق التحسين البايزي نتائج مماثلة، حيث حقق SVM أعلى دقة بلغت 88.33% مع الحفاظ على توازن قوي بين الدقة والاسترجاع. بشكل عام، برز SVM كنموذج الأكثر موثوقية عبر طرق الضبط، بينما ظل تعزيز التدرج الأقل فعالية، مما يشير إلى أهمية اختيار استراتيجيات ضبط المعلمات الفائقة المناسبة التي تتناسب مع خصائص النموذج المحددة.
المناقشة
تسلط قسم المناقشة في ورقة البحث الضوء على التقدم في أساليب تعلم الآلة لتصنيف أمراض القلب، مشددًا على أهمية تحسين المعلمات الفائقة. يكشف تحليل مقارن لمختلف الخوارزميات عن نطاق واسع من الدقة، من 73.25% إلى 99.95%، مع تحقيق طرق هجينة متقدمة مثل IPSO-SVM وتقنيات التجميع أعلى أداء. ومع ذلك، تفتقر الأدبيات إلى مقارنات صريحة لتقنيات تحسين المعلمات الفائقة، مثل البحث الشبكي، البحث العشوائي، والتحسين البايزي، وهو ما تهدف هذه الدراسة إلى معالجته. تشير النتائج إلى أن فعالية هذه التقنيات تختلف بناءً على بنية النموذج، مما يدل على أن البحث العشوائي فعال للنماذج المعلمية والنماذج المعززة، بينما يتفوق التحسين البايزي للنماذج المعتمدة على النواة، والبحث الشبكي مناسب للنماذج المعتمدة على الأمثلة.
تتكون مجموعة البيانات المستخدمة من 303 عينات مع 14 سمة تتعلق بأمراض القلب، وتشمل خطوات المعالجة المسبقة التعامل مع القيم المفقودة، التطبيع، والتقسيم الطبقي لضمان توزيع متوازن للفئات. تستخدم الدراسة أربعة خوارزميات تعلم آلي—الانحدار اللوجستي، آلة الدعم الناقل، الجيران الأقرب، وتعزيز التدرج—دون تحسين المعلمات الفائقة الأولية لتأسيس خط أساس للمقارنة. تشمل مقاييس التقييم الدقة، الدقة، الاسترجاع، درجة F1، ومصفوفة الارتباك، مع استخدام التحقق المتقاطع لضمان موثوقية النموذج. تساهم الدراسة بإطار مفاهيمي يربط بين بنية النموذج وفعالية تحسين المعلمات الفائقة، مقدمة إرشادات عملية لاختيار الاستراتيجيات المناسبة وتقترح مجالات للبحث المستقبلي لتعزيز أداء النموذج وكفاءة الحوسبة في تطبيقات متنوعة.
DOI: https://doi.org/10.62527/joiv.10.1.3743
Publication Date: 2026-01-30
Author(s): Tri Andi et al.
Primary Topic: Machine Learning and Data Classification
Overview
This study systematically investigates the impact of hyperparameter optimization techniques—Grid Search, Random Search, and Bayesian Optimization—on the performance of predictive models using four machine learning algorithms: Logistic Regression (LR), Support Vector Machine (SVM), K-Nearest Neighbors (KNN), and Gradient Boosting. Conducted on benchmark datasets from the UC Machine Learning Repository, the findings reveal that hyperparameter optimization significantly enhances prediction accuracy compared to baseline models, with the optimal technique varying by algorithm. Notably, Random Search achieved the highest accuracy of 0.883333 for LR and 0.833333 for Gradient Boosting, while Bayesian Optimization excelled with an accuracy of 0.883333 for SVM. Grid Search was most effective for KNN, yielding an accuracy of 0.866667. The study also emphasizes that improvements in accuracy do not compromise other performance metrics such as precision and recall.
The research contributes a conceptual framework linking model architecture to the effectiveness of hyperparameter optimization methods, highlighting that no single approach is universally optimal. Random Search is effective for parametric and boosting models, Bayesian Optimization is advantageous for kernel-based models, and Grid Search is suitable for example-based models. This framework enhances the theoretical understanding of hyperparameter optimization by illustrating that its effectiveness is influenced by both the complexity of the parameter space and the model’s learning mechanisms. The study suggests future research directions, including hybrid optimization strategies and evaluations across diverse datasets, ultimately aiming to improve model performance and computational efficiency in machine learning applications.
Introduction
Heart disease remains a leading global health concern, with approximately 17.9 million deaths annually, highlighting the critical need for early detection and accurate diagnosis. Recent advancements in machine learning (ML) have shown promise in enhancing diagnostic processes by automating the analysis of patient data. Previous research has explored various ML techniques for heart disease classification, including Logistic Regression and K-Nearest Neighbors (KNN). However, many studies have relied on default hyperparameter settings or single tuning methods, such as Grid Search or Random Search, often neglecting computational efficiency.
This study addresses the existing research gap by introducing a novel approach that simultaneously evaluates three hyperparameter tuning methods—Grid Search, Random Search, and Bayesian Optimization—across four major ML algorithms: Logistic Regression, Support Vector Machine (SVM), KNN, and Gradient Boosting. By focusing on both the accuracy and computational efficiency of the models, the findings aim to provide valuable insights for practitioners and researchers in selecting optimal model-tuning combinations for effective ML-based heart disease diagnosis.
Methods
The “Materials and Methods” section outlines the experimental design and procedures employed in the study. It details the materials used, including specific reagents, equipment, and any biological samples, ensuring reproducibility of the research. The methods section also describes the protocols followed for data collection, including any statistical analyses performed to interpret the results.
Additionally, the section may highlight any controls implemented to validate the findings and the rationale behind the chosen methodologies. Overall, this section serves as a critical foundation for understanding the experimental framework and the reliability of the results obtained in the study.
Results
In this study, four machine learning algorithms—Logistic Regression, Support Vector Machine (SVM), K-Nearest Neighbors (KNN), and Gradient Boosting—were evaluated on a heart disease dataset using various hyperparameter tuning methods: Grid Search, Random Search, and Bayesian Optimization. The initial evaluation revealed that SVM outperformed the other models with an accuracy of 85% and an F1-score of 83.02%, closely followed by KNN, which also achieved 85% accuracy. Logistic Regression demonstrated solid performance with 83.33% accuracy, while Gradient Boosting lagged behind with an accuracy of 76.67%.
After applying hyperparameter tuning, significant improvements were observed. Using Grid Search, all three top models (Logistic Regression, SVM, and KNN) achieved an accuracy of 86.67%, with KNN showing the highest recall at 82.14%. Random Search further enhanced Logistic Regression’s performance to 88.33%, making it the best-performing model in terms of accuracy and F1-score. Bayesian Optimization yielded similar results, with SVM achieving the highest accuracy of 88.33% and maintaining a strong balance between precision and recall. Overall, SVM emerged as the most reliable model across tuning methods, while Gradient Boosting remained the least effective, indicating the importance of selecting appropriate hyperparameter tuning strategies tailored to the specific model characteristics.
Discussion
The discussion section of the research paper highlights the advancements in machine learning approaches for heart disease classification, emphasizing the importance of hyperparameter optimization. A comparative analysis of various algorithms reveals a wide range of accuracy, from 73.25% to 99.95%, with advanced hybrid methods like IPSO-SVM and ensemble techniques achieving the highest performance. However, the literature lacks explicit comparisons of hyperparameter optimization techniques, such as Grid Search, Random Search, and Bayesian Optimization, which this study aims to address. The findings suggest that the effectiveness of these techniques varies based on the model architecture, indicating that Random Search is effective for parametric and boosting models, Bayesian Optimization excels for kernel-based models, and Grid Search is suitable for example-based models.
The dataset utilized consists of 303 samples with 14 attributes related to heart disease, and preprocessing steps include handling missing values, normalization, and stratified splitting for balanced class distribution. The study employs four machine learning algorithms—Logistic Regression, Support Vector Machine, K-Nearest Neighbors, and Gradient Boosting—without initial hyperparameter optimization to establish a baseline for comparison. The evaluation metrics include accuracy, precision, recall, F1-score, and confusion matrix, with cross-validation employed to ensure model reliability. The research contributes a conceptual framework linking model architecture to hyperparameter optimization effectiveness, providing practical guidance for selecting appropriate strategies and suggesting avenues for future research to enhance model performance and computational efficiency in diverse applications.