DOI: https://doi.org/10.28924/2291-8639-23-2025-10
تاريخ النشر: 2025-01-14
المؤلف: Osman Omer Osman Yousif وآخرون
الموضوع الرئيسي: أبحاث خوارزميات التحسين المتقدمة
نظرة عامة
تُعرف طرق التدرج المرافق (CG) على نطاق واسع بفعاليتها في حل كل من مشاكل التحسين الخطية وغير الخطية غير المقيدة، لا سيما في السياقات واسعة النطاق بسبب متطلبات الذاكرة المنخفضة وخصائص التقارب القوية. من بين هذه الطرق، يُلاحظ أن نهج هيسنيس-ستيفل (HS) يتمتع بأداء عددي عملي؛ ومع ذلك، تظل خصائص التقارب النظرية له غامضة. للتخفيف من مشاكل التقارب المرتبطة بطريقة HS، تم اقتراح استراتيجيات مختلفة لتحديث المعلمات، بما في ذلك تلك التي قدمها غيلبرت ونوسيدال (1992)، هاجر وزانغ (2005)، ويوسف وآخرون (2022).
في هذه الورقة، يقدم المؤلفون معلمة تحديث جديدة لطريقة HS، مما يؤدي إلى طريقة CG بديلة تحتفظ بخصائص التقارب المفيدة للاستراتيجيات المذكورة سابقًا بينما تُظهر أداءً عدديًا محسّنًا. يتم التحقق من فعالية وقوة هذه الطريقة المعدلة من خلال سلسلة من التجارب العددية، مما يبرز إمكاناتها كخيار متفوق لمهام التحسين.
نقاش
في هذا القسم، يركز النقاش على أداء وخصائص التقارب لمختلف طرق التدرج المرافق (CG)، لا سيما طريقة ليو-ستورى (LS)، داي-يوان (DY)، وطريقة OOHS المقترحة حديثًا. يبرز التحليل أهمية اختيار طول الخطوة، تحديدًا من خلال عمليات البحث الخطية الدقيقة وغير الدقيقة، مثل بحث وولف وبحث وولف القوي، والتي تعتبر حاسمة لضمان شروط الانحدار الكافية. تؤكد الورقة أنه بينما تظهر طرق مثل FR وCD وDY أداءً ضعيفًا بسبب ظاهرة الانسداد، تُظهر طرق مثل PRP وHS وLS، التي تتضمن ميزة إعادة التشغيل المدمجة، كفاءة محسّنة من خلال تجنب الركود في التحسين.
تجمع طريقة OOHS، وهي تعديل لطريقة HS، بين ميزات من كل من HS+ وOHS، مما يضمن التقارب العالمي ويحافظ على شرط الترافق بغض النظر عن البحث الخطي. تؤسس الورقة التقارب العالمي لـ OOHS تحت ظروف معينة وتظهر قوتها من خلال التجارب العددية عبر أبعاد مختلفة. تشير النتائج إلى أن OOHS تتفوق على الطرق الحالية من حيث عدد التكرارات، ووقت وحدة المعالجة المركزية، وعدد تقييمات الدالة والتدرج، مما يؤكد فعاليتها في التطبيقات العملية. تشير النتائج إلى أن OOHS هي نهج واعد لحل مشاكل التحسين غير المقيدة بفعالية.
DOI: https://doi.org/10.28924/2291-8639-23-2025-10
Publication Date: 2025-01-14
Author(s): Osman Omer Osman Yousif et al.
Primary Topic: Advanced Optimization Algorithms Research
Overview
The conjugate gradient (CG) methods are widely recognized for their effectiveness in solving both linear and non-linear unconstrained optimization problems, particularly in large-scale contexts due to their low memory requirements and robust convergence properties. Among these methods, the Hestenes-Stiefel (HS) approach is noted for its practical numerical performance; however, its theoretical convergence properties remain ambiguous. To mitigate the convergence issues associated with the HS method, various update parameter strategies have been proposed, including those by Gilbert and Nocedal (1992), Hager and Zhang (2005), and Yousif et al. (2022).
In this paper, the authors introduce a new update parameter for the HS method, resulting in an alternative CG method that retains the advantageous convergence properties of the previously mentioned strategies while demonstrating improved numerical performance. The efficacy and robustness of this modified method are validated through a series of numerical experiments, highlighting its potential as a superior option for optimization tasks.
Discussion
In this section, the discussion focuses on the performance and convergence properties of various conjugate gradient (CG) methods, particularly the Liu-Storey (LS), Dai-Yuan (DY), and the newly proposed OOHS method. The analysis highlights the importance of step length selection, specifically through exact and inexact line searches, such as Wolfe and strong Wolfe line searches, which are crucial for ensuring sufficient descent conditions. The paper emphasizes that while methods like FR, CD, and DY exhibit poorer performance due to the jamming phenomenon, methods like PRP, HS, and LS, which incorporate a built-in restart feature, demonstrate improved efficiency by avoiding stagnation in optimization.
The OOHS method, a modification of the HS method, combines features from both HS+ and OHS, ensuring global convergence and maintaining the conjugacy condition independent of the line search. The paper establishes the global convergence of OOHS under specific conditions and demonstrates its robustness through numerical experiments across various dimensions. Results indicate that OOHS outperforms existing methods in terms of iterations, CPU time, and the number of function and gradient evaluations, confirming its efficacy in practical applications. The findings suggest that OOHS is a promising approach for solving unconstrained optimization problems effectively.