DOI: https://doi.org/10.21105/joss.09344
تاريخ النشر: 2026-02-15
المؤلف: Maxence Gollier وآخرون
الموضوع الرئيسي: أبحاث خوارزميات التحسين المتقدمة
نظرة عامة
يقدم هذا القسم نظرة عامة على حزمة جوليا RegularizedOptimization.jl، المصممة لمعالجة مشاكل التحسين غير السلسة من خلال تنفيذ تنظيم رباعي وطرق منطقة الثقة. تركز الحزمة على تقليل الدوال الهدف التي قد لا تكون قابلة للاشتقاق، مما يعالج تحديًا كبيرًا في التحسين.
تستفيد الطرق المدمجة في RegularizedOptimization.jl من تقنيات التنظيم لتعزيز استقرار وحلول التقارب. من خلال استخدام استراتيجيات منطقة الثقة، تتنقل الحزمة بفعالية في مشهد التحسين، مما يضمن أن البحث عن القيم الدنيا يكون كفءًا وموثوقًا. يضع هذا الجمع من الأساليب RegularizedOptimization.jl كأداة قيمة للباحثين والممارسين الذين يتعاملون مع سيناريوهات تحسين معقدة.
طرق
يحدد قسم الطرق إطار عمل قائم على النموذج لحل مشاكل التحسين غير السلسة باستخدام جوليا. يستفيد الإطار من حزمتين رئيسيتين: ProximalAlgorithms.jl و RegularizedOptimization.jl. تقوم ProximalAlgorithms.jl بتنفيذ مخططات تقسيم مختلفة وطرق بحث عن الخط، لا سيما محلل PANOC، الذي يستخدم تقريب L-BFGS شبه نيوتن للدالة الهدف السلسة $f$ ويشمل خطوات قريبة للحد غير السلس $h$. بالمقابل، تركز RegularizedOptimization.jl على طرق منطقة الثقة والتنظيم الرباعي، والتي تتطلب عمومًا عددًا أقل من تقييمات $f$ وتدرجاتها مقارنة بالطرق من الدرجة الأولى، على الرغم من تكلفة زيادة تقييمات المشغلين القريبين. هذه المقايضة قابلة للإدارة للعديد من الخيارات الشائعة لـ $h$، مما يجعل النهج مناسبًا لمشاكل التحسين على نطاق واسع.
يتكامل الإطار أيضًا مع نظام JuliaSmoothOptimizers، مما يسمح بتعريف الأهداف السلسة عبر NLPModels.jl، الذي يقيّد تمثيل مشاكل البرمجة غير الخطية. يمكن نمذجة الحد غير السلس $h$ باستخدام ProximalOperators.jl. معًا، تمكّن هذه المكونات من صياغة نماذج البرمجة غير الخطية المنظمة من خلال حزمة RegularizedProblems.jl، مما يسهل اقتران $f$ و $h$. بالإضافة إلى ذلك، إذا كانت الدالة الهدف تأخذ الشكل $f(x) = \frac{1}{2} \|F(x)\|^2$ لبعض دالة الباقي $F: \mathbb{R}^n \to \mathbb{R}^m$، يمكن للإطار أيضًا استيعاب نماذج المربعات غير الخطية المنظمة، والتي تتوافق مع المحللين مثل LM و LMTR.
نتائج
في هذا القسم، يقدم المؤلفون نتائج عددية تقارن بين أربعة محللين—TR، R2N، LM، و LMTR—المطبقة على مشكلة آلة الدعم النقطي (SVM). تم إجراء التجارب على جهاز Apple M2 باستخدام جوليا 1.11.7، وتشتمل النتائج على حالة التقارب، تقييمات الدالة ($\#f$)، تقييمات التدرج ($\#\nabla f$)، تقييمات المشغل القريب ($\#prox$)، الوقت المنقضي ($t(s)$)، والقيم النهائية للدالة الهدف. حققت جميع الطرق بنجاح التقارب إلى نقطة ثابتة تقريبية من الدرجة الأولى، مع اختلاف القيم النهائية للدالة الهدف بسبب الطبيعة غير المحدبة للمشكلة.
من بين المحللين، أظهر R2N أسرع أداء من حيث الوقت المنقضي وتقييمات التدرج، على الرغم من أنه تطلب عددًا أكبر من التقييمات القريبة، والتي لوحظ أنها غير مكلفة. بالمقابل، أظهرت LM و LMTR أقل عدد من تقييمات الدالة ولكنها تطلبت عددًا أكبر من منتجات جاكوبين-المتجه، مما أدى إلى أوقات حساب أطول. يشير المؤلفون إلى أن البحث المستمر يهدف إلى تحسين عدد التقييمات القريبة، ربما من خلال السماح بحسابات قريبة غير دقيقة (Allaire et al., 2025).
نقاش
في قسم النقاش، يبرز المؤلفون فائدة نموذج RegularizedNLSModel ضمن إطار RegularizedProblems.jl، الذي يقدم مجموعة متنوعة من الدوال \( f \) والمنظمات المستخدمة عادة في علم البيانات والتحسين غير السلس. يعمل هذا الإطار كمورد قيم لتقييم المحللين في RegularizedOptimization.jl، مما يسهل تقييم استراتيجيات التحسين المختلفة.
كما يؤكد المؤلفون على مرونة RegularizedOptimization.jl، التي تدعم كل من الهسيات الدقيقة والتقريبية، على عكس ProximalAlgorithms.jl. يمكن أن تستفيد طرق مثل R2N و TR من منتجات الهسيان-المتجه \( v \mapsto Hv \) من خلال التفاضل التلقائي عبر ADNLPModels.jl أو التنفيذ اليدوي. بالإضافة إلى ذلك، يمكن للمستخدمين اختيار تقريبات شبه نيوتن ذات الذاكرة المحدودة والقطرية من LinearOperators.jl، مما يمكّن المحللين من استخدام معلومات من الدرجة الثانية بكفاءة دون العبء الحسابي لبناء هسيات كاملة، وهو مفيد بشكل خاص لمشاكل النطاق الكبير.
لتوضيح هذه القدرات، يقدم المؤلفون مثالًا يتضمن نموذج آلة دعم نقطي (SVM) مع عقوبة \( \ell^{1/2} \) لتصنيف الصور، مما يوضح عملية تعريف وحل مشكلة التحسين ضمن إطار RegularizedOptimization.jl.
DOI: https://doi.org/10.21105/joss.09344
Publication Date: 2026-02-15
Author(s): Maxence Gollier et al.
Primary Topic: Advanced Optimization Algorithms Research
Overview
The section provides an overview of the Julia package RegularizedOptimization.jl, which is designed to tackle nonsmooth optimization problems through the implementation of quadratic regularization and trust-region methods. The package focuses on minimizing objective functions that may not be differentiable, thereby addressing a significant challenge in optimization.
The methods incorporated within RegularizedOptimization.jl leverage regularization techniques to enhance the stability and convergence of solutions. By utilizing trust-region strategies, the package effectively navigates the optimization landscape, ensuring that the search for minima is both efficient and robust. This combination of approaches positions RegularizedOptimization.jl as a valuable tool for researchers and practitioners dealing with complex optimization scenarios.
Methods
The methods section outlines a model-based framework for solving nonsmooth optimization problems using Julia. The framework leverages two primary packages: ProximalAlgorithms.jl and RegularizedOptimization.jl. ProximalAlgorithms.jl implements various splitting schemes and line-search methods, notably the PANOC solver, which utilizes the L-BFGS quasi-Newton approximation of the smooth objective function $f$ and incorporates proximal steps for the nonsmooth term $h$. In contrast, RegularizedOptimization.jl emphasizes trust-region and quadratic regularization methods, which generally require fewer evaluations of $f$ and its gradient compared to first-order methods, albeit at the cost of increased evaluations of proximal operators. This trade-off is manageable for many common choices of $h$, making the approach suitable for large-scale optimization problems.
The framework also integrates with the JuliaSmoothOptimizers ecosystem, allowing for the definition of smooth objectives via NLPModels.jl, which standardizes the representation of nonlinear programming problems. The nonsmooth term $h$ can be modeled using ProximalOperators.jl. Together, these components enable the formulation of Regularized Nonlinear Programming Models through the RegularizedProblems.jl package, facilitating the pairing of $f$ and $h$. Additionally, if the objective function takes the form $f(x) = \frac{1}{2} \|F(x)\|^2$ for some residual function $F: \mathbb{R}^n \to \mathbb{R}^m$, the framework can also accommodate Regularized Nonlinear Least-Squares Models, which are compatible with solvers such as LM and LMTR.
Results
In this section, the authors present numerical results comparing four solvers—TR, R2N, LM, and LMTR—applied to the Support Vector Machine (SVM) problem. The experiments were conducted on an Apple M2 machine using Julia 1.11.7, and the results include convergence status, function evaluations ($\#f$), gradient evaluations ($\#\nabla f$), proximal operator evaluations ($\#prox$), elapsed time ($t(s)$), and final objective values. All methods successfully achieved convergence to an approximate first-order stationary point, with the final objective values varying due to the nonconvex nature of the problem.
Among the solvers, R2N demonstrated the fastest performance in terms of elapsed time and gradient evaluations, although it required a higher number of proximal evaluations, which were noted to be inexpensive. Conversely, LM and LMTR exhibited the fewest function evaluations but necessitated a greater number of Jacobian-vector products, resulting in longer computation times. The authors indicate that ongoing research aims to further optimize the number of proximal evaluations, potentially by permitting inexact proximal computations (Allaire et al., 2025).
Discussion
In the discussion section, the authors highlight the utility of the RegularizedNLSModel within the RegularizedProblems.jl framework, which offers a variety of functions \( f \) and regularizers commonly utilized in data science and nonsmooth optimization. This framework serves as a valuable resource for benchmarking solvers in RegularizedOptimization.jl, facilitating the evaluation of different optimization strategies.
The authors also emphasize the flexibility of RegularizedOptimization.jl, which supports both exact and approximate Hessians, unlike ProximalAlgorithms.jl. Methods such as R2N and TR can leverage Hessian-vector products \( v \mapsto Hv \) through automatic differentiation via ADNLPModels.jl or manual implementation. Additionally, users can select limited-memory and diagonal quasi-Newton approximations from LinearOperators.jl, enabling solvers to utilize second-order information efficiently without the computational burden of constructing full Hessians, particularly beneficial for large-scale problems.
To illustrate these capabilities, the authors present an example involving a Support Vector Machine (SVM) model with an \( \ell^{1/2} \) penalty for image classification, demonstrating the process of defining and solving the optimization problem within the RegularizedOptimization.jl framework.