DOI: https://doi.org/10.1016/j.jmva.2026.105626
تاريخ النشر: 2026-02-20
المؤلف: David del Val وآخرون
الموضوع الرئيسي: طرق ونماذج إحصائية متقدمة
نظرة عامة
يتناول هذا القسم من ورقة البحث تطبيق تحليل المربعات الصغرى الجزئية (PLS) في مشاكل الانحدار القياسي، مع التركيز على علاقته بتحليل المربعات الصغرى العادية (OLS). PLS هي تقنية لتقليل الأبعاد تبني مكونات من خلال تعظيم التغاير بين التركيبات الخطية لمتغيرات التنبؤ ومتغير الاستجابة. يقدم المؤلفون صياغة معادلة مكافئة لتحليل المربعات الصغرى الجزئية كمشكلة مربعات صغرى ضمن فضاء كريلوف، مما يسمح بإجراء تحليل مقارن لمقدّر PLS، المرموز له بـ $\beta(L)_{PLS}$، ومقدّر OLS، $\beta_{OLS}$. يتم قياس قرب هذه المقدّرات باستخدام مسافة ماهالانوبس، مما يؤدي إلى حد يعتمد فقط على توزيع القيم الذاتية لمصفوفة تغاير المتغيرات المستقلة.
تشير النتائج إلى أن تحليل المربعات الصغرى الجزئية فعال بشكل خاص عندما تكون القيم الذاتية متقاربة بشكل وثيق وليست قريبة من الصفر، مع توقع التقارب بعد عدد من الخطوات يساوي عدد القيم الذاتية المميزة الموجودة. تتضمن الورقة دراسات تجريبية باستخدام بيانات صناعية وبيانات من العالم الحقيقي، مثل مجموعة بيانات الإسكان في كاليفورنيا، للتحقق من التحليل النظري. تؤكد النتائج على مزايا تحليل المربعات الصغرى الجزئية في التطبيقات العملية، مما يظهر قوتها في السيناريوهات التي تتميز بتوزيعات قيم ذاتية متغيرة.
مقدمة
تناقش مقدمة الورقة تحليل المربعات الصغرى الجزئية (PLS)، وهي تقنية لتقليل الأبعاد تم تطويرها في البداية لعلم الكيمياء التحليلية ثم تم تطبيقها في مجالات متنوعة، بما في ذلك الطب وعلم الأدوية. يعمل PLS من خلال اعتبار مجموعتين من المتغيرات العشوائية، \(X\) و \(Y\)، ويبني مكونات تعظم التغاير بين التركيبات الخطية لهذه المتغيرات مع ضمان التعامد بين المكونات التي تم تحديدها مسبقًا. في سياقات الانحدار، يستخدم PLS نسخ غير متناظرة لتمييز أدوار متغيرات التنبؤ ومتغيرات الاستجابة، مما يسمح باستخراج عدد أكبر من المكونات مقارنة بالحالات المتناظرة.
تسلط الورقة الضوء على معايير تحسين PLS، التي تتماشى مع تلك الخاصة بأساليب تقليل الأبعاد الخطية الأخرى مثل تحليل المكونات الرئيسية (PCA) وتحليل الارتباط الكنسي (CCA). على وجه التحديد، يمكن التعبير عن تغاير مكونات PLS مع متغير الاستجابة كـ \( \text{cov}(t_l, Y)^2 = \text{var}(t_l) \cdot \text{corr}(t_l, Y)^2 \cdot \text{var}(Y) \)، مما يوضح العلاقة بين أهداف PLS و PCA و CCA. كما يقدم المؤلفون خوارزمية NIPALS لحساب مكونات PLS ويقيمون الروابط بين PLS ومقدّرات المربعات الصغرى العادية (OLS)، خاصة من حيث مسافة ماهالانوبس. تختتم الورقة بتحليل مقارن بين PLS والانحدار باستخدام المكونات الرئيسية (PCR)، كاشفة أن PLS أكثر فعالية عندما تكون القيم الذاتية متجمعة، بينما يتفوق PCA مع القيم الذاتية السائدة. يتم توضيح هيكل الورقة، مما يشير إلى استكشاف شامل لمنهجية PLS، وتطبيقاتها، وتقييماتها التجريبية.
نقاش
في هذا القسم، يناقش المؤلفون المنهجية وآثار تحليل المربعات الصغرى الجزئية (PLS)، مع التركيز بشكل خاص على خوارزمية NIPALS لتقليل الأبعاد وتطبيقها في تقدير معاملات الانحدار. تهدف طريقة PLS إلى استخراج مكونات تلتقط العلاقات الخطية بين متغيرات التنبؤ \(X\) ومتغير الاستجابة \(Y\). يتم صياغة مشكلة التحسين الأساسية لاستخراج المكون \(l\)-th PLS على أنها تعظيم التغاير بين المكون \(t_l\) والاستجابة \(y\)، مع مراعاة قيود التعامد بين المكونات. تعدل خوارزمية NIPALS التكرارية مصفوفة البيانات عن طريق تقليلها بعد كل استخراج مكون، مما يضمن بقاء المكونات اللاحقة متعامدة مع المكونات المستخرجة مسبقًا.
تؤسس الورقة أيضًا رابطًا بين PLS والانحدار باستخدام المربعات الصغرى العادية (OLS)، مما يوضح أن مقدّر PLS يتقارب إلى مقدّر OLS مع زيادة عدد المكونات \(L\)، خاصة عندما يتجاوز \(L\) عدد القيم الذاتية المميزة لمصفوفة التغاير لـ \(X\). يستخرج المؤلفون حدودًا عليا للمسافة بين مقدّرات PLS و OLS، مؤكدين أن مسافة ماهالانوبس توفر قياسًا أكثر دلالة هندسيًا لهذه الفروق مقارنة بالمسافة الإقليدية. كما يوضحون كيف يؤثر توزيع القيم الذاتية في مصفوفة التغاير على أداء PLS، مشيرين إلى أن التجمع الأكثر إحكامًا للقيم الذاتية يمكن أن يؤدي إلى تقديرات أكثر دقة لمقدّر OLS مع عدد أقل من مكونات PLS. تعزز الدراسة التجريبية التي أجريت باستخدام بيانات صناعية هذه النتائج النظرية، مما يبرز اعتماد أداء PLS على توزيع القيم الذاتية.
DOI: https://doi.org/10.1016/j.jmva.2026.105626
Publication Date: 2026-02-20
Author(s): David del Val et al.
Primary Topic: Advanced Statistical Methods and Models
Overview
This research paper section discusses the application of Partial Least Squares (PLS) regression in scalar regression problems, emphasizing its relationship with Ordinary Least Squares (OLS) regression. PLS is a dimensionality reduction technique that constructs components by maximizing the covariance between linear combinations of predictor variables and the response variable. The authors present an equivalent formulation of PLS regression as a least squares problem within a Krylov subspace, allowing for a comparative analysis of the PLS estimator, denoted as $\beta(L)_{PLS}$, and the OLS estimator, $\beta_{OLS}$. The closeness of these estimators is measured using the Mahalanobis distance, leading to a bound that depends solely on the eigenvalue distribution of the regressor covariance matrix.
The findings indicate that PLS regression is particularly effective when the eigenvalues are tightly clustered and not close to zero, with convergence expected after a number of steps equal to the distinct eigenvalues present. The paper includes empirical studies using both synthetic and real-world data, such as the California Housing dataset, to validate the theoretical analysis. The results underscore the advantages of PLS regression in practical applications, demonstrating its robustness in scenarios characterized by varying eigenvalue distributions.
Introduction
The introduction of the paper discusses Partial Least Squares (PLS), a dimensionality reduction technique initially developed for chemometrics and later applied across various fields, including medicine and pharmacology. PLS operates by considering two blocks of random variables, \(X\) and \(Y\), and constructs components that maximize the covariance between linear combinations of these variables while ensuring orthogonality among previously identified components. In regression contexts, PLS employs non-symmetric variants to differentiate the roles of predictor and response variables, allowing for a greater number of components to be extracted compared to symmetric cases.
The paper highlights the optimization criteria of PLS, which aligns with those of other linear dimensionality reduction methods like Principal Component Analysis (PCA) and Canonical Correlation Analysis (CCA). Specifically, the covariance of the PLS components with the response variable can be expressed as \( \text{cov}(t_l, Y)^2 = \text{var}(t_l) \cdot \text{corr}(t_l, Y)^2 \cdot \text{var}(Y) \), illustrating the relationship between the objectives of PLS, PCA, and CCA. The authors also introduce the NIPALS algorithm for computing PLS components and establish connections between PLS and ordinary least squares (OLS) estimators, particularly in terms of Mahalanobis distance. The paper concludes with a comparative analysis of PLS and Principal Components Regression (PCR), revealing that PLS is more effective when eigenvalues are clustered, while PCA excels with dominant eigenvalues. The structure of the paper is outlined, indicating a thorough exploration of PLS methodology, its applications, and empirical evaluations.
Discussion
In this section, the authors discuss the methodology and implications of Partial Least Squares (PLS) regression, particularly focusing on the NIPALS algorithm for dimensionality reduction and its application in estimating regression coefficients. The PLS approach aims to extract components that capture the linear relationships between predictor variables \(X\) and response variable \(Y\). The optimization problem underlying the extraction of the \(l\)-th PLS component is formulated as maximizing the covariance between the component \(t_l\) and the response \(y\), subject to orthogonality constraints among the components. The iterative NIPALS algorithm modifies the data matrix by deflating it after each component extraction, ensuring that subsequent components remain orthogonal to previously extracted ones.
The paper also establishes a connection between PLS and Ordinary Least Squares (OLS) regression, demonstrating that the PLS estimator converges to the OLS estimator as the number of components \(L\) increases, specifically when \(L\) exceeds the number of distinct eigenvalues of the covariance matrix of \(X\). The authors derive upper bounds for the distance between the PLS and OLS estimators, emphasizing that the Mahalanobis distance provides a more geometrically meaningful measure of this difference than the Euclidean distance. They further illustrate how the distribution of eigenvalues in the covariance matrix influences the performance of PLS, suggesting that tighter clustering of eigenvalues can lead to more accurate approximations of the OLS estimator with fewer PLS components. The empirical study conducted using synthetic data reinforces these theoretical findings, highlighting the dependence of PLS performance on the eigenvalue distribution.