التنبؤ المتوافق المعتمد على وزن المجموعة Group-weighted conformal prediction

شارك:
المجلة: Electronic Journal of Statistics، المجلد: 20، العدد: 1
DOI: https://doi.org/10.1214/26-ejs2506
تاريخ النشر: 2026-01-01
المؤلف: Aabesh Bhattacharyya وآخرون
الموضوع الرئيسي: طرق إحصائية واستدلال

نظرة عامة

في هذا القسم، يناقش المؤلفون التنبؤ المتوافق (CP)، وهي تقنية لتوليد فترات التنبؤ التي تحافظ على الصلاحية بغض النظر عن صحة النموذج، بشرط أن يتماشى توزيع بيانات التدريب مع بيانات الاختبار. يقدمون نوعًا يعرف باسم التنبؤ المتوافق الموزون (WCP)، الذي يعالج التحولات في المتغيرات بين توزيعات التدريب والاختبار من خلال إعادة وزن التنبؤات. ومع ذلك، فإن فعالية WCP تعتمد على معرفة دقيقة لنسبة الاحتمالات بين هذه التوزيعات، والتي غالبًا ما يتم تقديرها، مما قد يهدد ضمانات التغطية بسبب أخطاء التقدير.

يركز المؤلفون على سيناريو محدد حيث يتم تصنيف الملاحظات إلى عدد محدود من المجموعات، والتي تؤثر على تحول المتغيرات. هذه الحالة ذات صلة خاصة في حالات مثل أخذ العينات الطبقية. تشير نتائجهم إلى أنه، في ظل هذه الظروف، يمكن تعزيز ضمانات التغطية التنبؤية لـ WCP بشكل كبير بما يتجاوز القيود المفروضة من حدود أخطاء التقدير الحالية، مما يشير إلى تطبيق أكثر قوة لـ WCP في الإعدادات العملية حيث توجد تحولات في المتغيرات.

مقدمة

تناقش مقدمة هذه الورقة إطار التنبؤ المتوافق (CP)، الذي يوفر طريقة خالية من التوزيع لبناء فترات التنبؤ لمتغير الاستجابة \( Y \) استنادًا إلى الميزات \( X \). تقليديًا، يفترض CP أن بيانات التدريب والاختبار مستقلة وموزعة بشكل متطابق (i.i.d.). لمعالجة السيناريوهات التي يختلف فيها توزيع بيانات الاختبار \( Q \) عن توزيع بيانات التدريب \( P \) (وهي حالة تعرف باسم تحول المتغيرات)، يشير المؤلفون إلى عمل تيبشيراني وآخرين (2019)، الذي يقدم التنبؤ المتوافق الموزون (WCP). تتطلب هذه الطريقة معرفة بتحول المتغيرات، وتحديدًا نسبة التوزيعات الهامشية \( P_X \) و \( Q_X \)، مما يستلزم وجود دالة وزن دقيقة \( w(x) \ لإعادة وزن بيانات التدريب بشكل فعال.

تركز الورقة على حالة محددة من تحول المتغيرات حيث تعتمد دالة الوزن \( w(x) \) فقط على السكانية الفرعية لنقطة البيانات، الممثلة كـ \( X = (X_0, X_1) \). هنا، يشير \( X_0 \) إلى عضوية المجموعة، بينما يتضمن \( X_1 \) ميزات أخرى. هذه البنية ذات صلة خاصة في السيناريوهات التي تتضمن أخذ العينات الطبقية عبر مجموعات مختلفة. يوضح المؤلفون ذلك من خلال مثال يتضمن طلابًا من مدارس مختلفة، حيث تعكس دالة الوزن الاختلافات في التوزيع عبر المدارس. تكمن مساهمة هذا البحث في تحليل تأثير دالة الوزن \( w \) وتقديرها \( \hat{w} \) على ضمانات التغطية لفترات التنبؤ المستمدة من WCP. يستنتج المؤلفون حدودًا أكثر دقة على فقدان التغطية في سياق التنبؤ المتوافق الموزون حسب المجموعة، مما يعزز فهم كيفية تأثير الأخطاء في تقدير \( w \) بشكل كبير على الأداء التنبؤي.

النتائج

في سياق تقدير المعلمات حسب المجموعة تحت تحول المتغيرات، يبرز البحث أن تقدير المعلمة ذات الأبعاد K $(p_1, \ldots, p_K)$ أكثر قابلية للتعامل من تقدير دالة ذات أبعاد غير محدودة $w(x)$. ومع ذلك، يشير المؤلفون إلى أن ضمانات التغطية الحالية متشائمة بشكل مفرط، مما يشير إلى فقدان كبير محتمل في التغطية. على وجه التحديد، عند تقدير الاحتمالات $p_k$ استنادًا إلى حجم عينة قدره $O(n)$، فإن خطأ التقدير المتوقع لكل $p_k$ يتناسب مع $O(p_k/n)$، مما يؤدي إلى خطأ نسبي قدره $O(1/\sqrt{np_k})$. بالنسبة لتوزيع موحد حيث $p_k \equiv 1/K$، ينتج عن ذلك خطأ نسبي قدره $O(K/n)$، مما يشير إلى أن مصطلح فقدان التغطية في ضمان التغطية من لي وكانديز (2021) يتناسب مع $E|w(X) – \hat{w}(X)|^2 \sim K/n$.

للتحقق تجريبيًا من هذه النتائج، يحسب المؤلفون ضمان التغطية عبر أحجام عينات وتكوينات مجموعات مختلفة، بما في ذلك عدد ثابت من المجموعات ($K=10$)، وعدد متزايد ببطء ($K=\lfloor \sqrt{n} \rfloor$)، وعدد نسبي ($K=n/10$). يتم تعريف دالة الوزن المقدرة كـ $w(X) = q_k/p_k$، مع تعديل لتجنب القسمة على الصفر. تكشف النتائج، الموضحة في الشكل 1، أنه حتى مع التقدير ذي الأبعاد المحدودة، تشير ضمانات التغطية إلى فقدان كبير، خاصة في النظام النسبي حيث $K=n/10$، حيث لا يتقارب مستوى التغطية إلى المستوى المستهدف $1-\alpha$ مع زيادة $n$.

المناقشة

في هذا القسم، يناقش المؤلفون تنظيم وأساليب البحث الرئيسية حول التنبؤ المتوافق (CP) والتنبؤ المتوافق الموزون (WCP) في سياق تحول المتغيرات، مع التركيز بشكل خاص على تحول المتغيرات حسب المجموعة. توضح الورقة الهيكل، بدءًا من المفاهيم الأساسية في القسم 2، تليها مقدمة لتحول المتغيرات حسب المجموعة في القسم 3، والتي تسلط الضوء على قيود WCP في هذا الإعداد. يؤكد المؤلفون أنه بينما يوفر CP فترات تنبؤ صالحة تحت ظروف معينة، فإن طريقة WCP تعدل خطوة المعايرة لأخذ تحولات المتغيرات في الاعتبار من خلال دمج دالة وزن $w(x)$، التي تعدل حساب الكمية للدرجات.

يقدم المؤلفون طريقة التنبؤ المتوافق الموزون حسب المجموعة (GWCP)، التي تبني على إطار WCP ولكن تسمح بتعريف فترات التنبؤ دون الحاجة إلى معرفة تعيينات المجموعة في مجموعة الاختبار. يثبتون ضمانًا نظريًا لـ GWCP تحت أحجام مجموعات ثابتة، مما يظهر أن فقدان التغطية المحتمل يتأثر بأصغر حجم مجموعة غير صفري بين المجموعات. تشير النتائج إلى أنه حتى عندما تكون معظم المجموعات كبيرة، يمكن أن تتأثر التغطية بشكل كبير بوجود مجموعات صغيرة، مما يبرز أهمية حجم العينة الفعالة في ضمان الصلاحية التنبؤية. يختتم القسم بدراسة محاكاة تؤكد النتائج النظرية، موضحة الآثار العملية لحجم المجموعة على ضمانات التغطية في GWCP.

Journal: Electronic Journal of Statistics, Volume: 20, Issue: 1
DOI: https://doi.org/10.1214/26-ejs2506
Publication Date: 2026-01-01
Author(s): Aabesh Bhattacharyya et al.
Primary Topic: Statistical Methods and Inference

Overview

In this section, the authors discuss conformal prediction (CP), a technique for generating prediction intervals that maintain validity regardless of model correctness, provided that the training data distribution aligns with that of the test data. They introduce a variant known as weighted conformal prediction (WCP), which addresses covariate shifts between training and test distributions by reweighting the predictions. However, WCP’s effectiveness is contingent upon accurately knowing the likelihood ratio between these distributions, which is often estimated, potentially compromising the coverage guarantees due to estimation errors.

The authors focus on a specific scenario where observations are categorized into a finite number of groups, which influence the covariate shift. This situation is particularly relevant in cases such as stratified sampling. Their findings indicate that, under these conditions, the predictive coverage guarantees of WCP can be significantly enhanced beyond the limitations imposed by existing estimation error bounds, suggesting a more robust application of WCP in practical settings where covariate shifts are present.

Introduction

The introduction of this paper discusses the conformal prediction (CP) framework, which provides a distribution-free method for constructing prediction intervals for a response variable \( Y \) based on features \( X \). Traditionally, CP assumes that both training and test data are independent and identically distributed (i.i.d.). To address scenarios where the test data distribution \( Q \) differs from the training data distribution \( P \) (a situation known as covariate shift), the authors reference the work of Tibshirani et al. (2019), which introduces weighted conformal prediction (WCP). This method requires knowledge of the covariate shift, specifically the ratio of the marginal distributions \( P_X \) and \( Q_X \), necessitating an accurate weight function \( w(x) \) for effective reweighting of training data.

The paper focuses on a specific case of covariate shift where the weight function \( w(x) \) is dependent solely on the subpopulation of the data point, represented as \( X = (X_0, X_1) \). Here, \( X_0 \) indicates the group membership, while \( X_1 \) includes other features. This structure is particularly relevant in scenarios involving stratified sampling across different groups. The authors illustrate this with an example involving students from various schools, where the weight function reflects differences in distribution across schools. The contribution of this research lies in analyzing the impact of the weight function \( w \) and its estimate \( \hat{w} \) on the coverage guarantees of prediction intervals derived from WCP. The authors derive tighter bounds on the loss of coverage in the context of group-weighted conformal prediction, enhancing the understanding of how inaccuracies in estimating \( w \) can significantly affect predictive performance.

Results

In the context of estimating group-wise parameters under covariate shift, the research highlights that estimating the K-dimensional parameter $(p_1, \ldots, p_K)$ is more tractable than estimating an infinite-dimensional function $w(x)$. However, the authors note that existing coverage guarantees are overly pessimistic, indicating a significant potential loss of coverage. Specifically, when estimating the probabilities $p_k$ based on a sample size of $O(n)$, the expected estimation error for each $p_k$ scales as $O(p_k/n)$, leading to a relative error of $O(1/\sqrt{np_k})$. For a uniform distribution where $p_k \equiv 1/K$, this results in a relative error of $O(K/n)$, which suggests that the coverage loss term in the coverage guarantee from Lei and Candès (2021) scales as $E|w(X) – \hat{w}(X)|^2 \sim K/n$.

To empirically validate these findings, the authors compute the coverage guarantee across various sample sizes and group configurations, including a constant number of groups ($K=10$), a slowly increasing number ($K=\lfloor \sqrt{n} \rfloor$), and a proportional number ($K=n/10$). The estimated weight function is defined as $w(X) = q_k/p_k$, with an adjustment to avoid division by zero. The results, illustrated in Figure 1, reveal that even with finite-dimensional estimation, the coverage guarantees indicate a substantial loss, particularly in the proportional regime where $K=n/10$, where the coverage level does not converge to the target level of $1-\alpha$ as $n$ increases.

Discussion

In this section, the authors discuss the organization and key methodologies of their research on conformal prediction (CP) and weighted conformal prediction (WCP) in the context of covariate shift, particularly focusing on group-wise covariate shift. The paper outlines the structure, beginning with foundational concepts in Section 2, followed by the introduction of group-wise covariate shift in Section 3, which highlights the limitations of WCP under this setting. The authors emphasize that while CP provides valid prediction intervals under certain conditions, the WCP method modifies the calibration step to account for covariate shifts by incorporating a weight function $w(x)$, which adjusts the quantile calculation for scores.

The authors introduce the group-weighted conformal prediction (GWCP) method, which builds on the WCP framework but allows for the prediction intervals to be defined without requiring knowledge of group assignments in the test set. They establish a theoretical guarantee for GWCP under fixed group sizes, demonstrating that the potential loss of coverage is influenced by the smallest nonzero group size among the groups. The results indicate that even when most groups are large, the coverage can be significantly affected by the presence of small groups, underscoring the importance of effective sample size in ensuring predictive validity. The section concludes with a simulation study that confirms the theoretical findings, illustrating the practical implications of group size on coverage guarantees in GWCP.