DOI: https://doi.org/10.1145/3786352
تاريخ النشر: 2026-03-19
المؤلف: Y. Lee وآخرون
الموضوع الرئيسي: طرق إحصائية واستدلال
نظرة عامة
تتناول هذه الورقة البحثية الاستدلال غير المعتمد على التوزيع في هياكل البيانات الهرمية، مثل الملاحظات المجمعة أو القياسات المتكررة، حيث قد لا تنطبق المفاهيم التقليدية للتبادل. للتغلب على هذه القيود، يقدم المؤلفون شكلاً هرمياً من التبادل، مما يمكّن من توسيع المنهجيات غير المعتمدة على التوزيع، بما في ذلك التنبؤ المتوافق وjackknife+. بينما يوفر إطار التنبؤ المتوافق التقليدي ضمان تغطية تنبؤية هامشية، يوضح المؤلفون أنه في حالة القياسات المتكررة المستقلة، يمكن تحقيق خاصية “تغطية اللحظة الثانية” الأقوى. يسمح هذا التحسين بتحكم أفضل في معدلات التغطية الشرطية غير الصحيحة.
تبني الورقة مجموعات تنبؤ غير معتمدة على التوزيع تلبي هذه الخاصية الخاصة بتغطية اللحظة الثانية، مدعومة بمحاكاة تؤكد معدلات تغطية شرطية صغيرة بشكل موحد. على الرغم من أن هذا الضمان الأقوى يؤدي إلى مجموعات تنبؤ أوسع عندما يكون النموذج الملائم غير مضبوط بشكل جيد، إلا أن الزيادة في العرض تكون ضئيلة عندما يكون النموذج مضبوطًا بشكل جيد، مما يشير إلى وجود تبادل بين قوة التغطية وحجم مجموعة التنبؤ.
مقدمة
تتناول مقدمة الورقة التحدي المتمثل في التنبؤ غير المعتمد على التوزيع في سياق مشكلة التنبؤ التي تتميز ببيانات تدريب \(\{(X_i, Y_i)\}_{i=1}^n\) وملاحظة جديدة \(X_{\text{test}}\) التي تحتاج إلى التنبؤ بالاستجابة \(Y_{\text{test}}\). الهدف هو بناء نطاق تنبؤ \(C\) بحيث تكون الاحتمالية \(P(Y_{\text{test}} \in C(X_{\text{test}})) \geq 1 – \alpha\)، قابلة للتطبيق على أي توزيع \(P\). توفر طرق التنبؤ المتوافق، كما أسسها Vovk وآخرون (2005)، حلاً يحافظ على الصلاحية دون افتراضات توزيع، خاصة للبيانات القابلة للتبادل. ومع ذلك، بينما تكون الضمانات الهامشية للتغطية مفيدة، هناك حاجة متزايدة للتغطية الشرطية التي تضمن الدقة بناءً على قيم الميزات المحددة لنقطة الاختبار، وهي مهمة أكثر تعقيدًا بشكل ملحوظ.
يقترح المؤلفون نهجًا جديدًا يسمى التنبؤ المتوافق الهرمي (HCP)، الذي يوسع التنبؤ المتوافق ليشمل هياكل البيانات الهرمية، مبتعدًا عن الإطار التقليدي i.i.d. يهدف هذا الأسلوب إلى تقديم تغطية تنبؤية هامشية غير معتمدة على التوزيع في البيئات غير i.i.d. ويشمل الطرق التي تم مناقشتها سابقًا كحالات خاصة بينما يقدم ضمان تغطية نظري قوي. بالإضافة إلى ذلك، يقدم المؤلفون متغيرًا، HCP2، مصممًا للسيناريوهات التي تتضمن ملاحظات متعددة لكل فرد، والذي يسعى إلى تعزيز التغطية الشرطية من خلال ضمان “تغطية اللحظة الثانية”. كما يوضح القسم المبادئ الأساسية للتنبؤ المتوافق المنقسم، مع تسليط الضوء على خصائص تغطيته الهامشية والقيود المرتبطة بالتكييف على ميزات الاختبار.
طرق
في هذا القسم، يقارن المؤلفون طريقتهم المقترحة للتنبؤ المتوافق الهرمي (HCP) بالأساليب التي قدمها Dunn وآخرون (2022) لاستدلال البيانات الهرمية. يقدم Dunn وآخرون أربع طرق—تجميع CDFs، التنبؤ المتوافق المزدوج، أخذ عينات مرة واحدة، وأخذ عينات متكررة—تركز على إصدارات التنبؤ المتوافق المنقسم ذات الصلة بالتعلم تحت الإشراف. يوضح المؤلفون أن تجميع CDFs يعادل HCP ولكن بمستوى خطأ أعلى $\alpha$، ويقدمون ضمان تغطية عينة محدودة. يشيرون إلى أنه بينما تحقق التنبؤ المتوافق المزدوج وأخذ العينات مرة واحدة تغطية عينة محدودة، فإنها تميل إلى أن تكون متحفظة بشكل مفرط أو تظهر أداءً متغيرًا بسبب التخلص من البيانات. كما يثبت المؤلفون أن أخذ العينات المتكررة يمكن اعتباره نسخة معاد تشكيلها من HCP، مما يؤدي إلى ضمان تغطية عينة محدودة عند المستوى $1 – \alpha$.
تشمل تنفيذ الطرق مهمتين للتنبؤ بأفقين زمنيّين مختلفين ($\tau = 0.05$ للتنبؤات القريبة من المستقبل و$\tau = 0.5$ للتنبؤات البعيدة عن المستقبل)، باستخدام شبكة عصبية خطية لتقدير المتوسط الشرطي والانحراف المعياري للمتغير المستهدف $Y$ بالنظر إلى الميزات $X$. تشير النتائج إلى أن كل من طريقتي HCP وHCP 2 تلبيان ضماناتهما المستهدفة لمعدلات التغطية غير الصحيحة وعرض فترات التنبؤ. بالنسبة للتنبؤات القريبة من المستقبل، تؤدي الطريقتان بشكل مشابه، بينما بالنسبة للتنبؤات البعيدة عن المستقبل، يظهر HCP معدل تغطية غير صحيح مرتفع للحظة الثانية، مما يستدعي من HCP 2 اعتماد نهج أكثر تحفظًا. تكشف التجارب الإضافية أن HCP يتفوق على التنبؤ المتوافق القياسي في تحقيق تغطية صحيحة ومشدودة عبر إعدادات أحجام المجموعات المتنوعة، مما يعالج بفعالية التحديات التي تطرحها هياكل البيانات الهرمية.
نقاش
في هذا القسم، يناقش المؤلفون التحديات والمنهجيات المرتبطة بأخذ العينات الهرمية في النمذجة التنبؤية. على عكس الإعدادات المستقلة والموزعة بشكل متطابق (i.i.d.)، يقدم أخذ العينات الهرمي اعتمادات بين الملاحظات داخل المجموعات، مما يتطلب تعديلات في الأساليب الإحصائية. يقترح المؤلفون إطارًا للاستدلال غير المعتمد على التوزيع الذي يستوعب الهياكل الهرمية، تحديدًا من خلال مفهوم التبادل الهرمي. يوسع هذا المفهوم من التبادل التقليدي من خلال اشتراط أن تكون كل من المجموعات والملاحظات داخل المجموعات قابلة للتبادل، وهو أمر ذو صلة خاصة في سياقات مثل البيانات الطبية حيث قد يظهر المرضى من نفس المستشفى نتائج مترابطة.
يقدم المؤلفون التنبؤ المتوافق الهرمي (HCP) كطريقة لإجراء التنبؤات في هذا السياق الهرمي. تم تصميم HCP لتوفير فترات تنبؤ صحيحة مع الأخذ في الاعتبار الهيكل الهرمي للبيانات. تتضمن الطريقة تقسيم بيانات التدريب إلى مجموعات لتناسب النموذج والمعايرة، وتضمن تغطية هامشية لفترات التنبؤ تحت شرط التبادل الهرمي. بالإضافة إلى ذلك، يسلط المؤلفون الضوء على العلاقة بين HCP والأساليب الموجودة، مثل طرق تجميع CDFs والتنبؤ المتوافق المزدوج، موضحين أن HCP يقدم ضمانات أقوى لعينة محدودة. يختتم القسم بتوضيح مساهمات هذا العمل في مجال الاستدلال غير المعتمد على التوزيع، خاصة في الإعدادات الهرمية، ويضع الأساس لاستكشاف هذه المنهجيات في الأقسام اللاحقة من الورقة.
DOI: https://doi.org/10.1145/3786352
Publication Date: 2026-03-19
Author(s): Y. Lee et al.
Primary Topic: Statistical Methods and Inference
Overview
This paper investigates distribution-free inference in hierarchical data structures, such as grouped observations or repeated measurements, where traditional notions of exchangeability may not apply. To overcome this limitation, the authors introduce a hierarchical form of exchangeability, which enables the extension of distribution-free methodologies, including conformal prediction and jackknife+. While the conventional conformal prediction framework offers a marginal predictive coverage guarantee, the authors demonstrate that in the case of independent repeated measurements, a stronger “second-moment coverage” property can be achieved. This enhancement allows for improved control over conditional miscoverage rates.
The paper constructs distribution-free prediction sets that satisfy this second-moment coverage property, supported by simulations that confirm uniformly small conditional miscoverage rates. Although this stronger guarantee results in wider prediction sets when the fitted model is poorly calibrated, the increase in width is minimal when the model is well-calibrated, indicating a trade-off between coverage strength and prediction set size.
Introduction
The introduction of the paper addresses the challenge of distribution-free prediction in the context of a prediction problem characterized by training data \(\{(X_i, Y_i)\}_{i=1}^n\) and a new observation \(X_{\text{test}}\) for which the response \(Y_{\text{test}}\) needs to be predicted. The goal is to construct a prediction band \(C\) such that the probability \(P(Y_{\text{test}} \in C(X_{\text{test}})) \geq 1 – \alpha\), applicable to any distribution \(P\). Conformal prediction methods, as established by Vovk et al. (2005), provide a solution that maintains validity without distributional assumptions, particularly for exchangeable data. However, while marginal coverage guarantees are useful, there is a growing need for conditional coverage that ensures accuracy based on specific feature values of the test point, a significantly more complex task.
The authors propose a novel approach termed hierarchical conformal prediction (HCP), which extends conformal prediction to hierarchical data structures, diverging from the traditional i.i.d. framework. This method aims to deliver distribution-free marginal predictive coverage in non-i.i.d. settings and includes previously discussed methods as special cases while offering a theoretically robust coverage guarantee. Additionally, the authors introduce a variant, HCP2, designed for scenarios with multiple observations per individual, which seeks to enhance conditional coverage through a “second-moment coverage” guarantee. The section also outlines the foundational principles of split conformal prediction, highlighting its marginal coverage properties and the limitations associated with conditioning on test features.
Methods
In this section, the authors compare their proposed Hierarchical Conformal Prediction (HCP) method with the approaches introduced by Dunn et al. (2022) for hierarchical data inference. Dunn et al. present four methods—Pooling CDFs, Double Conformal, Subsampling Once, and Repeated Subsampling—focusing on split conformal versions relevant to supervised learning. The authors demonstrate that Pooling CDFs is equivalent to HCP but with a higher error level $\alpha$, and they provide a finite-sample coverage guarantee. They note that while Double Conformal and Subsampling Once achieve finite-sample coverage, they tend to be overly conservative or exhibit variable performance due to data discarding. The authors also establish that Repeated Subsampling can be viewed as a bootstrapped version of HCP, yielding a finite-sample coverage guarantee at level $1 – \alpha$.
The implementation of the methods involves two prediction tasks with different time horizons ($\tau = 0.05$ for near-future and $\tau = 0.5$ for distant-future predictions), using a linear neural network to estimate the conditional mean and standard deviation of the target variable $Y$ given features $X$. Results indicate that both HCP and HCP 2 methods meet their respective target guarantees for miscoverage rates and prediction interval widths. For near-future predictions, both methods perform similarly, while for distant-future predictions, HCP shows a high second-moment miscoverage rate, necessitating HCP 2 to adopt a more conservative approach. Additional experiments reveal that HCP outperforms standard conformal prediction in achieving valid and tight coverage across varying group size settings, effectively addressing the challenges posed by hierarchical data structures.
Discussion
In this section, the authors discuss the challenges and methodologies associated with hierarchical sampling in predictive modeling. Unlike independent and identically distributed (i.i.d.) settings, hierarchical sampling introduces dependencies among observations within groups, necessitating adaptations in statistical methods. The authors propose a framework for distribution-free inference that accommodates hierarchical structures, specifically through the concept of hierarchical exchangeability. This notion extends traditional exchangeability by requiring that both groups and observations within groups are exchangeable, which is particularly relevant in contexts such as medical data where patients from the same hospital may exhibit correlated outcomes.
The authors introduce Hierarchical Conformal Prediction (HCP) as a method for making predictions in this hierarchical context. HCP is designed to provide valid prediction intervals while accounting for the hierarchical structure of the data. The method involves splitting the training data into groups for model fitting and calibration, and it guarantees marginal coverage for the prediction intervals under the hierarchical exchangeability condition. Additionally, the authors highlight the relationship between HCP and existing methods, such as the Pooling CDFs and Double Conformal methods, demonstrating that HCP offers stronger finite-sample guarantees. The section concludes by outlining the contributions of this work to the field of distribution-free inference, particularly in hierarchical settings, and sets the stage for further exploration of these methodologies in subsequent sections of the paper.
