DOI: https://doi.org/10.1007/s40065-026-00618-3
تاريخ النشر: 2026-03-03
المؤلف: David Kepplinger وآخرون
الموضوع الرئيسي: تقنيات أخذ العينات والتقدير
نظرة عامة
تقدم البحث مقدر الحد الأدنى لمسافة هيلينجر (MHDE) المصمم لتعزيز الاستدلال الموثوق من عينات المسح المعقدة، خاصة في وجود القيم الشاذة والملاحظات ذات التأثير العالي الناتجة عن احتمالات الإدراج غير المتساوية والمعايرة. يمكن تطبيق MHDE على تصاميم معقدة متنوعة، بما في ذلك احتمالية بواسون النسبية للحجم (PPS) وأخذ عينات عشوائية بسيطة ذات حجم ثابت (SRS) بدون استبدال، مع مراعاة الأوزان المعايرة أو الموزعة عشوائياً. تشمل النتائج الرئيسية: (i) اتساق L1 لمقدر كثافة النواة (KDE) مع حدود ذيل الانحراف الكبير المتأثرة بحجم العينة الفعالة القابلة للتكيف مع التباين؛ (ii) حدود أسية موحدة لتماثل هيلينجر التي تضمن اتساق MHDE تحت ظروف التعرف الخفيفة؛ (iii) توزيع طبيعي تقاربي لـ MHDE يتميز بالتغاير \( A^{-1} \Sigma A^\top \)، مع تعديلات للسكان المحدودة في التصاميم بدون استبدال؛ و (iv) القوة الموثوقة التي تم إثباتها من خلال دالة التأثير ومنحنيات التأثير α ضمن طوبولوجيا هيلينجر.
تظهر المحاكاة التي أجريت تحت نماذج السوبر بوبوليشن غاما واللوغاريتمية أن هناك توازنات بين الكفاءة والقوة لمقدر MHDE مقارنة بتقدير الاحتمالية القصوى الموزونة (MLE) في السيناريوهات التي تحتوي على تلوث مستقل وعالي التأثير. توضح تطبيقات مجموعة بيانات NHANES 2021-2023 حول استهلاك المياه الكلي استقرار MHDE ضد الاستجابات المتطرفة التي تحرف بشكل كبير تقدير MLE. يُلاحظ أن المقدر سهل التنفيذ من خلال التكامل على شبكة ثابتة ولديه إمكانية التمديد إلى عائلات تباين أخرى.
مقدمة
تتناول مقدمة الورقة التحديات المتعلقة بالتقدير الموثوق والاستدلال في عينات المسح المعقدة، خاصة في وجود القيم الشاذة. يقترح المؤلفون مقدراً قوياً، وهو مقدر الحد الأدنى لمسافة هيلينجر (MHDE)، مصمم لعينات المسح المأخوذة من سكان محددين مع احتمالات إدراج غير متساوية، والتي يمكن أن تستند إلى بيانات مساعدة. يمكن أن تؤدي القيم الشاذة، التي قد تنشأ من قيم متطرفة مشروعة أو أخطاء في إدخال البيانات، إلى تحريف كبير في المقدرات، خاصة عندما تعزز احتمالات الإدراج تأثيراتها. تسلط الورقة الضوء على أن التعديلات مثل ما بعد التصنيف يمكن أن تفاقم هذه القضايا، مما يؤدي إلى مزيد من التشويه في المقدرات.
يبني المؤلفون على الأبحاث الحالية في مقدرات الحد الأدنى للتباين، المعروفة بقوتها ضد القيم الشاذة مع الحفاظ على الكفاءة في العينات النظيفة. يركزون بشكل خاص على مسافة هيلينجر كقياس للتباين، وهو أمر مفيد بسبب قوته ضد تحديد النموذج الخاطئ. يُظهر MHDE أنه متسق وطبيعي تقاربي تحت افتراضات خفيفة، وتظهر الدراسات التجريبية كفاءته وصلاحيته حتى في وجود القيم الشاذة. يوضح تطبيق MHDE على مسح الصحة والتغذية الوطني (NHANES) أدائه المتفوق مقارنة بمقدرات الاحتمالية القصوى التقليدية عند مواجهة قيم غير عادية.
طرق
في هذا القسم، يحدد المؤلفون منهجيتهم لتقدير التوزيع الحقيقي للسوبر بوبوليشن لمتغير \( Y \)، المسمى \( G \) بكثافة \( g \). يقدمون عائلة بارامترية من الكثافات \( F = \{f_\theta : \theta \in \Theta\} \) ويعرفون المُصغر السكاني \( \theta_0 = \arg \min_{\theta \in \Theta} H^2(f_\theta, g) \)، الذي يحدد كثافة بارامترية في \( F \) الأقرب إلى \( G \) في طوبولوجيا هيلينجر. لتقدير \( \theta_0 \)، يقومون بتقليل مسافة هيلينجر بين الكثافة المقدرة \( f_\gamma \) والكثافات في العائلة البارامترية، مما يؤدي إلى مشكلة تحسين \( \theta_\gamma := \arg \min_{\theta \in \Theta} H^2(f_\theta, f_\gamma) = \arg \max_{\theta \in \Theta} \Gamma_\gamma(\theta) \).
يستخدم المؤلفون مقدر كثافة النواة المعدل بواسطة هورفيتز-تومسون (HT) للحصول على تقدير متسق لـ \( \theta_0 \)، المعبر عنه كـ \( f_\gamma(y) := \frac{1}{\sum_{i \in U_\gamma} \delta_{\gamma i}/\pi_{\gamma i}} \sum_{i \in U_\gamma} \frac{\delta_{\gamma i}}{\pi_{\gamma i}} K_{h_\gamma}(Y_{\gamma i} – y) \). يؤكدون على قوة مقدر الحد الأقصى لمسافة هيلينجر (MHDE) من خلال استمراريته في طوبولوجيا هيلينجر، كما هو موضح في الاقتراح C.2 من الملحق. من الجدير بالذكر أنه مع انخفاض نسبة الملاحظات الملوثة، يتقارب المقدر إلى الحد الأقصى لمشكلة التحسين دون تأثير التلوث.
نتائج
في قسم النتائج، يقيم البحث أداء مقدر الكثافة الهجينة القصوى (MHDE) ومقدر الاحتمالية القصوى (MLE) ضمن نموذج السوبر بوبوليشن غاما، خاصة مع زيادة حجم السكان وحجم العينة. تشير النتائج إلى أن كلا المقدرين يظهران انحرافاً ضمن ±1% عندما يكون حجم السكان \( N \) كبيراً بما فيه الكفاية، مع انخفاض سريع في التباين المقابل. من الجدير بالذكر أن MHDE يظهر قوة أكبر ضد التلوث مقارنة بـ MLE، خاصة فيما يتعلق بمعامل المقياس، الذي يكون أكثر حساسية للتلوث من معامل الشكل. تظل دالة التأثير لـ MHDE محدودة تحت التلوث المستقل وعالي التأثير، مما يسمح لها بتحمل حتى 30% من التلوث العالي التأثير قبل حدوث عدم الاستقرار، بينما دالة تأثير MLE غير محدودة.
تقيم الدراسة أيضاً تغطية فترات الثقة التقاربية المستمدة من النظرية 3.11 من خلال 10,000 تكرار لـ \( N = 10^7 \) وأحجام عينات \( n \in \{1000, 10,000\} \). تكشف النتائج الملخصة في الجدول 1 أن معدل التغطية لأخذ العينات العشوائية البسيطة (SRS) قريب من المستوى الاسمي، بينما تظهر احتمالية بواسون النسبية للحجم (PPS) تغطية أقل، تُعزى إلى انحراف أعلى. هذه المشكلة ليست حصرية لـ MHDE، حيث يواجه MLE تحديات مماثلة في هذا السياق. تؤكد دراسة محاكاة إضافية باستخدام توزيع لوغاريتمي هذه النتائج، مما يظهر نتائج متسقة عبر استراتيجيات أخذ العينات مع فترات ثقة تقترب من المستويات الاسمية.
مناقشة
في هذا القسم، يقدم المؤلفون الإطار النظري والأساليب الحسابية لمقدر الحد الأدنى لمسافة هيلينجر (MHDE) باستخدام مقدر كثافة النواة المعدل بواسطة هورفيتز-تومسون (KDE) في السكان المحدودين. يثبتون أن KDE المعدل بواسطة HT يتقارب إلى الكثافة الحقيقية للسوبر بوبوليشن، بينما يتقارب KDE الساذج إلى كثافة متحيزة بالحجم. يظهر المؤلفون اتساق MHDE تحت تصاميم أخذ عينات متنوعة، مثبتين أنه طبيعي تقاربي وقوي ضد التلوث، بما في ذلك النقاط ذات التأثير العالي. تعتمد النتائج النظرية على افتراضات بسيطة بشأن الكثافة الحقيقية وتصميم أخذ العينات، مما يسمح بالتقدير الفعال والاستدلال الصحيح حتى في وجود تحديد خاطئ للنموذج.
كما يستخرج المؤلفون دالة التأثير ومنحنى التأثير α، الذي يميز سلوك المقدر تحت التلوث. يبرزون أن MHDE يعمل بشكل مشابه لمقدر الاحتمالية القصوى (MLE) عندما يكون نموذج السوبر بوبوليشن صحيحاً ولكنه أكثر استقراراً بشكل ملحوظ عندما يكون النموذج غير محدد أو عندما تحتوي العينة على قيم شاذة. تؤكد الدراسات التجريبية، بما في ذلك دراسة محاكاة وتطبيق على بيانات NHANES، على قوة وكفاءة MHDE عبر سيناريوهات متنوعة، مما يبرز قابليته للتطبيق العملي في عينات المسح المعقدة. بشكل عام، يظهر MHDE كمقدر موثوق لمجموعة واسعة من العائلات البارامترية، مما يوضح فائدته في التطبيقات الواقعية.
DOI: https://doi.org/10.1007/s40065-026-00618-3
Publication Date: 2026-03-03
Author(s): David Kepplinger et al.
Primary Topic: Survey Sampling and Estimation Techniques
Overview
The research presents a minimum Hellinger distance estimator (MHDE) designed to enhance reliable inference from complex survey samples, particularly in the presence of outliers and high-leverage observations stemming from unequal inclusion probabilities and calibration. The MHDE is applicable to various complex designs, including Poisson probability proportional to size (PPS) and fixed-size simple random sampling (SRS) without replacement, accommodating stochastic post-stratified or calibrated weights. Key findings include: (i) L1-consistency of the kernel density estimator (KDE) with large-deviation tail bounds influenced by a variance-adaptive effective sample size; (ii) uniform exponential bounds for Hellinger affinity that ensure MHDE consistency under mild identifiability conditions; (iii) an asymptotic Normal distribution for the MHDE characterized by covariance \( A^{-1} \Sigma A^\top \), with adjustments for finite populations in without-replacement designs; and (iv) robustness demonstrated through the influence function and α-influence curves within the Hellinger topology.
Simulations conducted under Gamma and lognormal superpopulation models reveal the efficiency-robustness trade-offs of the MHDE compared to weighted maximum likelihood estimation (MLE) in scenarios with independent and high-leverage contamination. An application to the NHANES 2021-2023 dataset on total water consumption illustrates the MHDE’s stability against extreme responses that significantly bias the MLE. The estimator is noted for its straightforward implementation via quadrature over a fixed grid and its potential for extension to other divergence families.
Introduction
The introduction of the paper addresses the challenges of reliable estimation and inference in complex survey samples, particularly in the presence of outliers. The authors propose a robust estimator, the Minimum Hellinger Distance Estimator (MHDE), designed for survey samples drawn from finite populations with potentially unequal inclusion probabilities, which can be informed by auxiliary data. Outliers, which may arise from legitimate extreme values or data entry errors, can significantly bias estimators, especially when inclusion probabilities amplify their effects. The paper highlights that adjustments like post-stratification can exacerbate these issues, leading to further distortion in estimators.
The authors build on existing research in minimum divergence estimators, which are known for their robustness against outliers while maintaining efficiency in clean samples. They specifically focus on the Hellinger distance as a measure of divergence, which is advantageous due to its robustness to model misspecification. The MHDE is shown to be consistent and asymptotically normal under mild assumptions, and empirical studies demonstrate its efficiency and validity even in the presence of outliers. The application of the MHDE to the National Health and Nutrition Examination Survey (NHANES) illustrates its superior performance compared to traditional maximum likelihood estimators when faced with unusual values.
Methods
In this section, the authors outline their methodology for estimating the true superpopulation distribution of a variable \( Y \), denoted as \( G \) with density \( g \). They introduce a parametric family of densities \( F = \{f_\theta : \theta \in \Theta\} \) and define the population minimizer \( \theta_0 = \arg \min_{\theta \in \Theta} H^2(f_\theta, g) \), which identifies the parametric density in \( F \) that is closest to \( G \) in the Hellinger topology. To estimate \( \theta_0 \), they minimize the Hellinger distance between the estimated density \( f_\gamma \) and the densities in the parametric family, leading to the optimization problem \( \theta_\gamma := \arg \min_{\theta \in \Theta} H^2(f_\theta, f_\gamma) = \arg \max_{\theta \in \Theta} \Gamma_\gamma(\theta) \).
The authors employ the Horvitz-Thompson (HT) adjusted kernel density estimator to obtain a consistent estimate of \( \theta_0 \), expressed as \( f_\gamma(y) := \frac{1}{\sum_{i \in U_\gamma} \delta_{\gamma i}/\pi_{\gamma i}} \sum_{i \in U_\gamma} \frac{\delta_{\gamma i}}{\pi_{\gamma i}} K_{h_\gamma}(Y_{\gamma i} – y) \). They assert the robustness of the maximum Hellinger distance estimator (MHDE) through its continuity in the Hellinger topology, as demonstrated in Proposition C.2 of the Appendix. Notably, as the proportion of contaminated observations diminishes, the estimator converges to the maximizer of the optimization problem without the influence of contamination.
Results
In the results section, the study evaluates the performance of the Maximum Hybrid Density Estimator (MHDE) and the Maximum Likelihood Estimator (MLE) within the Gamma superpopulation model, particularly as population and sample sizes increase. The findings indicate that both estimators exhibit a bias within ±1% when the population size \( N \) is sufficiently large, with a corresponding rapid decrease in variance. Notably, the MHDE demonstrates superior robustness against contamination compared to the MLE, particularly with respect to the scale parameter, which is more sensitive to contamination than the shape parameter. The influence function for the MHDE remains bounded under independent and high-leverage contamination, allowing it to tolerate up to 30% high-leverage contamination before instability occurs, while the MLE’s influence function is unbounded.
The study further assesses the coverage of asymptotic confidence intervals derived from Theorem 3.11 through 10,000 replications for \( N = 10^7 \) and sample sizes \( n \in \{1000, 10,000\} \). Results summarized in Table 1 reveal that the coverage rate for simple random sampling (SRS) is close to the nominal level, whereas Poisson probability proportional to size (PPS) exhibits lower coverage, attributed to higher bias. This issue is not exclusive to the MHDE, as the MLE faces similar challenges in this context. A supplementary simulation study using a log-normal distribution corroborates these findings, showing consistent results across sampling strategies with confidence intervals approaching nominal levels.
Discussion
In this section, the authors present the theoretical framework and computational methods for the Minimum Hellinger Distance Estimator (MHDE) using a Horvitz-Thompson adjusted kernel density estimator (KDE) in finite populations. They establish that the HT-adjusted KDE converges to the true superpopulation density, while the naïve KDE converges to a size-biased density. The authors demonstrate the consistency of the MHDE under various sampling designs, proving that it is asymptotically normal and robust against contamination, including high-leverage points. The theoretical results rely on minimal assumptions regarding the true density and sampling design, allowing for efficient estimation and valid inference even in the presence of model misspecification.
The authors also derive the influence function and the α-influence curve, which characterize the estimator’s behavior under contamination. They highlight that the MHDE performs comparably to the maximum likelihood estimator (MLE) when the superpopulation model is correct but is significantly more stable when the model is misspecified or when the sample contains outliers. The empirical studies, including a simulation study and an application to NHANES data, further validate the robustness and efficiency of the MHDE across various scenarios, emphasizing its practical applicability in complex survey samples. Overall, the MHDE emerges as a reliable estimator for a wide range of parametric families, demonstrating its utility in real-world applications.