DOI: https://doi.org/10.6339/26-jds1236
تاريخ النشر: 2026-01-01
المؤلف: Timothy F. Champney وآخرون
الموضوع الرئيسي: جودة البيانات وإدارتها
نظرة عامة
في هذا القسم، يؤكد المؤلفون على أهمية الربط عالي الجودة للسجلات لتعزيز بيانات الاستطلاع، مع التركيز بشكل خاص على الاستطلاع المجتمعي الأمريكي (ACS) وملف العناوين الرئيسي للتعداد (MAF). يستكشفون طرقًا مختلفة لمطابقة بيانات الملكية المتاحة تجاريًا مع سجلات وحدات السكن من ACS وMAF، بهدف تكملة بيانات الاستطلاع بمعلومات الملكية التجارية. التقنيتان الرئيسيتان اللتان تم مناقشتهما هما المطابقة المكانية ومطابقة العناوين.
تشمل المطابقة المكانية تراكب ملفات شكل الحدود التجارية على إحداثيات خط العرض وخط الطول من MAF، مما يسمح بربط سجلات وحدات السكن من التعداد مع قطع الملكية التجارية. بينما تعتبر هذه الطريقة مفيدة بسبب تجنبها لمطابقة حقول النص، إلا أنها تواجه صعوبة مع القطع الكبيرة التي تحتوي على وحدات سكنية متعددة. من ناحية أخرى، تربط مطابقة العناوين، التي تشمل طرق قائمة على القواعد، حتمية، ضبابية، واحتمالية، السجلات بناءً على محتوى حقول العناوين، مما يمكّن من إزالة الغموض عن المطابقات المتعددة وتحسين جودة الربط. يلخص المؤلفون الأدبيات الموجودة حول التبادلات بين معدلات الربط والجودة لمجموعات مختلفة من هذه التقنيات ويقترحون حلول هجينة تدمج بين طرق المطابقة المكانية ومطابقة العناوين. كما يقترحون اتجاهات بحث مستقبلية، بما في ذلك دمج المطابقة الاحتمالية لتعزيز جودة الربط بشكل أكبر.
مقدمة
في المقدمة، يناقش المؤلفون التحديات والمنهجيات المرتبطة بتعزيز بيانات الاستطلاع من الاستطلاع المجتمعي الأمريكي (ACS) باستخدام بيانات إدارية على مستوى العنوان. إن المطابقة الدقيقة للعناوين بين هذه المصادر البيانية أمر بالغ الأهمية، حيث يمكن أن توفر مجموعات بيانات الملكية الإدارية معلومات قيمة قد لا يبلغ عنها المستجيبون للاستطلاع، مثل قيم الملكية، والضرائب، والمرافق. لقد حاول مكتب التعداد مطابقة البيانات الإدارية مع سجلات ACS على مدار العقد الماضي، محققًا معدل مطابقة يبلغ حوالي 60% من خلال عملية قياسية تستخدم ملف العناوين الرئيسي للتعداد (MAF)، الذي يسجل تقريبًا جميع مواقع العناوين في الولايات المتحدة.
يقترح المؤلفون عدة استراتيجيات لتعزيز الربط بين سجلات الملكية على مستوى الأسر من MAFID وسجلات العقارات السكنية التجارية. تشمل هذه الاستراتيجيات تحسين عملية المطابقة الحالية، واستخدام ملفات حدود الملكية مع إحداثيات GPS، واستخدام تقنيات المطابقة الضبابية لتحسين معدلات المطابقة. بالإضافة إلى ذلك، يستكشفون إمكانية المطابقة القائمة على النماذج الاحتمالية التي تتضمن التعلم الآلي والذكاء الاصطناعي، مع weighing مزايا وعيوب كل من طرق المطابقة الحتمية والاحتمالية.
طرق
في هذا القسم، يوضح المؤلفون المنهجية المستخدمة لربط سجلات وحدات السكن من استطلاع المجتمع الأمريكي 2019 (ACS) مع بيانات الملكية التجارية من BK. تضمنت مجموعة البيانات سجلات وحدات السكن غير الموزونة مع أرقام تعريف ملف العناوين الرئيسي (MAFIDs) المعينة من خلال عملية مكتب التعداد. في البداية، تم تحقيق معدل مطابقة أساسي يبلغ حوالي 60% عند مقارنة وحدات السكن من ACS ببيانات الملكية من BK، والتي تضمنت ملفات العناوين، وتقييمات الضرائب، وحدود القطع. يتم تحديد معدل المطابقة لكل نوع سكن \( h \) باستخدام \( B_h = 100 \times \frac{M_{0h}}{N_h} \)، حيث يمثل \( N_h \) إجمالي وحدات السكن من ACS و\( M_{0h} \) الوحدات المطابقة.
تهدف خطوات التحسين اللاحقة إلى زيادة عدد المطابقات بما يتجاوز هذا الأساس. يتم تعريف معدلات التحسين لكل خطوة على أنها \( R_{1h} = 100 \times \frac{M_{1h}}{M_{0h}} \)، \( R_{2h} = 100 \times \frac{M_{2h}}{M_{0h}} \)، و\( R_{3h} = 100 \times \frac{M_{3h}}{M_{0h}} \)، مما يشير إلى المطابقات الإضافية التي ساهمت بها كل طريقة بالنسبة للأساس. يتم حساب معدل المطابقة النهائي لكل نوع سكن \( h \) على أنه \( F_h = 100 \times \frac{M_{0h} + M_{1h} + M_{2h} + M_{3h}}{N_h} \)، مما يعكس النسبة المئوية الإجمالية لوحدات ACS المطابقة بعد تطبيق جميع خطوات التحسين. من الجدير بالذكر أن معدلات التحسين ليست تراكمية، مما يبرز الحاجة إلى الحساب المباشر لمعدل المطابقة النهائي.
النتائج
تقدم النتائج المعروضة في الجدول 1 أداء الربط لأنواع السكن بناءً على بيانات الاستطلاع المجتمعي الأمريكي (ACS). تشير العمود الأول إلى معدل المطابقة الأساسي، الممثل بـ \( B_h \)، والذي يعكس النسبة المئوية لوحدات السكن من ACS المرتبطة بنجاح خلال عملية إنتاج التعداد. من الجدير بالذكر أن معدلات المطابقة الأساسية تختلف بشكل كبير عبر أنواع السكن المختلفة، حيث تتراوح من 17.1% للهياكل متعددة الوحدات إلى 78.1% لوحدات الأسرة الواحدة.
توضح الأعمدة اللاحقة معدلات التحسين النسبية التي تم تحقيقها من خلال ثلاث خطوات تحسين، والتي تم قياسها كنسبة مئوية للزيادة في المطابقات بالنسبة للأساس \( B_h \). من المهم ملاحظة أن هذه المعدلات ليست تراكمية، حيث تشترك في نفس المقام الأساسي ولا تجمع إلى معدل المطابقة النهائي. يقدم العمود الأخير معدل المطابقة الإجمالي، \( F_h \)، الذي يمثل النسبة المئوية لوحدات السكن من ACS المطابقة بعد تطبيق جميع خطوات التحسين. يبرز هذا النهج المنظم فعالية استراتيجيات الربط المتنوعة عبر أنواع السكن المختلفة.
المناقشة
في قسم المناقشة من ورقة البحث، يستكشف المؤلفون تقنيات مطابقة العناوين المختلفة، مع التركيز على نقاط القوة والقيود في الأساليب الحتمية والاحتمالية. تعتبر المطابقة الحتمية، التي تتميز بمعايير قائمة على القواعد الدقيقة، فعالة عندما تكون جودة البيانات عالية، مما يؤدي إلى دقة وشفافية عالية. ومع ذلك، تواجه صعوبة مع التناقضات والاختلافات في تنسيقات العناوين، مما يؤدي غالبًا إلى انخفاض معدلات الاسترجاع. في المقابل، تستفيد المطابقة الاحتمالية من الأساليب الإحصائية لتقدير احتمالات المطابقة، مما يتكيف مع الأخطاء الطباعية والبيانات غير المكتملة. تعزز هذه الطريقة الحساسية والدقة، مما يجعلها مناسبة بشكل خاص لمجموعات البيانات الكبيرة والفوضوية، ويمكن أن تحقق معدلات مطابقة عالية حتى في الظروف الصعبة.
كما يبرز المؤلفون دمج تقنيات المطابقة الجغرافية، التي تستخدم الإحداثيات الجغرافية ومجموعات البيانات المكانية لتحسين معدلات المطابقة. من خلال تحديد المواقع الجغرافية للعناوين واستخدام التحليل المكاني، يمكنهم تحديد المطابقات التي قد تتجاهلها الطرق التقليدية. يتم اقتراح الجمع بين الطرق الحتمية والاحتمالية والجغرافية كاستراتيجية قوية لتعزيز ربط سجلات العناوين، خاصة في السيناريوهات المعقدة التي تشمل المساكن متعددة الوحدات. تؤكد الورقة على أهمية التحسين المستمر في خوارزميات المطابقة لمواجهة التحديات المتطورة في تكامل البيانات والدقة، خاصة في سياق جهود مكتب التعداد الأمريكي للحفاظ على ملف العناوين الرئيسي الدقيق (MAF).
DOI: https://doi.org/10.6339/26-jds1236
Publication Date: 2026-01-01
Author(s): Timothy F. Champney et al.
Primary Topic: Data Quality and Management
Overview
In this section, the authors emphasize the importance of high-quality record linkages for enhancing survey data, specifically focusing on the American Community Survey (ACS) and the Census Master Address File (MAF). They explore various methods to match commercially available property data with housing unit records from the ACS and MAF, aiming to supplement survey data with commercial property information. The two primary techniques discussed are spatial matching and address matching.
Spatial matching involves overlaying commercial boundary shape files on latitude-longitude coordinates from the MAF, allowing for the association of Census housing unit records with commercial property parcels. While this method is advantageous due to its avoidance of text field matching, it struggles with large parcels containing multiple housing units. Conversely, address matching, which includes rule-based, deterministic, fuzzy, and probabilistic methods, links records based on the content of address fields, enabling the disambiguation of multiple matches and improving linkage quality. The authors summarize existing literature on the trade-offs between linkage rates and quality for various combinations of these techniques and propose hybrid solutions that integrate both spatial and address matching methods. They also suggest future research directions, including the incorporation of probabilistic matching to enhance linkage quality further.
Introduction
In the introduction, the authors discuss the challenges and methodologies associated with augmenting survey data from the U.S. Census American Community Survey (ACS) using address-level administrative data. Accurate matching of addresses between these data sources is crucial, as administrative property datasets can provide valuable information that survey respondents may not report, such as property values, taxes, and amenities. The Census Bureau has been attempting to match administrative data with ACS records for the past decade, achieving a match rate of approximately 60% through a standard process that utilizes the Census Master Address File (MAF), which catalogs nearly all address locations in the U.S.
The authors propose several strategies to enhance the linkage between Census MAFID household-level property records and commercial residential real estate records. These strategies include refining the current matching process, employing property boundary files with GPS coordinates, and utilizing fuzzy matching techniques to improve match rates. Additionally, they explore the potential of probabilistic model-based matching that incorporates machine learning and artificial intelligence, weighing the advantages and disadvantages of both deterministic and probabilistic matching approaches.
Methods
In this section, the authors detail the methodology employed to link housing unit records from the 2019 American Community Survey (ACS) with commercial property data from BK. The dataset included unweighted housing unit records with Master Address File Identification Numbers (MAFIDs) assigned through the Census Bureau’s process. Initially, a baseline match rate of approximately 60% was achieved when comparing ACS housing units to BK property data, which included address files, tax assessments, and parcel boundaries. The match rate for each housing type \( h \) is quantified using \( B_h = 100 \times \frac{M_{0h}}{N_h} \), where \( N_h \) represents the total ACS housing units and \( M_{0h} \) the matched units.
Subsequent enhancement steps aimed to increase the number of matches beyond this baseline. The improvement rates for each step are defined as \( R_{1h} = 100 \times \frac{M_{1h}}{M_{0h}} \), \( R_{2h} = 100 \times \frac{M_{2h}}{M_{0h}} \), and \( R_{3h} = 100 \times \frac{M_{3h}}{M_{0h}} \), indicating the additional matches contributed by each method relative to the baseline. The final match rate for each housing type \( h \) is calculated as \( F_h = 100 \times \frac{M_{0h} + M_{1h} + M_{2h} + M_{3h}}{N_h} \), reflecting the total percentage of ACS units matched after all enhancement steps have been applied. Notably, the improvement rates are not additive, emphasizing the need for direct computation of the final match rate.
Results
The results presented in Table 1 detail the linkage performance of housing types based on the American Community Survey (ACS) data. The first column indicates the baseline match rate, denoted as \( B_h \), which reflects the percentage of ACS housing units successfully linked during the Census production process. Notably, the baseline match rates vary significantly across different housing types, ranging from 17.1% for multiunit structures to 78.1% for single-family units.
Subsequent columns illustrate the relative improvement rates achieved through three enhancement steps, quantified as the percentage increase in matches relative to the baseline \( B_h \). It is important to note that these improvement rates are not additive, as they share the same baseline denominator and do not sum to the final match rate. The final column presents the overall match rate, \( F_h \), which represents the percentage of ACS housing units matched after the application of all enhancement steps. This structured approach highlights the varying effectiveness of linkage strategies across different housing types.
Discussion
In the discussion section of the research paper, the authors explore various address matching techniques, emphasizing the strengths and limitations of deterministic and probabilistic approaches. Deterministic matching, characterized by exact rule-based criteria, is effective when data quality is high, yielding high precision and transparency. However, it struggles with inconsistencies and variations in address formats, often resulting in lower recall rates. In contrast, probabilistic matching leverages statistical methods to estimate match probabilities, accommodating typographical errors and incomplete data. This approach enhances sensitivity and specificity, making it particularly suitable for large, messy datasets, and can achieve high match rates even in challenging conditions.
The authors also highlight the integration of geospatial matching techniques, which utilize geographic coordinates and spatial datasets to improve match rates. By geocoding addresses and employing spatial analysis, they can identify matches that traditional methods might overlook. The combination of deterministic, probabilistic, and geospatial methods is proposed as a robust strategy for enhancing address record linkage, particularly in complex scenarios involving multi-unit dwellings. The paper underscores the importance of continuous refinement in matching algorithms to address the evolving challenges in data integration and accuracy, particularly within the context of the U.S. Census Bureau’s efforts to maintain an accurate Master Address File (MAF).