DOI: https://doi.org/10.1109/tkde.2026.3656786
تاريخ النشر: 2026-01-22
المؤلف: Marc Maynou وآخرون
الموضوع الرئيسي: أنظمة قواعد البيانات المتقدمة والاستعلامات
نظرة عامة
تقدم هذه الورقة البحثية FREYJA، وهو نهج مبتكر لحساب تصنيفات السمات القابلة للانضمام بكفاءة في بحيرات البيانات غير المتجانسة. غالبًا ما تؤدي مقاييس تداخل المجموعات التقليدية إلى العديد من الإيجابيات الكاذبة، بينما تكون تقنيات تعلم تمثيل الجداول المتقدمة (TRL) مكلفة حسابيًا. لمعالجة هذه القضايا، تقدم FREYJA مقياس جودة انضمام جديد يدمج بين Jaccard المتعدد والمعدل العددي، محققة دقة مقارنة بأساليب TRL مع الحفاظ على قابلية التوسع. يستخدم النظام ملفات تعريف البيانات – تمثيلات فعالة لخصائص مجموعة البيانات – لتوليد تصنيفات للأزواج القابلة للانضمام، مما يقلل بشكل كبير من تكاليف التنفيذ ويقضي على الحاجة إلى أجهزة عالية الأداء.
تشير النتائج إلى أن FREYJA لا تتطابق فقط، بل تتجاوز أيضًا النتائج الرائدة في المعايير الاصطناعية وتؤدي بشكل أفضل على البيانات المعقدة وغير الاصطناعية. ومع ذلك، يعترف المؤلفون بوجود قيد في نهجهم القائم على الملفات التعريفية، حيث قد يؤدي تلخيص محتوى الأعمدة إلى ملفات تعريف البيانات إلى فقدان المعلومات الدلالية الدقيقة. قد يؤثر ذلك على الانضمامات الغامضة التي تعتمد على العلاقات الدلالية الدقيقة. ستركز الأعمال المستقبلية على تعزيز نماذج التنبؤ القائمة على الملفات التعريفية واستكشاف منهجيات هجينة تجمع بين توليد المرشحين الفعال من FREYJA وتحليل TRL المستهدف لتحسين اكتشاف الانضمام. بالإضافة إلى ذلك، سيتم التحقيق في إمكانية استخدام هذا النهج في زيادة البيانات وتقييم صلة الأعمدة المعززة للمهام التحليلية.
مقدمة
تتناول مقدمة الورقة الدور الحاسم لاكتشاف البيانات في التنقل عبر بحيرات البيانات الواسعة، والتي تعتبر ضرورية للمنظمات المعتمدة على البيانات التي تسعى لتعزيز إمكانية الوصول وإعادة استخدام مجموعات البيانات. يبرز المؤلفون التحديات التي تطرحها عدم تجانس البيانات والحجم الهائل لمجموعات البيانات، مما يعقد طرق اكتشاف البيانات التقليدية التي تعتمد على قيود النزاهة. يركزون بشكل خاص على مهمة حساب تصنيفات السمات القابلة للانضمام، بهدف تحديد الانضمامات عالية الجودة التي تنتج مجموعات بيانات غنية دلاليًا.
لمعالجة قيود طرق اكتشاف الانضمام النحوية والدلالية الحالية، يقترح المؤلفون FREYJA، وهو نهج جديد يجمع بين كفاءة المقاييس النحوية والوعي الدلالي للمنهجيات المتقدمة. تقدم FREYJA مقياسًا جديدًا يدمج نسخة متعددة من مؤشر Jaccard مع النسب العددية لتعزيز تقييم جودة الانضمام مع تقليل الإيجابيات الكاذبة. بالإضافة إلى ذلك، تستخدم هيكلًا خفيف الوزن يعتمد على ملفات تعريف البيانات لتقريب مقياس القابلية للانضمام، مما يحسن بشكل كبير من قابلية التوسع ويقلل من المتطلبات الحسابية. توضح الورقة مساهماتها، بما في ذلك تطوير مقياس واعٍ دلاليًا، ونموذج تنبؤي قابل للتوسع، ونظام متماسك لاكتشاف البيانات بكفاءة في بيئات واسعة النطاق.
طرق
في قسم التقييم التجريبي، يقدم المؤلفون تحليلًا مقارنًا لنظامهم المقترح، FREYJA، مقابل ستة أنظمة رائدة لاكتشاف البيانات: D3L، Starmie، SANTOS، DeepJoin، WarpGate، و KGLiDS. تم تنفيذ FREYJA بلغة بايثون وتستخدم DuckDB لحساب ملفات تعريف الأعمدة بكفاءة، مع بنية مبسطة تقلل من عبء المعالجة المسبقة من خلال الحاجة فقط إلى حساب ملفات تعريف بحيرة البيانات. يعمل النظام في مرحلتين: مرحلة غير متصلة بالإنترنت لحساب الملفات التعريفية ومرحلة متصلة بالإنترنت لمعالجة الاستعلامات، والتي تشمل التطبيع وحسابات المسافة لترتيب الانضمامات المحتملة بناءً على جودة الانضمام المستنتجة. تفاصيل التنفيذ وبيانات تجريبية إضافية متاحة من خلال موقع ويب مرافق.
شملت الإعدادات التجريبية جهازًا مزودًا بمعالج Intel Core i7-10700K، وذاكرة وصول عشوائي سعة 32 جيجابايت، و بطاقة رسومات Nvidia GTX 3070، وقرص SSD سعة 512 جيجابايت. تشمل المعايير المستخدمة للتقييم مجموعة متنوعة من مجموعات البيانات وقوائم الانضمام الحقيقية، مع التركيز على متوسط عدد الانضمامات ذات الصلة المحددة عبر الاستعلامات. استخدم المؤلفون ثمانية معايير راسخة، بما في ذلك SANTOS و TUS، وأجروا دراسة إلغاء لتقييم مساهمة مكونات النموذج المحددة. تشير النتائج إلى أن FREYJA تحدد بفعالية الانضمامات ذات الصلة، مستفيدة من مجموعة مختارة من الميزات من عملية التوصيف الخاصة بها، والتي تشمل مقاييس حول الخصائص العامة، والترددات، وأطوال القيم، من بين أمور أخرى. جميع الحقائق الأساسية والموارد الإضافية متاحة في مستودع FREYJA.
نقاش
في مناقشة طرق اكتشاف الانضمام، تبرز الورقة عدم كفاية الحلول الكلاسيكية المعتمدة على قيود النزاهة في سياق بحيرات البيانات غير المتجانسة. تصنف الأساليب الحديثة إلى طرق نحوية ودلالية، حيث تعتمد الطرق النحوية على مقاييس تداخل المجموعات وتستفيد الطرق الدلالية من تعلم تمثيل الجداول (TRL). يؤكد المؤلفون أنه بينما تحقق الأساليب الدلالية دقة أعلى، فإنها غالبًا ما تتطلب موارد حسابية واسعة ووقت إعداد. تحفز هذه الفجوة تطوير FREYJA، وهو نموذج جديد مصمم لاكتشاف الانضمام بكفاءة يجمع بين مقاييس Jaccard المتعددة والنسب العددية لتعزيز قابلية التوسع دون عبء حسابي من التضمينات.
يتم تعريف مقياس جودة الانضمام المقترح، Q، لتقييم العلاقة الدلالية بين الأعمدة بناءً على معايير نحوية ودلالية. يجادل المؤلفون بأن مقاييس تداخل الأعمدة التقليدية، مثل الاحتواء و Jaccard، تفشل في تصنيف الأزواج القابلة للانضمام دلاليًا بدقة بسبب عدم قدرتها على حساب القيم المكررة في بحيرات البيانات. بدلاً من ذلك، تقدم الورقة النسبة العددية كوكيل خفيف الوزن للاختلاف الدلالي، حيث تفترض أن الاختلافات الكبيرة في العدد تشير إلى مفاهيم دلالية متميزة. توضح التحقق التجريبي من هذه الفرضية أن الانضمامات الدلالية تظهر قيم نسبة عددية أعلى، مما يدعم دمج هذا المقياس مع Jaccard المتعدد لتشكيل تقييم شامل لجودة الانضمام. المقياس الناتج قابل للتكيف وقابل للتعميم، مما يسمح بالكشف الفعال عن الانضمامات عبر مختلف بحيرات البيانات دون الحاجة إلى إعادة تدريب أو ضبط دقيق واسع النطاق.
DOI: https://doi.org/10.1109/tkde.2026.3656786
Publication Date: 2026-01-22
Author(s): Marc Maynou et al.
Primary Topic: Advanced Database Systems and Queries
Overview
This research paper presents FREYJA, an innovative approach for efficiently computing rankings of joinable attributes in heterogeneous data lakes. Traditional set-overlap measures often yield numerous false positives, while advanced Table Representation Learning (TRL) techniques are computationally expensive. To address these issues, FREYJA introduces a novel join quality metric that integrates multiset Jaccard and cardinality proportion, achieving accuracy comparable to TRL methods while maintaining scalability. The system utilizes data profiles—efficient representations of dataset characteristics—to generate rankings of joinable pairs, significantly reducing execution costs and eliminating the need for high-end hardware.
The findings indicate that FREYJA not only matches but also surpasses state-of-the-art results on synthetic benchmarks and performs better on complex, non-synthetic data. However, the authors acknowledge a limitation in their profile-based approach, as summarizing column content into data profiles may result in the loss of nuanced semantic information. This could affect ambiguous joins that rely on subtle semantic relationships. Future work will focus on enhancing profile-based predictive models and exploring hybrid methodologies that combine FREYJA’s efficient candidate generation with targeted TRL analysis for improved join discovery. Additionally, the potential for using this approach in data augmentation and assessing the relevance of augmented columns for analytical tasks will be investigated.
Introduction
The introduction of the paper addresses the critical role of data discovery in navigating extensive data lakes, which are essential for data-driven organizations seeking to enhance accessibility and reusability of datasets. The authors highlight the challenges posed by data heterogeneity and the sheer volume of datasets, which complicate traditional data discovery methods that rely on integrity constraints. They specifically focus on the task of computing rankings of joinable attributes, aiming to identify high-quality joins that yield semantically rich datasets.
To address the limitations of existing syntactic and semantic join discovery methods, the authors propose FREYJA, a novel approach that combines the efficiency of syntactic metrics with the semantic awareness of advanced methodologies. FREYJA introduces a new metric that integrates a multiset variant of the Jaccard index with cardinality proportions to enhance join quality assessment while minimizing false positives. Additionally, it employs a lightweight structure based on data profiles to approximate the joinability metric, significantly improving scalability and reducing computational demands. The paper outlines its contributions, including the development of a semantic-aware metric, a scalable predictive model, and a cohesive system for efficient data discovery in large-scale environments.
Methods
In the experimental evaluation section, the authors present a comparative analysis of their proposed system, FREYJA, against six leading data discovery systems: D3L, Starmie, SANTOS, DeepJoin, WarpGate, and KGLiDS. FREYJA is implemented in Python and utilizes DuckDB for efficient computation of column profiles, with a streamlined architecture that minimizes preprocessing overhead by only requiring data lake profile computation. The system operates in two stages: an offline stage for profile computation and an online stage for query processing, which includes normalization and distance calculations to rank potential joins based on inferred join quality. Implementation details and additional experimental data are accessible through a companion website.
The experimental setup involved a machine equipped with an Intel Core i7-10700K CPU, 32GB RAM, an Nvidia GTX 3070 GPU, and a 512GB SSD. The benchmarks used for evaluation include a variety of datasets and ground truth join listings, with metrics focused on the average number of relevant joins identified across queries. The authors employed eight established benchmarks, including SANTOS and TUS, and conducted an ablation study to assess the contribution of specific model components. The results indicate that FREYJA effectively identifies relevant joins, leveraging a combination of selected features from its profiling process, which includes metrics on general properties, frequencies, and value lengths, among others. All ground truths and additional resources are made available in FREYJA’s repository.
Discussion
In the discussion of join discovery methods, the paper highlights the inadequacy of classical solutions based on integrity constraints in the context of heterogeneous data lakes. It categorizes modern approaches into syntactic and semantic methods, with syntactic methods relying on set-overlap metrics and semantic methods leveraging Table Representation Learning (TRL). The authors emphasize that while semantic approaches yield superior accuracy, they often require extensive computational resources and preparation time. This gap motivates the development of FREYJA, a novel paradigm designed for efficient join discovery that combines multiset Jaccard and cardinality proportion metrics to enhance scalability without the computational burden of embeddings.
The proposed join quality metric, Q, is defined to assess the semantic relatedness of columns based on both syntactic and semantic criteria. The authors argue that traditional column-overlap metrics, such as containment and Jaccard, fail to accurately rank semantically joinable pairs due to their inability to account for repeated values in data lakes. Instead, the paper introduces the cardinality proportion as a lightweight proxy for semantic dissimilarity, positing that significant differences in cardinality indicate distinct semantic concepts. Empirical validation of this hypothesis demonstrates that semantic joins exhibit higher cardinality proportion values, supporting the integration of this metric with multiset Jaccard to form a comprehensive join quality assessment. The resulting metric is adaptable and generalizable, allowing for effective join detection across various data lakes without the need for extensive retraining or fine-tuning.