DataFactory: إطار عمل متعدد الوكلاء للتعاون في الإجابة على الأسئلة الجدولية المتقدمة DataFactory: Collaborative multi-agent framework for advanced table question answering

شارك:
المجلة: Information Processing & Management، المجلد: 63، العدد: 6
DOI: https://doi.org/10.1016/j.ipm.2026.104723
تاريخ النشر: 2026-03-10
المؤلف: Tong Wang وآخرون
الموضوع الرئيسي: نمذجة الموضوعات

نظرة عامة

تقدم البحث إطار عمل متعدد الوكلاء، يسمى DataFactory، مصمم لتعزيز أنظمة TableQA من خلال الاستفادة من التنسيق المتخصص بين الفرق والتفكيك المنهجي للمهام. تشمل الابتكارات الرئيسية قائد بيانات قائم على ReAct لتفويض المهام الذكي بين فرق قاعدة البيانات وفرق الرسم البياني المعرفي، وخوارزميات مؤتمتة لتحويل البيانات إلى رسوم بيانية معرفية تلتقط العلاقات الهيكلية والدلالية، واستراتيجيات هندسية معززة بالسياق تحسن دقة توليد الاستعلامات لعمليات SQL وCypher. تظهر النتائج التجريبية عبر ثلاثة مجموعات بيانات مرجعية (TabFact، WikiTQ، FeTaQA) تحسينات كبيرة في الأداء، مع مكاسب دقة متوسطة تبلغ 20.2% على TabFact و23.9% على WikiTQ مقارنة بالطرق الأساسية، مدعومة بقيم Cohen’s d ذات دلالة إحصائية أكبر من 1.

يتفوق نهج الإطار التعاوني على منهجيات الفريق الواحد، محققًا تحسينات بنسبة 5.5% على TabFact، و14.4% على WikiTQ، و حتى 17.1% على مقاييس ROUGE-2 لـ FeTaQA. ستركز الأعمال المستقبلية على تحسين الكفاءة الحاسوبية للتطبيقات واسعة النطاق، وتقييم قابلية التوسع تحت أحمال عمل متنوعة، وتنفيذ آليات توقف تكيفية لإدارة تفاعلات الوكلاء المتعددة، وتحسين متانة بناء الرسوم البيانية المعرفية المؤتمتة. بالإضافة إلى ذلك، هناك إمكانية لتوسيع DataFactory كخدمة استدلال خلفية لوكلاء المحادثة المتنوعة، مما يوسع من قابليتها للتطبيق مع الحفاظ على قوتها في مهام الاستدلال المعقدة متعددة الخطوات.

مقدمة

تناقش مقدمة ورقة البحث مجال الإجابة عن الأسئلة المتعلقة بالجداول (TableQA)، والذي يسمح للمستخدمين بطرح أسئلة باللغة الطبيعية حول البيانات الجدولية المنظمة لاستخراج المعلومات ذات الصلة. على عكس الإجابة التقليدية عن الأسئلة المعتمدة على النص، تتطلب TableQA فهم هيكل الجدول، بما في ذلك صفوفه وأعمدته والعلاقات الدلالية بين محتويات الخلايا. تعزز هذه القدرة من استعلام المعلومات المعقدة المنظمة ولها تطبيقات عملية كبيرة.

اعتمدت الأساليب الأولية لـ TableQA على طرق قائمة على القواعد وطرق استرجاع، تطورت إلى تقنيات التعلم العميق مثل TAPAS وTAPEX وTaBERT، التي تدمج معالجة اللغة الطبيعية مع مخططات الجداول. على الرغم من هذه التقدمات، لا تزال التحديات قائمة، خاصة في قابلية التفسير والاستدلال المعقد، خاصة بالنسبة للاستعلامات متعددة الخطوات والاستدلال الدلالي. قدمت التطورات الأخيرة نماذج لغوية كبيرة (LLMs) في TableQA، مستخدمة التحفيز المباشر وتوليد الكود. ومع ذلك، لا تزال هذه الطرق تواجه قيودًا مثل طول السياق، ومشكلات الهلوسة، وتعقيدات الاستدلال التي تتضمن العلاقات الدلالية والمنطق متعدد الخطوات.

الطرق

تحدد هذه القسم المنهجيات المستخدمة في الإجابة عن الأسئلة المتعلقة بالجداول (TableQA) باستخدام نماذج اللغة الكبيرة (LLMs)، المصنفة إلى نموذجين رئيسيين: طرق التحفيز المباشر وطرق توليد الكود. يتضمن التحفيز المباشر تزويد محتوى الجدول المنسق جنبًا إلى جنب مع الأسئلة لتوليد الإجابات مباشرة. ومع ذلك، تواجه هذه الطريقة تحديات مثل قيود طول السياق، ومشكلات الهلوسة حيث تنتج النماذج محتوى غير مدعوم، وصعوبات في تحديد البيانات وقابلية التفسير. تشير النتائج الأخيرة إلى أن LLMs غالبًا ما تعتمد على التواجد اللفظي بدلاً من العلاقات الحقيقية بين الكيانات، مما يؤدي إلى عدم الدقة. من ناحية أخرى، تقوم طرق توليد الكود بتحويل مهام QA إلى كود قابل للتنفيذ، مما يعزز الشفافية وقابلية التحقق من خلال تقنيات مثل توليد كود Python، وتوليد صيغ جداول البيانات، وتوليد استعلامات SQL. على الرغم من مزاياها، تواجه هذه الطرق أيضًا صعوبات في مهام الاستدلال المعقدة وتتطلب تنسيقًا دقيقًا للأدوات.

تتناول هذه القسم أيضًا طرق TableQA المعتمدة على الوكلاء، التي تحسن من قابلية التفسير وتقلل الأخطاء من خلال تفكيك الاستدلال المعقد إلى دورات تكرارية من التفكير والعمل. تم استكشاف استراتيجيات متنوعة، بما في ذلك التفكيك بأسلوب ReAct، وتحسين الوكيل الواحد، وزيادة المعرفة، وتنسيق الأدوات. لكل نهج نقاط قوته وضعفه، خاصة في إدارة الاستدلال متعدد الخطوات ودمج المعرفة الخارجية بشكل فعال. تتوج المنهجية في مصنع بيانات متعدد الوكلاء، الذي يركز على الهيكل التعاوني وتخصص الأدوار لتعزيز الأداء والاستقرار في مهام TableQA. يتم وصف الإعدادات التجريبية، مع تفاصيل التكوينات للمقارنات العادلة عبر الطرق، مع نتائج تشير إلى أن الإطار المقترح يتفوق بشكل كبير على الطرق الحالية، خاصة في مجموعات البيانات المعقدة، بينما يحافظ أيضًا على استهلاك أقل للرموز مقارنة بالطرق الأخرى المعتمدة على الوكلاء المتعددة.

مناقشة

يعالج إطار العمل المقترح القائم على LLMs متعدد الوكلاء DataFactory لـ TableQA العديد من التحديات الحرجة في معالجة البيانات الآلية ودمج المعرفة. يتكون من قائد بيانات وفريقين متخصصين – قاعدة البيانات والرسم البياني المعرفي – يعملان من خلال سير عمل من ثلاث مراحل: تخزين المعلومات، استخراج المعرفة، وتوليد الرؤى. يقوم الإطار بأتمتة إدخال الجداول باستخدام فهم المخطط المدعوم بـ LLM، ويقوم بتشكيل تحويلات البيانات إلى رسوم بيانية معرفية لالتقاط العلاقات الدلالية، ويقلل من الهلوسات من خلال هندسة السياق والتحفيز القليل. من خلال الاستفادة من الاسترجاع الهيكلي (SQL) والعلاقاتي (Cypher)، يمكّن الإطار من الاستدلال متعدد الخطوات، مما يعزز الأداء العام وقابلية التوسع لمهام TableQA.

تشمل المساهمات الرئيسية لإطار DataFactory إنشاء آليات تنسيق الفرق المتخصصة، التي تسهل التفكيك المنهجي لمهام TableQA إلى أنماط استدلال تكاملية. ينتقل هذا النهج إلى ما هو أبعد من قيود الوكيل الواحد من خلال السماح بالتشاور القائم على اللغة الطبيعية وتعديل الاستراتيجيات التكيفية. بالإضافة إلى ذلك، يقوم الإطار بتشكيل دمج المعرفة المؤتمتة من خلال عملية تحويل قوية تضمن حل الكيانات بشكل متسق واكتشاف العلاقات الدلالية. يسمح التنسيق الديناميكي للاستدلال، الذي يقوده قائد البيانات باستخدام نموذج ReAct، باستدلال متعدد الخطوات متطور، مما يعالج قيود أنظمة الوكلاء المتعددة الحالية التي غالبًا ما تكافح مع قضايا التنسيق والتحقق. بشكل عام، يمثل إطار DataFactory تقدمًا كبيرًا في الاستدلال متعدد الوكلاء لـ TableQA، مستهدفًا القضايا الأساسية للتخصص والتنسيق وقابلية التوسع في التطبيقات الواقعية.

Journal: Information Processing & Management, Volume: 63, Issue: 6
DOI: https://doi.org/10.1016/j.ipm.2026.104723
Publication Date: 2026-03-10
Author(s): Tong Wang et al.
Primary Topic: Topic Modeling

Overview

The research presents a multi-agent framework, termed DataFactory, designed to enhance TableQA systems by leveraging specialized team coordination and systematic task decomposition. Key innovations include a ReAct-based Data Leader for intelligent task delegation between Database and Knowledge Graph teams, automated algorithms for transforming data into knowledge graphs that capture structural and semantic relationships, and context-enhanced engineering strategies that improve query generation accuracy for SQL and Cypher operations. Experimental results across three benchmark datasets (TabFact, WikiTQ, FeTaQA) demonstrate significant performance improvements, with average accuracy gains of 20.2% on TabFact and 23.9% on WikiTQ compared to baseline methods, supported by statistically significant Cohen’s d values greater than 1.

The framework’s collaborative approach outperforms single-team methodologies, achieving enhancements of 5.5% on TabFact, 14.4% on WikiTQ, and up to 17.1% on FeTaQA ROUGE-2 metrics. Future work will focus on optimizing computational efficiency for large-scale applications, evaluating scalability under diverse workloads, implementing adaptive stopping mechanisms to manage multi-agent interactions, and improving the robustness of automated knowledge graph construction. Additionally, there is potential to extend DataFactory as a back-end reasoning service for various conversational agents, thereby broadening its applicability while maintaining its strengths in complex multi-hop reasoning tasks.

Introduction

The introduction of the research paper discusses the domain of Table Question Answering (TableQA), which allows users to ask natural language questions about structured tabular data to extract relevant information. Unlike traditional text-based Question Answering, TableQA necessitates an understanding of the table’s structure, including its rows, columns, and the semantic relationships among cell contents. This capability enhances the querying of complex structured information and has significant practical applications.

Initial approaches to TableQA relied on rule-based and retrieval-based methods, evolving into deep learning techniques such as TAPAS, TAPEX, and TaBERT, which integrate natural language processing with table schemas. Despite these advancements, challenges remain, particularly in interpretability and complex reasoning, especially for multi-hop queries and semantic inference. Recent developments have introduced large language models (LLMs) into TableQA, utilizing direct prompting and code generation. However, these methods still grapple with limitations such as context length, hallucination issues, and the complexities of reasoning involving semantic relationships and multi-step logic.

Methods

The section outlines the methodologies employed in Table Question Answering (TableQA) using Large Language Models (LLMs), categorized into two primary paradigms: direct prompting methods and code generation methods. Direct prompting involves supplying formatted table content alongside questions to generate answers directly. However, this approach encounters challenges such as context length limitations, hallucination issues where models produce unsupported content, and difficulties in data localization and interpretability. Recent findings indicate that LLMs often rely on lexical co-occurrence rather than true entity relationships, leading to inaccuracies. Code generation methods, on the other hand, convert QA tasks into executable code, enhancing transparency and verifiability through techniques like Python code generation, spreadsheet formula generation, and SQL query generation. Despite their advantages, these methods also struggle with complex reasoning tasks and require careful orchestration of tools.

The section further discusses agent-based TableQA methods, which improve interpretability and reduce errors by breaking down complex reasoning into iterative cycles of reasoning and acting. Various strategies have been explored, including ReAct-style decomposition, single-agent refinement, knowledge augmentation, and tool orchestration. Each approach has its strengths and weaknesses, particularly in managing multi-hop reasoning and integrating external knowledge effectively. The methodology culminates in a multi-agent data factory, which emphasizes collaborative architecture and role specialization to enhance performance and stability in TableQA tasks. Experimental setups are described, detailing configurations for fair comparisons across methods, with results indicating that the proposed framework significantly outperforms existing methods, particularly in complex datasets, while also maintaining lower token consumption compared to other multi-agent approaches.

Discussion

The proposed LLM-based multi-agent DataFactory framework for TableQA addresses several critical challenges in automated data processing and knowledge integration. It consists of a Data Leader and two specialized teams—Database and Knowledge Graph—operating through a three-phase workflow: information storage, knowledge extraction, and insight generation. The framework automates table ingestion using LLM-assisted schema understanding, formalizes data-to-knowledge graph transformations to capture semantic relationships, and reduces hallucinations through context engineering and few-shot prompting. By leveraging structured (SQL) and relational (Cypher) retrieval, the framework enables multi-step reasoning, enhancing the overall performance and scalability of TableQA tasks.

Key contributions of the DataFactory framework include the establishment of specialized team coordination mechanisms, which facilitate systematic decomposition of TableQA tasks into complementary reasoning modalities. This approach moves beyond single-agent limitations by allowing natural language-based consultation and adaptive strategy adjustment. Additionally, the framework formalizes automated knowledge integration through a robust transformation process that ensures consistent entity resolution and semantic relationship discovery. The dynamic reasoning orchestration, led by the Data Leader using the ReAct paradigm, allows for sophisticated multi-hop reasoning, addressing the limitations of existing multi-agent systems that often struggle with coordination and verification issues. Overall, the DataFactory framework represents a significant advancement in multi-agent reasoning for TableQA, targeting the fundamental issues of specialization, coordination, and scalability in real-world applications.