DOI: https://doi.org/10.28991/esj-2026-010-01-09
تاريخ النشر: 2026-02-01
المؤلف: Xin-Kuang Koay وآخرون
الموضوع الرئيسي: استرجاع المعلومات وسلوك البحث
نظرة عامة
تقدم ورقة البحث إطار عمل مخصص لتقسيم النصوص مع مراعاة الهيكل، يهدف إلى تحسين أداء أنظمة التوليد المعزز بالاسترجاع (RAG) عند التعامل مع مستندات أكاديمية معقدة تحتوي على جداول متعددة الأعمدة والصفوف. غالبًا ما تفشل طرق تقسيم النصوص التقليدية التي تركز على النص في معالجة مثل هذه المستندات بشكل فعال، مما يؤدي إلى تفتت دلالي. يستخدم الإطار المقترح Camelot لاستخراج الجداول بدقة عالية ويطبق منطقًا مخصصًا لإنشاء قطع دلالية متماسكة تحتفظ بالمعلومات الأكاديمية الأساسية، مثل المصطلحات، أسماء المواد، ساعات الاعتماد، والفئات. تشير التقييمات باستخدام إطار عمل RAGAS إلى أن هذه الطريقة تحقق دقة إجابة تبلغ 0.73، مما يعزز بشكل كبير من ملاءمة الاسترجاع ودقة السياق مقارنة بالطرق الأساسية.
في الخاتمة، تؤكد الدراسة أن تحسينات جودة التحليل وحدها غير كافية؛ فعملية تقسيم مخصصة تحترم سلامة هيكل المستند أمر حاسم لتوليد استجابات دقيقة وذات صلة سياقية. ومع ذلك، فإن الإطار الحالي له قيود، خاصة اعتماده على وضع الشبكة في Camelot، الذي قد لا يتعمم بشكل جيد على تنسيقات الجداول المتنوعة. تهدف الأعمال المستقبلية إلى توسيع قدرات الإطار من خلال دمج آليات تحليل تكيفية ونماذج قائمة على المحولات للتعامل بشكل أفضل مع هياكل الجداول المختلفة. بالإضافة إلى ذلك، سيسهل دمج نماذج التعرف على الكيانات المسماة (NER) المعدلة حسب المجال استخراج الكيانات الأكاديمية الرئيسية بشكل مستقل عن تقاليد التنسيق، مما يسمح بمرونة أكبر وقوة في معالجة أنواع المستندات المختلفة.
مقدمة
تناقش مقدمة ورقة البحث هذه التوليد المعزز بالاسترجاع (RAG)، وهو نهج هجين يجمع بين نماذج اللغة الكبيرة (LLMs) مع استرجاع المستندات الخارجية لتعزيز دقة وملاءمة الاستجابات المولدة. يقلل RAG بشكل فعال من الهلاوس ويحسن من الدقة الواقعية، مما يجعله مناسبًا بشكل خاص للإجابة على الأسئلة في المجالات المفتوحة والحوار المعتمد على المعرفة، بالإضافة إلى تلخيص المستندات. ومع ذلك، ركزت الدراسات الحالية بشكل أساسي على البيانات النصية غير المنظمة، مع استكشاف محدود للتنسيقات الجدولية المعقدة التي غالبًا ما توجد في مجموعات البيانات المؤسسية، مثل هياكل الدورات الجامعية المدمجة في ملفات PDF.
تحدد الورقة تحديات كبيرة في تحليل وتقسيم هذه الجداول المعقدة، التي غالبًا ما تتميز بتنسيقات غير منتظمة، خلايا مدمجة، ورؤوس متداخلة. تكافح أدوات التحليل الحالية لالتقاط العلاقات الدلالية بدقة الموجودة في مثل هذه الهياكل، مما يؤدي إلى تفتت يضعف دقة الاسترجاع ويساهم في استجابات غير متماسكة. لمعالجة هذه القضايا، يقترح المؤلفون إطار عمل مخصص لتقسيم النصوص مع مراعاة الهيكل مصمم للحفاظ على التماسك الدلالي عبر أبعاد المصطلح، المادة، الفئة، وساعات الاعتماد. يستخدم هذا الإطار Camelot لاستخراج الجداول بدقة عالية ويطبق استراتيجية تقسيم نصوص مع مراعاة الهيكل لتجميع المعلومات ذات الصلة دلاليًا، مما يعزز من كفاءة الفهرسة والاسترجاع. المساهمة الرئيسية في هذا العمل هي تقديم استراتيجية تقسيم مخصصة تقلل من التفتت الدلالي الذي يتم مواجهته عادةً في البيانات الجدولية المعقدة.
النتائج
تتناول نتائج التقييم، المفصلة في الجدول 4 والمصورة في الشكل 8، مقارنة أداء أربع طرق أساسية مقابل ستة مقاييس من RAGAS. تفوق إطار تقسيم النصوص مع مراعاة الهيكل المقترح على جميع الأساليب الأساسية في خمسة من ستة مقاييس، محققًا أعلى الدرجات في ملاءمة الإجابة (0.81)، دقة المحتوى (0.92)، استرجاع المحتوى (0.82)، ملاءمة المحتوى (0.93)، ودقة الإجابة (0.73). ومع ذلك، حصل على درجة أقل في الأمانة (0.78) مقارنة بالأساس 2 (0.81).
تشير هذه النتائج إلى أنه بينما يتفوق الأسلوب المقترح في إدارة البيانات الجدولية المعقدة دلاليًا، هناك تنازلات، خاصة فيما يتعلق بالأمانة. تشير النتائج إلى أن إطار تقسيم النصوص مع مراعاة الهيكل هو نهج قوي لتعزيز ملاءمة ودقة الإجابات المستمدة من البيانات الجدولية، على الرغم من أنه قد يتطلب مزيدًا من التحسين لتحسين درجة الأمانة الخاصة به.
المناقشة
تقدم قسم المناقشة في الورقة إطار تقسيم جديد مدمج مع تحليل الجداول بدقة عالية المعتمد على Camelot واسترجاع دلالي، يهدف إلى تعزيز خط أنابيب التوليد المعزز بالاسترجاع (RAG) للمستندات الأكاديمية المعقدة. يعالج الإطار قيودًا كبيرة في طرق التقسيم التقليدية، التي غالبًا ما تعطل التماسك الدلالي في البيانات الجدولية المعقدة من خلال تفتت العناصر المرتبطة منطقيًا. أجرى المؤلفون تقييمًا شاملاً باستخدام إطار عمل RAGAS، مما يظهر تحسينات كبيرة في ملاءمة المحتوى، دقة الاسترجاع، ودقة الإجابة مقارنة بالأساليب الأساسية المعتمدة.
تم تصميم استراتيجية تقسيم النصوص مع مراعاة الهيكل المقترحة للحفاظ على العلاقات الدلالية الموجودة في تنسيق الجداول الأكاديمية، مما يضمن أن تحتوي كل قطعة على مجموعة كاملة ومتصلة منطقيًا من المعلومات. يتناقض هذا النهج مع الطرق التقليدية التي غالبًا ما تكسر العناصر المرتبطة إلى قطع منفصلة، مما يؤدي إلى استرجاع متفتت وانخفاض الدقة في الاستجابات المولدة. يؤكد المؤلفون أن التحليل الدقيق أمر حاسم لتقسيم دلالي فعال، حيث يمكّن من الحفاظ على العناصر الهيكلية الحرجة، مما يعزز الأداء العام لنظام RAG في الإجابة على الاستفسارات الأكاديمية.
DOI: https://doi.org/10.28991/esj-2026-010-01-09
Publication Date: 2026-02-01
Author(s): Xin-Kuang Koay et al.
Primary Topic: Information Retrieval and Search Behavior
Overview
The research paper presents a customized Structure-Aware Chunking framework aimed at improving the performance of Retrieval-Augmented Generation (RAG) systems when dealing with complex academic documents that contain multi-column and multi-row tables. Traditional text-centric chunking methods often fail to effectively process such documents, leading to semantic fragmentation. The proposed framework utilizes Camelot for high-fidelity table extraction and applies customized logic to create semantically coherent chunks that retain essential academic information, such as terms, subject names, credit hours, and categories. Evaluation using the RAGAS framework indicates that this approach achieves an answer accuracy of 0.73, significantly enhancing retrieval relevance and contextual precision compared to baseline methods.
In the conclusion, the study emphasizes that improvements in parsing quality alone are insufficient; a dedicated chunking process that respects the document’s structural integrity is crucial for generating accurate and contextually relevant responses. However, the current framework has limitations, particularly its reliance on Camelot’s lattice mode, which may not generalize well to diverse table formats. Future work aims to extend the framework’s capabilities by incorporating adaptive parsing mechanisms and transformer-based models to better handle various table structures. Additionally, the integration of domain-adapted Named Entity Recognition (NER) models will facilitate the extraction of key academic entities independently of layout conventions, allowing for greater flexibility and robustness in processing different document types.
Introduction
The introduction of this research paper discusses Retrieval-Augmented Generation (RAG), a hybrid approach that combines large language models (LLMs) with external document retrieval to enhance the accuracy and relevance of generated responses. RAG effectively reduces hallucinations and improves factual correctness, making it particularly suitable for open-domain question answering and knowledge-intensive dialogue, as well as document summarization. However, existing studies have primarily focused on unstructured textual data, with limited exploration of complex tabular formats often found in institutional datasets, such as university course structures embedded in PDFs.
The paper identifies significant challenges in parsing and chunking these complex tables, which often feature irregular layouts, merged cells, and nested headers. Current parsing tools struggle to accurately capture the semantic relationships inherent in such structures, leading to fragmentation that degrades retrieval accuracy and contributes to incoherent responses. To address these issues, the authors propose a customized structure-aware chunking framework designed to preserve semantic coherence across term, subject, category, and credit hour dimensions. This framework utilizes Camelot for high-fidelity table extraction and applies a structure-aware chunking strategy to semantically group relevant information, thereby enhancing indexing and retrieval efficiency. The key contribution of this work is the introduction of a tailored chunking strategy that mitigates the semantic fragmentation typically encountered in complex tabular data.
Results
The evaluation results, detailed in Table 4 and illustrated in Figure 8, compare the performance of four baseline methods against six RAGAS metrics. The proposed structure-aware chunking framework outperformed all baselines in five out of six metrics, achieving the highest scores in Answer Relevancy (0.81), Content Precision (0.92), Content Recall (0.82), Content Relevance (0.93), and Answer Accuracy (0.73). However, it scored lower in Faithfulness (0.78) compared to Baseline 2 (0.81).
These findings indicate that while the proposed method excels in managing semantically complex tabular data, there are trade-offs, particularly regarding Faithfulness. The results suggest that the structure-aware chunking framework is a robust approach for enhancing the relevance and precision of answers derived from tabular data, although it may require further refinement to improve its Faithfulness score.
Discussion
The discussion section of the paper presents a novel chunking framework integrated with Camelot-based high-fidelity table parsing and semantic retrieval, aimed at enhancing the Retrieval-Augmented Generation (RAG) pipeline for complex academic documents. The framework addresses significant limitations in traditional chunking methods, which often disrupt semantic coherence in complex tabular data by fragmenting logically related elements. The authors conducted a comprehensive evaluation using the RAGAS framework, demonstrating substantial improvements in content relevance, retrieval precision, and answer accuracy compared to established baselines.
The proposed structure-aware chunking strategy is designed to preserve the semantic relationships inherent in the layout of academic tables, ensuring that each chunk contains a complete and logically connected set of information. This approach contrasts with conventional methods that frequently break related items into separate chunks, leading to fragmented retrieval and reduced accuracy in generated responses. The authors emphasize that accurate parsing is crucial for effective semantic chunking, as it enables the preservation of critical structural elements, thereby enhancing the overall performance of the RAG system in answering academic queries.