DOI: https://doi.org/10.18653/v1/2025.findings-acl.856
تاريخ النشر: 2025-01-01
المؤلف: Costas Mavromatis وآخرون
الموضوع الرئيسي: نمذجة الموضوعات
نظرة عامة
تقدم البحث إطار GNN-RAG، الذي يعزز الجيل المعزز بالاسترجاع (RAG) في الإجابة على أسئلة الرسم البياني المعرفي (KGQA) من خلال دمج الشبكات العصبية الرسومية الخفيفة (GNNs) لاسترجاع الرسوم البيانية بكفاءة. غالبًا ما تعتمد الأساليب التقليدية على مكالمات مكلفة لنماذج اللغة الكبيرة (LLMs) لتوليد مسارات العلاقات أو التنقل عبر الرسم البياني المعرفي، خاصة في المهام المعقدة التي تتضمن أسئلة متعددة القفزات أو متعددة الكيانات. يعالج GNN-RAG هذه الكفاءات من خلال تعيين أوزان أهمية للعقد بناءً على صلتها بالاستعلام والعقد المجاورة لها، مما يحسن أداء الاسترجاع ويمكّن من التعامل الفعال مع السياق من العقد البعيدة.
تظهر التقييمات التجريبية أن GNN-RAG يحقق أداءً تنافسياً في الاسترجاع على معايير KGQA المعتمدة، مثل WebQSP و CWQ، وغالبًا ما يتطابق أو يتجاوز أداء GPT-4 مع LLM معدل بـ 7B. من الجدير بالذكر أن GNN-RAG يتفوق في السيناريوهات التي تتطلب التفكير متعدد القفزات والكيانات، متفوقًا على طرق الاسترجاع المعتمدة على LLM بنسبة 8.9-15.5% في درجات F1 للإجابات بينما يستخدم 9 مرات أقل من رموز KG مقارنة بأساليب الاستدلال الطويلة التقليدية. لا يعزز الإطار فقط فعالية KGQA ولكنه أيضًا يحسن الكفاءة من خلال تقليل الحاجة إلى مكالمات LLM إضافية، مما يمثل تقدمًا كبيرًا في هذا المجال. الشيفرة الخاصة بـ GNN-RAG متاحة على https://github.com/cmavro/GNN-RAG.
مقدمة
تناقش مقدمة ورقة البحث قيود نماذج اللغة الكبيرة (LLMs) في التعامل مع مهام الإجابة على أسئلة الرسم البياني المعرفي (KGQA) المعقدة. بينما تتفوق LLMs، مثل تلك التي طورها براون وآخرون (2020) وغيرهم، في فهم اللغة الطبيعية بسبب التدريب المسبق الواسع، إلا أنها تكافح للتكيف مع المعرفة الجديدة وعرضة لتوليد معلومات غير دقيقة، أو “هلوسات”. توفر الرسوم البيانية المعرفية (KGs)، التي تخزن معلومات واقعية منظمة في شكل ثلاثيات، حلاً من خلال السماح بالتحديثات الديناميكية والتقاط العلاقات المعقدة بين الكيانات. ومع ذلك، تكمن التحديات في استرجاع المعلومات ذات الصلة بكفاءة من KGs، خاصة عند التعامل مع أسئلة متعددة القفزات أو متعددة الكيانات.
لمعالجة هذه التحديات، يقدم المؤلفون GNN-RAG، وهو إطار جديد يدمج الشبكات العصبية الرسومية (GNNs) لتعزيز كفاءة الاسترجاع في KGQA. يستفيد GNN-RAG من المعلومات السياقية الأعمق من الرسم البياني، مما يسمح له بتعيين أهمية للعقد بناءً على صلتها بالاستعلام. تظهر النتائج التجريبية أن GNN-RAG يتفوق بشكل كبير على طرق الجيل المعزز بالاسترجاع (RAG) الحالية، محققًا تحسينات تتراوح بين 8.9-15.5% في درجات F1 في مهام KGQA المعقدة بينما يستخدم 9 مرات أقل من رموز KG مقارنة بأساليب الاسترجاع الطويلة التقليدية. لا يعزز الإطار الأداء فحسب، بل يحافظ أيضًا على الكفاءة من خلال تقليل الحاجة إلى مكالمات LLM إضافية، مما يوفر حلاً قويًا للمهام المعتمدة على المعرفة.
الطرق
في هذا القسم، يوضح المؤلفون منهجيتهم لمقارنة نموذجهم المقترح، GNN-RAG، مع أحدث الأساليب (SOTA) للشبكات العصبية الرسومية (GNN) ونماذج اللغة الكبيرة (LLM) في الإجابة على أسئلة الرسم البياني المعرفي (KGQA). يتضمنون مجموعة من الأساليب المتنافسة، مثل التقنيات المعتمدة على التضمين و LLMs ذات الصفر/القليل من الأمثلة، مع استبعاد أساليب التحليل الدلالي التي تعتمد على تعليقات SPARQL الحقيقية بسبب عدم عمليتها. تركز المقارنة على الكفاءة والفعالية، خاصة ضد أساليب الاسترجاع المعتمدة على LLM والأساليب الطويلة السياق.
يتضمن الإعداد التجريبي ثلاثة معايير KGQA مستخدمة على نطاق واسع: WebQuestionsSP (WebQSP)، WebQuestions المعقدة (CWQ)، وMetaQA-3. يتكون WebQSP من 4,737 سؤالًا باللغة الطبيعية تتطلب تفكيرًا يصل إلى 2 قفزة عبر رسم بياني معرفي Freebase، بينما تمتد CWQ لتشمل أسئلة متعددة القفزات الأكثر تعقيدًا. تحتوي MetaQA-3 على أكثر من 100,000 سؤال 3 قفزات تتعلق بالأفلام. يصف المؤلفون تفاصيل تنفيذهم، بما في ذلك استخدام طريقة PageRank Nibble لاسترجاع الرسوم الفرعية الكثيفة ونموذج Llama2-Chat-7B كنموذج LLM افتراضي. يحددون إجراءات التدريب والاستدلال الخاصة بهم، بما في ذلك إعدادات المعلمات الفائقة والموارد الحاسوبية المستخدمة للتجارب. تتضمن عملية استدلال GNN تعيين احتمالات للعقد في الرسم الفرعي، والتي يتم تطبيعها وترتيبها لاسترجاع مرشحي الإجابة بناءً على عتبة محددة.
النتائج
في قسم “النتائج”، يتم تقديم تقييم لأساليب استرجاع الرسوم البيانية المختلفة، مع تسليط الضوء على تأثيرها على أداء الإجابة على أسئلة الرسم البياني المعرفي (KGQA). توضح الجدول 3 أن أساليب الاسترجاع المعتمدة على الشبكات العصبية الرسومية (GNN) تظهر كفاءة متفوقة مقارنة بالأساليب التقليدية.
علاوة على ذلك، تشير النتائج إلى أن دمج GNNs لا يعزز فقط دقة الاسترجاع ولكن أيضًا يؤثر بشكل إيجابي على الأداء العام لمهام KGQA. وهذا يشير إلى أن استخدام GNNs في عمليات الاسترجاع يمكن أن يؤدي إلى تحسينات كبيرة في فعالية تطبيقات الرسم البياني المعرفي.
المناقشة
تسلط قسم المناقشة في الورقة الضوء على دمج الشبكات العصبية الرسومية (GNNs) ونماذج اللغة (LMs) في الإجابة على أسئلة الرسم البياني المعرفي (KGQA). ويؤكد على التحديات التي تطرحها عدم توافق النمط بين GNNs و LMs، خاصة في المهام المعتمدة على المعرفة. لمعالجة هذه التحديات، يعمل إطار GNN-RAG المقترح في مرحلتين: أولاً، يسترجع المعلومات ذات الصلة من الرسم البياني باستخدام GNNs، والتي يتم التعبير عنها بعد ذلك باللغة الطبيعية للتفكير الفعال بواسطة LMs. يعزز هذا النهج أداء الاسترجاع من خلال تحسين GNNs لتحديد المعلومات الرسومية ذات الصلة، وبالتالي يتفوق على الأساليب الحالية في KGQA.
تناقش القسم أيضًا المشهد الأوسع لأساليب KGQA، مميزًا بين الأساليب المعتمدة على GNN والأساليب المعتمدة على LLM. بينما تتفوق GNNs في التعامل مع الهياكل الرسومية المعقدة، تستفيد LLMs من قدراتها في معالجة اللغة الطبيعية للتفكير. يتميز GNN-RAG بقدرته على معالجة الرسوم الفرعية الكثيفة بكفاءة واستخراج مسارات التفكير التي تربط كيانات السؤال بالإجابات، مما يحسن الأداء العام لأنظمة KGQA. يتم التحقق من قدرة الإطار على دمج السياق العميق للرسوم البيانية مع تفكير LLM من خلال تجارب متنوعة، مما يظهر تحسينات كبيرة في دقة الاسترجاع وكفاءته، خاصة في سيناريوهات التفكير متعدد القفزات.
القيود
تستند قيود نموذج GNN-RAG بشكل أساسي إلى اعتماده على الرسم البياني المعرفي (KG) الفرعي الذي يحتوي على عقد الإجابة، وهو ما قد لا يكون دائمًا بسبب الأخطاء المحتملة في ربط الكيانات. بالإضافة إلى ذلك، يستخدم GNN-RAG تحفيزًا بسيطًا يعتمد على أقصر المسارات من كيانات السؤال إلى الإجابات المرشحة، والتي يمكن تحسينها من خلال تقنيات تحسين التحفيز كما اقترح وين وآخرون (2023) وزانغ وآخرون (2023a). بينما يهدف GNN-RAG إلى تحسين نتائج الاسترجاع من KG دون تفاعلات متخصصة بين الشبكة العصبية الرسومية (GNN) ونموذج اللغة الكبير (LLM)، يمكن أن تستكشف الأعمال المستقبلية طرق الاسترجاع التكرارية (أسائي وآخرون، 2023) لتعزيز الإجابة على أسئلة الرسم البياني المعرفي (KGQA) بشكل أكبر.
علاوة على ذلك، تتضمن نهج تدريب النموذج ضبط نموذج LLM باستخدام أزواج السؤال-الإجابة لتوليد استجابات دقيقة بناءً على مسارات التفكير. يتم التعبير عن هذه المسارات في تنسيق منظم، يوضح العلاقات بين الكيانات. على سبيل المثال، يسترجع GNN-RAG بفعالية المعلومات متعددة القفزات اللازمة للحصول على إجابات دقيقة، مما يتناقض مع قاعدة KG-RAG، التي قد تلتقط فقط الحقائق الفردية وتسيء تفسير العلاقات بين الكيانات. تتيح هذه القدرة لـ GNN-RAG تحديد الروابط بشكل صحيح، مثل التمييز بين <إيرين بروكوفيتش → شخصية فيلم> و<إيرين بروكوفيتش → شخص>، مما يحسن دقة الاستجابات في سيناريوهات KGQA.
DOI: https://doi.org/10.18653/v1/2025.findings-acl.856
Publication Date: 2025-01-01
Author(s): Costas Mavromatis et al.
Primary Topic: Topic Modeling
Overview
The research presents the GNN-RAG framework, which enhances Retrieval-Augmented Generation (RAG) in Knowledge Graph Question Answering (KGQA) by integrating lightweight Graph Neural Networks (GNNs) for efficient graph retrieval. Traditional approaches often rely on expensive calls to Large Language Models (LLMs) to generate relation paths or traverse the Knowledge Graph, particularly in complex tasks involving multi-hop or multi-entity questions. GNN-RAG addresses these inefficiencies by assigning importance weights to nodes based on their relevance to the query and their neighboring nodes, thereby improving retrieval performance and enabling effective context handling from distant nodes.
Experimental evaluations demonstrate that GNN-RAG achieves competitive retrieval performance on established KGQA benchmarks, such as WebQSP and CWQ, often matching or exceeding the performance of GPT-4 with a 7B tuned LLM. Notably, GNN-RAG excels in scenarios requiring multi-hop and multi-entity reasoning, outperforming LLM-based retrieval methods by 8.9-15.5% in answer F1 scores while utilizing 9 times fewer KG tokens than traditional long-context inference approaches. The framework not only enhances the effectiveness of KGQA but also improves efficiency by reducing the need for additional LLM calls, marking a significant advancement in the field. The code for GNN-RAG is available at https://github.com/cmavro/GNN-RAG.
Introduction
The introduction of the research paper discusses the limitations of Large Language Models (LLMs) in handling complex knowledge graph question answering (KGQA) tasks. While LLMs, such as those developed by Brown et al. (2020) and others, excel in natural language understanding due to extensive pretraining, they struggle with adapting to new knowledge and are prone to generating inaccurate information, or “hallucinations.” Knowledge Graphs (KGs), which store structured factual information in the form of triplets, offer a solution by allowing for dynamic updates and capturing intricate relationships between entities. However, the challenge lies in efficiently retrieving relevant information from KGs, especially when dealing with multi-hop or multi-entity questions.
To address these challenges, the authors introduce GNN-RAG, a novel framework that integrates Graph Neural Networks (GNNs) to enhance retrieval efficiency in KGQA. GNN-RAG leverages deeper contextual information from the graph, allowing it to assign importance to nodes based on their relevance to the query. Experimental results demonstrate that GNN-RAG significantly outperforms existing Retrieval-Augmented Generation (RAG) methods, achieving improvements of 8.9-15.5% in F1 scores on complex KGQA tasks while utilizing 9 times fewer KG tokens compared to traditional long-context retrieval methods. The framework not only enhances performance but also maintains efficiency by minimizing the need for additional LLM calls, thereby providing a robust solution for knowledge-intensive tasks.
Methods
In this section, the authors detail their methodology for comparing their proposed model, GNN-RAG, against state-of-the-art (SOTA) Graph Neural Network (GNN) and Large Language Model (LLM) approaches for Knowledge Graph Question Answering (KGQA). They include a range of competing methods, such as embedding-based techniques and zero-shot/few-shot LLMs, while excluding semantic parsing methods that rely on ground-truth SPARQL annotations due to their impracticality. The comparison focuses on efficiency and effectiveness, particularly against LLM-based retrieval and long-context approaches.
The experimental setup involves three widely used KGQA benchmarks: WebQuestionsSP (WebQSP), Complex WebQuestions (CWQ), and MetaQA-3. WebQSP consists of 4,737 natural language questions requiring up to 2-hop reasoning over a Freebase Knowledge Graph, while CWQ extends these questions to include more complex multi-hop queries. MetaQA-3 features over 100,000 3-hop questions related to movies. The authors describe their implementation details, including the use of the PageRank Nibble method for dense subgraph retrieval and the Llama2-Chat-7B model as the default downstream LLM. They outline their training and inference procedures, including hyperparameter settings and the computational resources utilized for experiments. The GNN inference process involves assigning probabilities to nodes in the subgraph, which are normalized and sorted to retrieve answer candidates based on a specified threshold.
Results
In the “Results” section, the evaluation of various graph retrieval methods is presented, highlighting their influence on downstream Knowledge Graph Question Answering (KGQA) performance. Table 3 illustrates that Graph Neural Network (GNN)-based retrieval methods demonstrate superior efficiency compared to traditional approaches.
Furthermore, the findings indicate that the integration of GNNs not only enhances retrieval accuracy but also positively affects the overall performance of KGQA tasks. This suggests that employing GNNs in retrieval processes could lead to significant improvements in the effectiveness of knowledge graph applications.
Discussion
The discussion section of the paper highlights the integration of Graph Neural Networks (GNNs) and Language Models (LMs) in Knowledge Graph Question Answering (KGQA). It emphasizes the challenges posed by the modality mismatch between GNNs and LMs, particularly in knowledge-intensive tasks. To address these challenges, the proposed GNN-RAG framework operates in two stages: first, it retrieves relevant information from the graph using GNNs, which is then verbalized into natural language for effective reasoning by LMs. This approach enhances retrieval performance by optimizing GNNs to identify pertinent graph information, thus outperforming existing methods in KGQA.
The section also discusses the broader landscape of KGQA methods, contrasting GNN-based approaches with LLM-based methods. While GNNs excel in handling complex graph structures, LLMs leverage their natural language processing capabilities for reasoning. GNN-RAG distinguishes itself by efficiently processing dense subgraphs and extracting reasoning paths that connect question entities to answers, thereby improving the overall performance of KGQA systems. The framework’s ability to combine deep graph context with LLM reasoning is validated through various experiments, demonstrating significant improvements in retrieval accuracy and efficiency, particularly in multi-hop reasoning scenarios.
Limitations
The limitations of the GNN-RAG model are primarily rooted in its reliance on the knowledge graph (KG) subgraph containing answer nodes, which may not always be the case due to potential errors in entity linking. Additionally, GNN-RAG utilizes straightforward prompting based on the shortest paths from question entities to candidate answers, which could be enhanced through prompt optimization techniques as suggested by Wen et al. (2023) and Zhang et al. (2023a). While GNN-RAG aims to improve retrieval results from the KG without specialized interactions between the graph neural network (GNN) and the large language model (LLM), future work could explore iterative retrieval methods (Asai et al., 2023) to further enhance knowledge graph question answering (KGQA).
Furthermore, the model’s training approach involves fine-tuning the LLM with question-answer pairs to generate accurate responses based on reasoning paths. These paths are articulated in a structured format, detailing the relationships between entities. For instance, GNN-RAG effectively retrieves multi-hop information necessary for accurate answers, contrasting with the KG-RAG baseline, which may only capture single facts and misinterpret entity relationships. This capability allows GNN-RAG to correctly identify connections, such as distinguishing between