DOI: https://doi.org/10.3389/fcomp.2025.1590632
تاريخ النشر: 2025-07-16
المؤلف: Zhenyun Du وآخرون
الموضوع الرئيسي: الشبكات العصبية المتقدمة
نظرة عامة
تستكشف هذه الورقة دمج الرسوم البيانية للمعرفة (KGs) ونماذج اللغة الكبيرة (LLMs)، مع التأكيد على نقاط قوتها التكميلية للتغلب على القيود الكامنة. تصنف ثلاث استراتيجيات دمج رئيسية: LLMs المعززة بالرسوم البيانية للمعرفة (KEL)، والرسوم البيانية للمعرفة المعززة بـ LLMs (LEK)، وLLMs والرسوم البيانية للمعرفة التعاونية (LKC). يبرز المؤلفون إمكانيات هذه المنهجيات لتحسين تمثيل المعرفة، والتفكير، والإجابة على الأسئلة، بينما يحددون أيضًا التحديات الكبيرة مثل اكتساب المعرفة والحاجة إلى تحديثات في الوقت الحقيقي.
في الختام، تقيم الدراسة بشكل منهجي الاستراتيجيات الثلاث للدمج، كاشفة أن دمجها يمكن أن يستفيد بفعالية من نقاط القوة في المعرفة المنظمة ونماذج اللغة، لا سيما في التطبيقات مثل الإجابة على الأسئلة وأنظمة دعم القرار. ومع ذلك، تعيق عملية الدمج التحديات المتعلقة بالكفاءة في التحديثات في الوقت الحقيقي والاتساق التمثيلي عبر أنماط مختلفة. توفر النتائج رؤى قيمة واتجاهات للبحث المستقبلي الذي يهدف إلى تعزيز التآزر بين KGs وLLMs.
مقدمة
تناقش مقدمة ورقة البحث التقدمات والتحديات المرتبطة بنماذج اللغة الكبيرة (LLMs) في معالجة اللغة الطبيعية (NLP). لقد أظهرت LLMs، التي تتميز بتوسيع معلماتها والتدريب على مجموعات بيانات ضخمة، قدرات ملحوظة في تطبيقات متنوعة مثل المساعدة التعليمية وتوليد الشفرات. ومع ذلك، غالبًا ما تتعرض لانتقادات بسبب ميلها لإنتاج مخرجات غير صحيحة من الناحية الواقعية، وهو ظاهرة تعرف بالهلوسة. هذه المشكلة تثير القلق بشكل خاص في السياقات الحساسة حيث تكون الدقة الواقعية أمرًا بالغ الأهمية. تشير الورقة إلى أبحاث قام بها Zhang et al. (2024b) التي تحقق في الهلوسة عبر عدة LLMs، مما يبرز الحاجة إلى تحسين الاتساق الواقعي والشفافية في هذه النماذج.
لمعالجة هذه التحديات، يقترح المؤلفون دمج الرسوم البيانية للمعرفة (KGs) مع LLMs. توفر KGs معرفة واقعية منظمة وقابلة للتفسير، مما يمكن أن يعزز موثوقية مخرجات LLM ويحسن قدراتها على التفكير. تحدد الورقة إطارًا تعاونيًا حيث يمكن لـ KGs حقن المعرفة الخارجية في LLMs خلال كل من التدريب والاستدلال، بينما يمكن لـ LLMs المساعدة في المهام المتعلقة بـ KGs، مثل التضمين والإكمال. يهدف المؤلفون إلى استكشاف الدمج متعدد الأبعاد بين LLMs وKGs، مقدمين تصنيفًا مفصلًا للأبحاث الحالية، مع تغطية التقدمات الناشئة، وتحديد التحديات واتجاهات البحث المستقبلية. ستتناول الأقسام التالية من الورقة خلفية LLMs وKGs، واستراتيجيات دمجها، والتطبيقات العملية.
طرق
تستعرض هذه القسم طرقًا متنوعة لتعزيز مهام إكمال الرسوم البيانية للمعرفة (KG) من خلال تقنيات النمذجة المتقدمة. ظهرت نماذج التسلسل إلى التسلسل كأدوات فعالة، حيث اقترح Saxena et al. (2022) نهج فك تشفير تلقائي لتحويل توقعات روابط KG إلى مهمة تسلسلية. وبالمثل، يستخدم GenKGC (Xie et al., 2022) نماذج اللغة المدربة مسبقًا لتأطير إكمال KG كمهمة توليد. بالإضافة إلى ذلك، يتم مناقشة طرق التدريب المسبق لنموذج اللغة الكبيرة (LLM) المدمجة بالرسوم البيانية للمعرفة، مع تسليط الضوء على نماذج مثل KEPLER (Wang X. et al., 2021)، التي تدمج تضمين المعرفة مع نمذجة اللغة المخفية، وWKLM (Xiong et al., 2019)، التي تستخدم الإشراف الضعيف لتحسين أداء النموذج في مهام معالجة اللغة الطبيعية.
يتناول القسم أيضًا طرق تفسير LLM المدعومة بـ KG، مع التركيز على دور تتبع المعرفة في تحسين دقة LLM من خلال استخراج مسارات KG ذات الصلة. تشمل النماذج البارزة KELP (Liu H. et al., 2024)، التي تعزز الدقة الواقعية، وLAMA (Petroni et al., 2019)، التي تقيم المعرفة العلائقية من خلال أسئلة على نمط cloze. تركز استراتيجيات مبتكرة أخرى، مثل CokeBERT (Su et al., 2021) وHKLM (Zhu et al., 2023)، على اختيار ديناميكي لرسوم KG الفرعية ذات الصلة واستخدام تمثيل المعرفة متعدد التنسيقات، على التوالي. تهدف هذه الأساليب إلى تحسين التفكير المعرفي مع تسليط الضوء على التحديات المتعلقة بالتحكم والشفافية في التطبيقات التفاعلية.
نقاش
يؤكد قسم النقاش في ورقة البحث على العلاقة التكميلية بين نماذج اللغة الكبيرة (LLMs) والرسوم البيانية للمعرفة (KGs)، مع تسليط الضوء على دمجها كوسيلة لتعزيز أنظمة الذكاء الاصطناعي. تظهر استراتيجيات الدمج المقترحة – KGs المعززة بـ LLM (LEK)، وLLMs المعززة بـ KGs (KEL)، وLLMs والرسوم البيانية للمعرفة التعاونية (LKC) – كيف يمكن دمج المعلومات المنظمة من KGs مع قدرات التفكير وتوليد اللغة لـ LLMs. يظهر هذا التآزر أنه يحسن الدقة، والوعي بالسياق، وكفاءة التفكير عبر تطبيقات متنوعة، مما يمكّن من التعامل مع مهام معقدة ومتعددة الأنماط بشكل أكثر فعالية.
يتناول القسم أيضًا التقدمات في تقنيات KG المعززة بـ LLM، لا سيما من 2023 إلى 2025، مع التركيز على المنهجيات التي تعالج التحديات في بناء KG، والتضمين، والتفكير. تشمل الابتكارات الرئيسية استخدام LLMs لمهام مثل التعرف على الكيانات المسماة (NER)، واستخراج العلاقات، واستخراج الأحداث، مما يعزز دقة وكفاءة KGs. ومع ذلك، تحدد الورقة أيضًا تحديات كبيرة في هذا الدمج، بما في ذلك صعوبات في دمج المعلومات، واعتماد جودة البيانات، والتكاليف الحاسوبية المرتبطة بإكمال KG القائم على LLM. يقترح المؤلفون أن يركز البحث المستقبلي على تطوير نهج موحد يوازن بين نقاط قوة LLMs وKGs مع معالجة هذه التحديات لتحسين موثوقية وقابلية توسيع تطبيقات الرسوم البيانية للمعرفة.
القيود
يسلط القسم الخاص بالقيود الضوء على منطقتين رئيسيتين من القلق بشأن نماذج اللغة الكبيرة المعززة بالرسوم البيانية للمعرفة (LLMs): تطبيق المعرفة والقدرة على الشرح.
فيما يتعلق بتطبيق المعرفة، تظهر النماذج قدرة محدودة على التكيف مع المهام، حيث غالبًا ما يتم تصميمها لمهام محددة وتكافح مع المهام الأخرى التي تتطلب مسارات تفكير مختلفة أو منطق خاص بالمجال. تنبع هذه القيود من آلية دمج ثابتة تفتقر إلى المرونة عبر المهام المتنوعة، على الرغم من بعض الجهود البحثية نحو مشفرات الرسوم البيانية متعددة المهام ومحولات محددة للمهام (Ibrahim et al., 2024). بالإضافة إلى ذلك، تتعرض كفاءة الاستدلال في الوقت الحقيقي لـ LLMs المعززة بـ KG للخطر بسبب العبء الحسابي العالي المرتبط بالتنقل عبر الرسوم البيانية وربط الكيانات، مما يقدم تأخيرًا ضارًا للتطبيقات مثل أنظمة الحوار والتوصيات عبر الإنترنت. على الرغم من اقتراح تقنيات تحسين مثل تقليم الرسوم البيانية والتخزين المؤقت، إلا أنها غالبًا ما تضحي بالدقة أو تفشل في التوسع بشكل فعال في بيئات متعددة المستخدمين (Guo et al., 2022).
فيما يتعلق بقدرة المعرفة على الشرح، يؤدي دمج KGs مع LLMs إلى سلاسل تفكير غير شفافة، حيث يعيق الطابع الهجين لهذه النماذج عملية اتخاذ القرار. تعقد تشابكات أوزان الانتباه وعمليات المتجهات تتبع القرارات، وتوفر تقنيات الشرح الحالية رؤى محدودة وتفتقر إلى قابلية التفسير الموجهة للمستخدم (Yinxin et al., 2024). علاوة على ذلك، تظل أصول المعرفة المستخدمة في التنبؤات غير واضحة، مما يقوض الثقة في المجالات الحساسة مثل الرعاية الصحية والمالية، حيث تكون القابلية للتحقق أمرًا أساسيًا. على الرغم من بذل جهود لدمج بيانات الأصول، إلا أن هذه الميزات نادرًا ما يتم دمجها في بنية النموذج بطريقة قابلة للتوسع أو سهلة الاستخدام (Pan et al., 2023).
DOI: https://doi.org/10.3389/fcomp.2025.1590632
Publication Date: 2025-07-16
Author(s): Zhenyun Du et al.
Primary Topic: Advanced Graph Neural Networks
Overview
This paper investigates the integration of Knowledge Graphs (KGs) and Large Language Models (LLMs), emphasizing their complementary strengths to overcome inherent limitations. It categorizes three primary integration strategies: KG-enhanced LLMs (KEL), LLM-enhanced KGs (LEK), and collaborative LLMs and KGs (LKC). The authors highlight the potential of these methodologies to improve knowledge representation, reasoning, and question answering, while also identifying significant challenges such as knowledge acquisition and the need for real-time updates.
In conclusion, the study systematically evaluates the three integration approaches, revealing that their fusion can effectively harness the strengths of structured knowledge and language models, particularly in applications like question answering and decision support systems. Nonetheless, the integration process is hindered by challenges related to efficiency in real-time updates and representational consistency across different modalities. The findings provide valuable insights and directions for future research aimed at enhancing the synergy between KGs and LLMs.
Introduction
The introduction of the research paper discusses the advancements and challenges associated with Large Language Models (LLMs) in natural language processing (NLP). LLMs, characterized by their extensive parameterization and training on vast datasets, have shown remarkable capabilities in various applications such as educational assistance and code generation. However, they are often criticized for their tendency to produce factually incorrect outputs, a phenomenon known as hallucination. This issue is particularly concerning in sensitive contexts where factual accuracy is paramount. The paper references research by Zhang et al. (2024b) that investigates hallucination across multiple LLMs, highlighting the need for improved factual consistency and transparency in these models.
To address these challenges, the authors propose integrating Knowledge Graphs (KGs) with LLMs. KGs provide structured, interpretable factual knowledge, which can enhance the reliability of LLM outputs and improve their reasoning capabilities. The paper outlines a collaborative framework where KGs can inject external knowledge into LLMs during both training and inference, while LLMs can assist in tasks related to KGs, such as embedding and completion. The authors aim to explore the multifaceted integration of LLMs and KGs, presenting a detailed categorization of existing research, covering emerging advancements, and identifying challenges and future research directions. The subsequent sections of the paper will elaborate on the background of LLMs and KGs, their integration strategies, and practical applications.
Methods
The section outlines various methods for enhancing knowledge graph (KG) completion tasks through advanced modeling techniques. Sequence-to-sequence models have emerged as effective tools, with Saxena et al. (2022) proposing an auto-regressive decoding approach to transform KG link prediction into a sequence task. Similarly, GenKGC (Xie et al., 2022) utilizes pre-trained language models to frame KG completion as a generation task. Additionally, KG-embedded large language model (LLM) pre-training methods are discussed, highlighting models like KEPLER (Wang X. et al., 2021), which integrates knowledge embedding with masked language modeling, and WKLM (Xiong et al., 2019), which employs weak supervision to enhance model performance in NLP tasks.
The section also addresses KG-assisted LLM interpretability methods, emphasizing the role of Knowledge Tracing in improving LLM accuracy through the extraction of relevant KG paths. Notable models include KELP (Liu H. et al., 2024), which enhances factual accuracy, and LAMA (Petroni et al., 2019), which evaluates relational knowledge through cloze-style questions. Other innovative strategies, such as CokeBERT (Su et al., 2021) and HKLM (Zhu et al., 2023), focus on dynamically selecting relevant KG sub-graphs and employing multi-format knowledge representation, respectively. These approaches aim to improve knowledge reasoning while highlighting challenges related to controllability and transparency in interactive applications.
Discussion
The discussion section of the research paper emphasizes the complementary relationship between Large Language Models (LLMs) and Knowledge Graphs (KGs), highlighting their integration as a means to enhance AI systems. The proposed fusion strategies—LLM-Enhanced KGs (LEK), KG-Enhanced LLMs (KEL), and Collaborative LLMs and KGs (LKC)—demonstrate how structured information from KGs can be combined with the reasoning and language generation capabilities of LLMs. This synergy is shown to improve accuracy, context-awareness, and reasoning efficiency across various applications, enabling the handling of complex, multimodal tasks more effectively.
The section further details advancements in LLM-enhanced KG techniques, particularly from 2023 to 2025, focusing on methodologies that address challenges in KG construction, embedding, and reasoning. Key innovations include the use of LLMs for tasks such as Named Entity Recognition (NER), relation extraction, and event extraction, which enhance the accuracy and efficiency of KGs. However, the paper also identifies significant challenges in this integration, including difficulties in information fusion, data quality dependency, and the computational costs associated with LLM-based KG completion. The authors suggest that future research should prioritize developing unified approaches that balance the strengths of LLMs and KGs while addressing these challenges to improve the reliability and scalability of knowledge graph applications.
Limitations
The section on limitations highlights two primary areas of concern regarding knowledge graph (KG)-enhanced large language models (LLMs): knowledge application and explainability.
In terms of knowledge application, the models exhibit limited task adaptability, as they are often designed for specific tasks and struggle with others that require different reasoning paths or domain-specific logic. This limitation stems from a static integration mechanism that lacks flexibility across diverse tasks, despite some research efforts towards multi-task graph encoders and task-specific adapters (Ibrahim et al., 2024). Additionally, the real-time inference efficiency of KG-enhanced LLMs is compromised due to high computational overhead associated with graph traversal and entity linking, which introduces latency detrimental to applications like dialogue systems and online recommendations. Although optimization techniques such as graph pruning and caching have been proposed, they often sacrifice accuracy or fail to scale effectively in multi-user environments (Guo et al., 2022).
Regarding knowledge explainability, the integration of KGs with LLMs results in opaque reasoning chains, where the hybrid nature of these models obscures the decision-making process. The entanglement of attention weights and vector operations complicates the traceability of decisions, and existing explainability techniques provide limited insight and lack user-centered interpretability (Yinxin et al., 2024). Furthermore, the provenance of knowledge used in predictions remains unclear, undermining trust in high-stakes domains such as healthcare and finance, where verifiability is essential. Although efforts to incorporate provenance metadata have been made, these features are rarely integrated into the model architecture in a scalable or user-friendly manner (Pan et al., 2023).