DOI: https://doi.org/10.1016/j.aei.2026.104801
تاريخ النشر: 2026-05-17
المؤلف: Qi Shi وآخرون
الموضوع الرئيسي: نمذجة الموضوعات
نظرة عامة
تقدم ورقة البحث إطار عمل Trust-Aware KG-RAG (TAG) الذي يهدف إلى تعزيز الإجابة على الأسئلة الموثوقة (Q&A) في مجالات الهندسة الحساسة للسلامة. مع إدراك القيود التي تواجه نماذج اللغة الكبيرة (LLMs) في التعامل مع تعقيدات بيانات الهندسة – مثل قيود القواعد الصارمة، والبيانات متعددة المصادر، وتضارب المعلومات – يقترح المؤلفون دمجًا منهجيًا لآليات الثقة في جميع مراحل عملية Q&A. يستخدم TAG وكيل استخراج مدرك للثقة لاستخراج العلاقات الموزونة بالثقة، وآلية تحقق من الثقة عبر الرسوم البيانية لحل النزاعات، واستراتيجية استرجاع وإجابة مدفوعة بالثقة لتحسين موثوقية الإجابات. تظهر النتائج التجريبية على معيار مستمد من تقارير اختبار المحولات الكهربائية تحسينًا كبيرًا في الأداء، حيث تحقق درجة F1 تبلغ 0.785، وهو تحسين بنسبة 54.5% مقارنةً بأساس KG-RAG التقليدي.
في الختام، يولي TAG أهمية كبيرة للأدلة الموثوقة ويطابق الإجابات المولدة مع المصادر الموثوقة، مما يبرز إمكانياته في التفكير المعتمد على المعرفة في البيئات الحساسة للسلامة. يمكن تكييف آليات الإطار، مثل وزن مستوى السلطة وتتبع مصدر الفقرات، لتناسب مجالات صناعية مختلفة تواجه تحديات مماثلة. بينما تؤكد الدراسة الحالية على فعالية TAG ضمن السياق المحدد لوثائق المحولات الكهربائية، ستهدف الأبحاث المستقبلية إلى توسيع تطبيقه عبر مجالات مختلفة، وتعزيز تمثيلات الرسوم البيانية، وإجراء تقييمات أكثر شمولاً لتأسيس قوته وقابليته للتكيف بشكل أكبر.
مقدمة
تؤكد مقدمة ورقة البحث هذه على الحاجة الملحة لمنصات ذكية ومتكاملة في مجالات الهندسة الحساسة للسلامة، خاصة لاختبار وفحص المعدات مثل المحولات ومفاتيح الجهد العالي. تسلط الضوء على التحديات التي تطرحها الطبيعة متعددة المصادر والمختلطة لوثائق الهندسة، والتي تشمل المعايير الوطنية، وكتيبات الشركات المصنعة، وتقارير الفحص. غالبًا ما تحتوي هذه الوثائق على تناقضات وازدواجيات بسبب التحديثات ومستويات السلطة المتفاوتة، مما يعقد استخراج المعرفة الآلي والتفكير. يواجه المهندسون حاليًا عدم الكفاءة ومخاطر الإغفال عند مراجعة هذه الوثائق يدويًا، مما يبرز ضرورة وجود أنظمة آلية يمكن أن تضمن الامتثال وقابلية التتبع في اتخاذ القرار.
لمعالجة هذه التحديات، تقترح الورقة إطار عمل Trust-Aware Knowledge Graph Retrieval-Augmented Generation (TAG) المصمم خصيصًا لمعدات الهندسة الحساسة للسلامة. يهدف هذا الإطار إلى تعزيز موثوقية استخراج المعرفة والتفكير من خلال دمج آليات الثقة التي تأخذ في الاعتبار التعقيدات والنزاعات الكامنة في بيانات الهندسة متعددة المصادر. يقدم إطار TAG وكيل استخراج مدرك للثقة، ووحدات استخراج مستقلة للبيانات المتنوعة، وطريقة استرجاع مدفوعة بالثقة لإعطاء الأولوية لمسارات المعرفة عالية الثقة. من خلال معالجة القضايا المتعلقة بتعقيد المحتوى، وتنوع البيانات، والمنطق العلاقي بشكل منهجي، يسعى الإطار المقترح إلى تحسين دقة وموثوقية استنتاجات وتقارير الفحص، مما يدعم في النهاية اتخاذ قرارات أفضل في السياقات الحساسة للسلامة.
طرق
تقدم الدراسة إطار TAG، المصمم خصيصًا لاختبار معدات الهندسة، مع التركيز على مراقبة المحولات الكهربائية كدراسة حالة. هذا الإطار غير مرتبط بمجال معين ويهدف إلى تعزيز أنشطة التحقق من الامتثال من خلال تحويل سجلات الاختبار الخام متعددة المصادر – مثل تقارير الفحص وقراءات المستشعرات – إلى قطع معرفة قابلة للتدقيق. تؤكد المنهجية على الحفاظ على درجة ثقة مستمرة طوال خط معالجة البيانات، مما يدعم كل من التحقق من الاختبارات الحالية مقابل المعايير وإعداد خطط اختبار متوافقة للفحوصات المستقبلية. يتضمن الإطار نهجًا منظمًا لإدارة أنواع البيانات المتنوعة ويجمع بين آليات استخراج مدركة للثقة لتوليد رسوم بيانية غير متجانسة، مما يسهل استرجاع الأدلة الفعالة والإجابة على الأسئلة.
تركز التقييمات التجريبية لـ TAG على تطبيقه في سياقات الهندسة الحساسة للسلامة، خاصة من خلال دراسة حالة تتعلق بمراقبة المحولات الكهربائية. يتم مقارنة الإطار مع متغيرات KG-RAG الحالية لعزل تأثير وزن الثقة في إعداد استرجاع قائم على الرسوم البيانية. تم بناء معيار للإجابة على الأسئلة من الوثائق ذات الصلة بالاختبار والصيانة، مما يسمح بتقييم الآليات المدعومة بالثقة في بناء الرسوم البيانية للمعرفة وموثوقية الإجابات المولدة. تظهر النتائج قدرة TAG على تعزيز الثقة في عمليات الإجابة على الأسئلة دون زيادة كبيرة في التعقيد الحسابي، مما يعالج الفجوات الشائعة في الثقة في الأنظمة التقليدية.
مناقشة
تتناول قسم المناقشة في الورقة تطور الحالة الحالية لأنظمة استرجاع الجيل المعزز (RAG)، مع التركيز على الانتقال من الأساليب القائمة على القواعد إلى دمج الرسوم البيانية للمعرفة (KG) من أجل تحسين الأداء في المهام المعتمدة على المعرفة. تسلط الضوء على قيود أساليب RAG التقليدية، خاصة في السياقات الهندسية المقيدة بالمعايير حيث تكون التشابه الدلالي وحده غير كافٍ لاتخاذ القرار. تشير الورقة إلى أنه بينما أدت التطورات الأخيرة إلى تقديم أساليب منظمة، مثل خطوط الأنابيب متعددة المراحل ونماذج استرجاع قائمة على الرسوم البيانية، لا تزال هناك تحديات في ضمان موثوقية المعرفة المسترجعة، خاصة في التطبيقات الحساسة للسلامة.
يقترح المؤلفون إطار عمل مدرك للثقة لبناء رسوم بيانية غير متجانسة للمعرفة تتضمن أوزان ثقة للكيانات والعلاقات، مما يسهل التفكير المدرك للموثوقية. يعالج هذا الإطار تعقيدات وثائق الهندسة، التي غالبًا ما تكون مجزأة وتتطور بمرور الوقت. من خلال استخدام وكيل استخراج مدرك للثقة، تعزز الطريقة المقترحة استخراج ودمج المعرفة مع الحفاظ على إمكانية التتبع للأدلة من الوثائق الأصلية. تختتم الورقة بالقول إنه بدون آلية قوية لحوكمة الثقة، قد تنتج أنظمة KG-RAG الحالية مخرجات غير موثوقة، خاصة في البيئات عالية المخاطر، مما يبرز الحاجة إلى نهج مدرك للثقة لتحسين مصداقية وقابلية التدقيق في أنظمة الإجابة على الأسئلة في سياقات الهندسة.
DOI: https://doi.org/10.1016/j.aei.2026.104801
Publication Date: 2026-05-17
Author(s): Qi Shi et al.
Primary Topic: Topic Modeling
Overview
The research paper introduces the Trust-Aware KG-RAG framework (TAG) aimed at enhancing Trustworthy Question Answering (Q&A) in safety-critical engineering domains. Recognizing the limitations of Large Language Models (LLMs) in handling the complexities of engineering data—such as strict rule constraints, multisource data, and information conflicts—the authors propose a systematic integration of trust mechanisms throughout the Q&A process. TAG employs a Trust-Aware Extraction Agent for Trust-Weighted Relation Extraction, a Cross-Graph Trust Validation mechanism for conflict resolution, and a Trust-Guided Retrieval & Q&A strategy to improve answer reliability. Experimental results on a benchmark derived from power-transformer testing reports demonstrate a significant improvement in performance, achieving an F1-score of 0.785, which is a 54.5% enhancement over a conventional KG-RAG baseline.
In conclusion, TAG effectively prioritizes trustworthy evidence and aligns generated answers with authoritative sources, showcasing its potential for knowledge-intensive reasoning in safety-critical environments. The framework’s mechanisms, such as authority-tier weighting and clause-level provenance tracking, can be adapted to various industrial domains facing similar challenges. While the current study validates TAG’s effectiveness within the specific context of power-transformer documentation, future research will aim to extend its application across different domains, enhance graph representations, and conduct more comprehensive evaluations to further establish its robustness and adaptability.
Introduction
The introduction of this research paper emphasizes the critical need for intelligent, integrated platforms in safety-critical engineering domains, particularly for the testing and inspection of equipment like transformers and high-voltage switchgear. It highlights the challenges posed by the multi-source, mixed-format nature of engineering documentation, which includes national standards, manufacturer manuals, and inspection reports. These documents often contain inconsistencies and redundancies due to updates and varying authority levels, complicating automated knowledge extraction and reasoning. Engineers currently face inefficiencies and risks of oversight when manually cross-referencing these documents, underscoring the necessity for automated systems that can ensure compliance and traceability in decision-making.
To address these challenges, the paper proposes a Trust-Aware Knowledge Graph Retrieval-Augmented Generation (TAG) framework tailored for safety-critical engineering equipment. This framework aims to enhance the reliability of knowledge extraction and reasoning by incorporating trust mechanisms that account for the complexities and conflicts inherent in multi-source engineering data. The TAG framework introduces a Trust-Aware Extraction Agent, independent extraction modules for heterogeneous data, and a Trust-Guided Retrieval method to prioritize high-trust knowledge paths. By systematically addressing issues of content complexity, data heterogeneity, and relational logic, the proposed framework seeks to improve the accuracy and reliability of inspection conclusions and reports, ultimately supporting better decision-making in safety-critical contexts.
Methods
The study introduces the TAG framework, specifically designed for engineering equipment testing, with a focus on power transformer monitoring as a case study. This framework is domain-agnostic and aims to enhance compliance verification activities by transforming raw, multi-source test records—such as inspection reports and sensor readings—into auditable knowledge artifacts. The methodology emphasizes maintaining a continuous trust score throughout the data processing pipeline, which supports both the verification of existing tests against standards and the preparation of compliant test plans for future inspections. The framework incorporates a structured approach to manage diverse data types and integrates trust-aware extraction mechanisms to generate heterogeneous graphs, facilitating effective evidence retrieval and question answering.
Experimental evaluations of TAG focus on its application in safety-critical engineering contexts, particularly through a case study involving power transformer monitoring. The framework is compared against existing KG-RAG variants to isolate the impact of trust weighting in a graph-based retrieval setting. A benchmark for question answering is constructed from relevant testing and maintenance documents, allowing for an assessment of the trust-assisted mechanisms in knowledge graph construction and the reliability of answers generated. The results demonstrate TAG’s capability to enhance trust in question answering processes without significantly increasing computational complexity, thereby addressing common trust gaps in traditional systems.
Discussion
The discussion section of the paper outlines the evolution and current state of Retrieval-Augmented Generation (RAG) systems, emphasizing the transition from rule-based methods to knowledge graph (KG) integration for enhanced performance in knowledge-intensive tasks. It highlights the limitations of traditional RAG approaches, particularly in standards-constrained engineering contexts where semantic similarity alone is insufficient for decision-making. The paper notes that while recent advancements have introduced structured methods, such as multi-stage pipelines and graph-based retrieval paradigms, challenges remain in ensuring the reliability of retrieved knowledge, especially in safety-critical applications.
The authors propose a trust-aware framework for constructing heterogeneous knowledge graphs that incorporate trust weights for entities and relations, facilitating reliability-aware reasoning. This framework addresses the complexities of engineering documentation, which is often fragmented and evolves over time. By employing a Trust-Aware Extraction Agent, the proposed method enhances the extraction and integration of knowledge while maintaining traceability to original document evidence. The paper concludes that without a robust trust governance mechanism, existing KG-RAG systems may produce unreliable outputs, particularly in high-stakes environments, thus underscoring the need for a trust-aware approach to improve the credibility and audibility of question-answering systems in engineering contexts.
