DOI: https://doi.org/10.1145/3626772.3661370
تاريخ النشر: 2024-07-10
المؤلف: Zhentao Xu وآخرون
الموضوع الرئيسي: نمذجة الموضوعات
نظرة عامة
في مجال دعم العملاء الفني، يعد الاسترجاع الفعال للمشكلات السابقة أمرًا ضروريًا لحل الاستفسارات. غالبًا ما تعالج طرق الاسترجاع التقليدية في الجيل المعزز بالاسترجاع (RAG) لنماذج اللغة الكبيرة (LLMs) تذاكر تتبع المشكلات التاريخية كنص عادي، متجاهلة الهياكل الداخلية للمشكلات والعلاقات بين المشكلات، مما يعيق الأداء. يقدم هذا البحث طريقة جديدة للإجابة على الأسئلة تدمج RAG مع رسم بياني للمعرفة (KG) تم بناؤه من المشكلات التاريخية. من خلال الاحتفاظ بمعلومات الهيكلية للمشكلات، تعزز الطريقة دقة الاسترجاع وجودة الإجابة من خلال استخدام الرسوم الفرعية من KG خلال مرحلة الإجابة على الأسئلة. تظهر التقييمات التجريبية أن هذه الطريقة تتجاوز الأداء الأساسي، محققة تحسينًا بنسبة 77.6% في متوسط الترتيب العكسي (MRR) وزيادة قدرها 0.32 في درجة BLEU. بالإضافة إلى ذلك، أدى النشر ضمن فريق خدمة العملاء في LinkedIn إلى تقليل الوقت الوسيط لحل المشكلات بنسبة 28.6%.
تؤكد النتائج على فعالية دمج RAG مع KG في أنظمة الإجابة الآلية على الأسئلة لخدمة العملاء. ستهدف الأبحاث المستقبلية إلى أتمتة استخراج قوالب الرسوم البيانية لتعزيز التكيف، واستكشاف التحديثات الديناميكية لـ KG لتحسين الاستجابة في الوقت الحقيقي، وتقييم قابلية تطبيق النظام في مجالات أخرى بخلاف خدمة العملاء.
مقدمة
تسلط المقدمة الضوء على الدور الحاسم للدعم الفني الفعال في خدمة العملاء، مشددة على تأثيره على رضا العملاء وولائهم. تشير إلى أن العديد من استفسارات العملاء تعكس مشكلات تم حلها سابقًا، مما يجعل الاسترجاع السريع والدقيق للحالات السابقة أمرًا ضروريًا لحل المشكلات بكفاءة. لقد حسنت التطورات الأخيرة في الاسترجاع القائم على التضمين (EBR)، ونماذج اللغة الكبيرة (LLMs)، والجيل المعزز بالاسترجاع (RAG) بشكل ملحوظ من أداء الاسترجاع وقدرات الإجابة على الأسئلة في هذا المجال.
تشمل عملية معالجة استفسارات العملاء عادةً مرحلتين: أولاً، يتم تقسيم تذاكر المشكلات التاريخية إلى قطع نصية أصغر لتناسب قيود طول السياق لنماذج التضمين، والتي يتم تحويلها بعد ذلك إلى متجهات تضمين للاسترجاع. في المرحلة الثانية، يسترجع النظام القطع الأكثر صلة ويستخدمها كسياق لنماذج اللغة الكبيرة (LLMs) لتوليد استجابات مناسبة. ومع ذلك، على الرغم من بساطتها الظاهرة، تواجه هذه الطريقة عدة قيود تستدعي المزيد من التحقيق.
طرق
في هذا القسم، يصف المؤلفون المنهجية لتطوير نظام للإجابة على الأسئلة في خدمة العملاء يستفيد من نموذج لغة كبير (LLM) بالتزامن مع الجيل المعزز بالاسترجاع (RAG) ورسم بياني للمعرفة (KG). يعمل النظام في مرحلتين متميزتين.
تشمل المرحلة الأولى بناء رسم بياني شامل للمعرفة من تذاكر مشكلات خدمة العملاء التاريخية. يستخدم هذا الرسم تمثيلًا هيكليًا شجريًا لكل مشكلة، مما يحدد الترابطات بناءً على السياق العلاقي. بالإضافة إلى ذلك، يتم توليد تضمينات لكل عقدة لتعزيز قدرات البحث الدلالي. في المرحلة الثانية، يقوم النظام بمعالجة استفسارات المستهلكين من خلال تحديد الكيانات المسماة والنوايا، ثم يتنقل عبر KG لتحديد الرسوم الفرعية ذات الصلة التي تسهل توليد إجابات دقيقة. تهدف هذه الطريقة ذات المرحلتين إلى تحسين كفاءة وفعالية تفاعلات خدمة العملاء.
مناقشة
تستعرض قسم المناقشة في الورقة التقدم المحرز في أنظمة الإجابة على الأسئلة (QA) التي تدمج الرسوم البيانية للمعرفة (KGs) ونماذج اللغة الكبيرة (LLMs). تصنف طرق QA الحالية إلى طرق قائمة على الاسترجاع، وطرق قائمة على القوالب، وطرق تحليل دلالي، مع تسليط الضوء على قيودها، خاصة في التعامل مع الاستفسارات المعقدة التي تتضمن كيانات متعددة. لقد أظهرت الابتكارات الأخيرة، مثل دمج LLMs مع KGs، وعدًا في تعزيز قدرات التفكير واسترجاع المعلومات، كما يتضح من دراسات متعددة تظهر تحسين الأداء في المجالات المتخصصة.
يستخدم بناء الرسم البياني للمعرفة لتمثيل المشكلات التاريخية بنية معمارية ذات مستويين تميز بين العلاقات الداخلية للمشكلة والعلاقات بين المشكلات. تمثل بنية الشجرة الداخلية المشكلات الفردية، بينما يلتقط الرسم البياني بين المشكلات الاتصالات عبر التذاكر، سواء كانت صريحة أو ضمنية. تتضمن المنهجية لبناء الرسم البياني عملية من مرحلتين: تحليل التذاكر الفردية إلى تمثيلات شجرية وإقامة الاتصالات بناءً على التشابهات الدلالية. بالإضافة إلى ذلك، يتم توليد تضمينات لعقد الرسم البياني باستخدام نماذج مدربة مسبقًا، مما يسهل الاسترجاع الفعال للمعلومات ذات الصلة. تشير النتائج التجريبية إلى تحسينات كبيرة في فعالية الاسترجاع ودقة الإجابة على الأسئلة، مع تقليل ملحوظ في وقت الحل لمشكلات خدمة العملاء عندما تم نشر النظام المقترح في بيئة واقعية. تهدف الأعمال المستقبلية إلى تعزيز قابلية تكيف النظام واستكشاف قابليته للتطبيق خارج سياقات خدمة العملاء.
القيود
تسلط قسم القيود الضوء على مشكلتين رئيسيتين تؤثران على الاسترجاع وجودة الإجابات في سياق مستندات تتبع المشكلات، مثل تلك الموجودة في Jira.
أولاً، تتجاهل الطريقة التقليدية لضغط المستندات إلى قطع نصية الهيكل الداخلي والترابطات بين المشكلات، مثل العلاقات التي تشير إليها عبارات مثل “المشكلة A مرتبطة بالمشكلة B.” تؤدي هذه الخسارة في المعلومات الهيكلية إلى تقويض دقة الاسترجاع. بالمقابل، تستخدم الطريقة المقترحة طريقة تحليل شجرية لتمثيل تذاكر المشكلات وتشكل رسمًا بيانيًا مترابطًا، مما يحافظ على هذه العلاقات ويعزز أداء الاسترجاع.
ثانيًا، يمكن أن يؤدي تقسيم تذاكر المشكلات الطويلة إلى مقاطع ثابتة الطول لتلبية قيود نماذج التضمين إلى تعطيل استمرارية المحتوى ذي الصلة. قد تؤدي هذه الانفصال إلى إجابات غير مكتملة، حيث قد يتم تقسيم المعلومات الحيوية عبر المقاطع. تعالج طريقة التحليل القائمة على الرسم البياني المقترحة في هذا البحث هذه القيود من خلال الحفاظ على التماسك المنطقي لأقسام التذاكر، مما يضمن أن تكون الاستجابات كاملة وعالية الجودة.
DOI: https://doi.org/10.1145/3626772.3661370
Publication Date: 2024-07-10
Author(s): Zhentao Xu et al.
Primary Topic: Topic Modeling
Overview
In the realm of customer service technical support, the efficient retrieval of past issues is essential for resolving inquiries. Traditional retrieval methods in retrieval-augmented generation (RAG) for large language models (LLMs) often treat historical issue tracking tickets as plain text, neglecting the important intra-issue structures and inter-issue relationships, which hampers performance. This research introduces a novel question-answering method that integrates RAG with a knowledge graph (KG) constructed from historical issues. By retaining the structural information of issues, the method enhances retrieval accuracy and answer quality by utilizing sub-graphs from the KG during the question-answering phase. Empirical evaluations demonstrate that this approach surpasses baseline performance, achieving a 77.6% improvement in mean reciprocal rank (MRR) and a 0.32 increase in BLEU score. Additionally, deployment within LinkedIn’s customer service team has led to a 28.6% reduction in median resolution time per issue.
The findings underscore the effectiveness of combining RAG with a KG in automated question-answering systems for customer service. Future research will aim to automate the extraction of graph templates to enhance adaptability, explore dynamic updates to the KG for improved real-time responsiveness, and assess the applicability of the system in other domains beyond customer service.
Introduction
The introduction highlights the critical role of effective technical support in customer service, emphasizing its impact on customer satisfaction and loyalty. It notes that many customer inquiries mirror previously resolved issues, making the swift and accurate retrieval of past instances essential for efficient problem resolution. Recent advancements in embedding-based retrieval (EBR), large language models (LLMs), and retrieval-augmented generation (RAG) have notably improved retrieval performance and question-answering capabilities in this domain.
The process of addressing customer inquiries typically involves two stages: first, historical issue tickets are segmented into smaller text chunks to fit the context length limitations of embedding models, which are then converted into embedding vectors for retrieval. In the second stage, the system retrieves the most relevant chunks and utilizes them as context for LLMs to generate appropriate responses. However, despite its apparent simplicity, this method faces several limitations that warrant further investigation.
Methods
In this section, the authors describe the methodology for developing a customer service question-answering system that leverages a large language model (LLM) in conjunction with retrieval-augmented generation (RAG) and a knowledge graph (KG). The system operates in two distinct phases.
The first phase involves the construction of a comprehensive knowledge graph from historical customer service issue tickets. This graph employs a tree-structured representation of each issue, establishing interconnections based on relational context. Additionally, embeddings are generated for each node to enhance semantic search capabilities. In the second phase, the system processes consumer queries by identifying named entities and intents, subsequently navigating the KG to locate relevant sub-graphs that facilitate accurate answer generation. This dual-phase approach aims to improve the efficiency and effectiveness of customer service interactions.
Discussion
The discussion section of the paper outlines the advancements in question answering (QA) systems that integrate knowledge graphs (KGs) and large language models (LLMs). It categorizes existing QA methods into retrieval-based, template-based, and semantic parsing approaches, highlighting their limitations, particularly in handling complex queries involving multiple entities. Recent innovations, such as the integration of LLMs with KGs, have shown promise in enhancing reasoning and information retrieval capabilities, as evidenced by various studies that demonstrate improved performance in specialized domains.
The construction of the knowledge graph for representing historical issues employs a dual-level architecture that distinguishes between intra-issue and inter-issue relations. The intra-issue tree structure models individual tickets, while the inter-issue graph captures connections across tickets, both explicit and implicit. The methodology for graph construction involves a two-phase process: parsing individual tickets into tree representations and establishing connections based on semantic similarities. Additionally, embeddings for graph nodes are generated using pre-trained models, facilitating effective retrieval of relevant information. The experimental results indicate significant improvements in retrieval efficacy and question-answering accuracy, with a notable reduction in resolution time for customer service issues when the proposed system was deployed in a real-world setting. Future work aims to enhance the adaptability of the system and explore its applicability beyond customer service contexts.
Limitations
The section on limitations highlights two primary issues affecting the retrieval and quality of answers in the context of issue tracking documents, such as those found in Jira.
Firstly, the conventional method of compressing documents into text chunks neglects the inherent structure and interconnections among issues, such as relationships denoted by phrases like “issue A is related to issue B.” This loss of structural information compromises retrieval accuracy. In contrast, the proposed approach utilizes a tree parsing method to represent issue tickets and forms an interconnected graph, thereby preserving these relationships and enhancing retrieval performance.
Secondly, the segmentation of lengthy issue tickets into fixed-length segments to meet the constraints of embedding models can disrupt the continuity of related content. This disconnection may lead to incomplete answers, as critical information may be split across segments. The graph-based parsing method proposed in this research addresses this limitation by maintaining the logical coherence of ticket sections, ensuring that responses are both complete and of high quality.