DOI: https://doi.org/10.1145/3715735
تاريخ النشر: 2025-06-19
المؤلف: Zhenyun Du وآخرون
الموضوع الرئيسي: نمذجة الموضوعات
نظرة عامة
يقدم هذا القسم MetaQA، وهو نهج جديد للكشف عن الهلوسات في نماذج اللغة الكبيرة (LLMs) لا يعتمد على الموارد الخارجية، مما يعالج قيود الطرق الحالية التي غالبًا ما تعاني من مشكلات مثل انخفاض التوافر ومخاوف الخصوصية. يستخدم MetaQA العلاقات التحولية وتغيير المحفزات لتحديد المعلومات غير الصحيحة من الناحية الواقعية في مخرجات LLM. الفرضية الأساسية هي أنه إذا كانت استجابة LLM هلوسة، فسيتم انتهاك العلاقات التحولية المصممة.
في التقييمات المقارنة ضد الطريقة الرائدة، SelfCheckGPT، يظهر MetaQA أداءً متفوقًا عبر مجموعات بيانات متعددة ونماذج LLM مفتوحة المصدر ومغلقة المصدر. على وجه التحديد، يحقق تحسينات في الدقة (0.041 – 0.113)، والاسترجاع (0.143 – 0.430)، ودرجة F1 (0.154 – 0.368)، مع نتائج ملحوظة مثل درجة F1 تبلغ 0.435 لـ Mistral-7B، وهي أعلى بكثير من درجة SelfCheckGPT البالغة 0.205. تشير النتائج إلى أن MetaQA يعزز موثوقية وثقة مخرجات LLM من خلال الكشف الفعال عن الهلوسات، مما يمهد الطريق للتكامل المستقبلي في التطبيقات الزمنية الحقيقية ومزيد من تحسين آليات الكشف الخاصة به.
مقدمة
تسلط المقدمة الضوء على التأثير التحويلي لنماذج اللغة الكبيرة (LLMs)، مثل GPT-4، على مهام معالجة اللغة، بما في ذلك إعداد التقارير والتلخيص. على الرغم من قدراتها، فإن LLMs عرضة لتوليد الهلوسات – مخرجات متماسكة ولكنها غير صحيحة من الناحية الواقعية أو غير ذات صلة. هذه المشكلة تكون خاصة في السياقات التي تتطلب دقة واقعية عالية، مثل الإجابة على الأسئلة، حيث يمكن أن تؤدي الهلوسات المتعارضة مع الحقائق إلى تضليل المستخدمين وتقويض الثقة في هذه التقنيات.
يؤكد المؤلفون على المخاطر المرتبطة بهذه الأخطاء، خاصة بالنسبة للمستخدمين الذين ليس لديهم خبرة في مجالات معينة، مثل القانون. يتم تقديم مثال توضيحي، يوضح كيف أن استفسار قانوني تم طرحه على ChatGPT أدى إلى استجابة تحتوي على هلوسات. تؤكد العواقب المحتملة لمثل هذه الأخطاء على الحاجة إلى آليات كشف فعالة لتعزيز موثوقية LLMs في التطبيقات الحرجة.
طرق
تعتبر منهجية MetaQA إطارًا مصممًا للكشف عن التناقضات الواقعية، أو الهلوسات، في مخرجات نماذج اللغة. تعمل من خلال عملية منظمة من خمس خطوات: (1) سؤال-جواب مختصر، (2) توليد الطفرات، (3) التحقق من الطفرات، و(4) تقييم الهلوسة. يتم تفصيل الإجراء الكامل، من توليد الطفرات بناءً على الاستجابات الأولية من نماذج اللغة الكبيرة (LLMs) إلى حساب درجة الهلوسة، في الخوارزمية 1.
يتناول الإعداد التجريبي خمسة أسئلة بحثية (RQs) تهدف إلى تقييم أداء MetaQA. RQ1 يقيم فعاليته في الكشف عن الهلوسات مقارنة بالطرق الأساسية. RQ2 يستقصي أداء الإطار عبر فئات أسئلة متنوعة، بينما RQ3 يفحص استقرار نتائج الكشف عبر تجارب متعددة. RQ4 يحلل كيف تؤثر عدد وفئات الطفرات على أداء MetaQA، وRQ5 يقيم التغيرات في أداء كل من MetaQA وSelfCheckGPT بالنسبة لإعدادات العتبة المختلفة، كما هو موضح في المعادلة 5. تهدف هذه الاستفسارات مجتمعة إلى إثبات قوة وقابلية تطبيق إطار MetaQA في تحديد التناقضات الواقعية في مخرجات LLM.
نتائج
تقيم الدراسة قابلية تعميم MetaQA من خلال استخدام مجموعات بيانات متنوعة، بما في ذلك TruthfulQA وHot-potQA وFreshQA، إلى جانب نماذج اللغة الكبيرة (LLMs) مثل GPT-4 وGPT-3.5 وLlama3 وMistral. تشير النتائج إلى أن فعالية MetaQA تعتمد على مجموعة البيانات ونموذج LLM المحدد المستخدم، مما يشير إلى تباين في الأداء عبر سياقات مختلفة. على الرغم من الجهود المبذولة لتضمين مجموعة متنوعة من النماذج ومجموعات البيانات، قد لا تكون النتائج قابلة للتطبيق عالميًا، مما يبرز الحاجة إلى مزيد من التحقيق في قابلية تعميم MetaQA في إعدادات أخرى.
مناقشة
في هذا القسم، يناقش البحث قيود الطرق الحالية للكشف عن الهلوسات في نماذج اللغة الكبيرة (LLMs)، مع التركيز بشكل خاص على SelfCheckGPT. بينما يقوم SelfCheckGPT بتوليد عينات استجابة متعددة لتقييم الدقة الواقعية، فإنه غالبًا ما يفشل في تحديد الهلوسات بسبب اعتماده على التشابه الدلالي، مما يمكن أن يعزز المعلومات غير الصحيحة. لمعالجة ذلك، يقدم المؤلفون MetaQA، وهو نهج جديد يستخدم العلاقات التحولية (MRs) لإنشاء طفرات محكومة لاستجابات LLM. من خلال التحقق من هذه الطفرات مقابل النتائج المتوقعة، يحدد MetaQA التناقضات بشكل فعال دون الحاجة إلى موارد خارجية، مما يجعله قابلاً للتطبيق على كل من النماذج مفتوحة المصدر ومغلقة المصدر.
تظهر تقييمات MetaQA عبر ثلاث مجموعات بيانات – TruthfulQA وHotpotQA وFreshQA – أداؤه المتفوق مقارنة بـ SelfCheckGPT، محققًا درجات دقة واسترجاع وF1 أعلى. على وجه التحديد، يتفوق MetaQA على SelfCheckGPT بفارق من 0.154 إلى 0.368 في درجات F1 عبر أربعة LLMs. كما يقوم المؤلفون بتحسين معيار TruthfulQA من خلال تحديث 238 سؤالًا، مما ينشئ مجموعة بيانات TruthfulQA-Enhanced، التي تدعم أبحاث الكشف عن الهلوسات بدقة أكبر. بشكل عام، تسلط النتائج الضوء على فعالية MetaQA في معالجة مشكلة الهلوسة في LLMs، مما يساهم في موثوقية المحتوى الناتج في مهام معالجة اللغة الطبيعية.
DOI: https://doi.org/10.1145/3715735
Publication Date: 2025-06-19
Author(s): Zhenyun Du et al.
Primary Topic: Topic Modeling
Overview
The section presents MetaQA, a novel approach for detecting hallucinations in Large Language Models (LLMs) that does not rely on external resources, addressing the limitations of existing methods that often suffer from issues such as low availability and privacy concerns. MetaQA utilizes metamorphic relations and prompt mutation to identify factually incorrect information in LLM outputs. The underlying hypothesis is that if an LLM’s response is a hallucination, the designed metamorphic relations will be violated.
In comparative evaluations against the state-of-the-art method, SelfCheckGPT, MetaQA demonstrates superior performance across multiple datasets and both open-source and closed-source LLMs. Specifically, it achieves improvements in precision (0.041 – 0.113), recall (0.143 – 0.430), and F1-score (0.154 – 0.368), with notable results such as an F1-score of 0.435 for Mistral-7B, significantly higher than SelfCheckGPT’s score of 0.205. The findings indicate that MetaQA enhances the reliability and trustworthiness of LLM outputs by effectively detecting hallucinations, paving the way for future integration into real-time applications and further refinement of its detection mechanisms.
Introduction
The introduction highlights the transformative impact of Large Language Models (LLMs), such as GPT-4, on language processing tasks, including report drafting and summarization. Despite their capabilities, LLMs are susceptible to generating hallucinations—outputs that are coherent yet factually incorrect or irrelevant. This issue is particularly problematic in contexts requiring high factual accuracy, such as question-answering, where fact-conflicting hallucinations can mislead users and undermine trust in these technologies.
The authors emphasize the risks associated with these inaccuracies, especially for users without expertise in specific domains, such as law. An illustrative example is provided, demonstrating how a legal inquiry posed to ChatGPT resulted in a response containing hallucinations. The potential consequences of such inaccuracies underscore the need for effective detection mechanisms to enhance the reliability of LLMs in critical applications.
Methods
The MetaQA methodology is a framework designed for detecting factual inconsistencies, or hallucinations, in language model outputs. It operates through a structured five-step process: (1) Concise Question-Answering, (2) Mutation Generation, (3) Mutation Verification, and (4) Hallucination Evaluation. The complete procedure, from generating mutations based on initial responses from large language models (LLMs) to calculating a hallucination score, is detailed in Algorithm 1.
The experimental setup addresses five research questions (RQs) aimed at evaluating MetaQA’s performance. RQ1 assesses its effectiveness in detecting hallucinations compared to baseline methods. RQ2 investigates the framework’s performance across various question categories, while RQ3 examines the stability of its detection results across multiple trials. RQ4 analyzes how the number and categories of mutations influence MetaQA’s performance, and RQ5 evaluates the variations in performance of both MetaQA and SelfCheckGPT in relation to different threshold settings, as indicated by Equation 5. These inquiries collectively aim to establish the robustness and applicability of the MetaQA framework in identifying factual inconsistencies in LLM outputs.
Results
The study evaluates the generalizability of MetaQA by employing various datasets, including TruthfulQA, Hot-potQA, and FreshQA, alongside large language models (LLMs) such as GPT-4, GPT-3.5, Llama3, and Mistral. The findings indicate that the effectiveness of MetaQA is contingent upon the specific dataset and LLM utilized, suggesting variability in performance across different contexts. Despite efforts to incorporate a diverse range of models and datasets, the results may not be universally applicable, highlighting the need for further investigation into the generalizability of MetaQA in other settings.
Discussion
In this section, the paper discusses the limitations of existing methods for detecting hallucinations in Large Language Models (LLMs), particularly focusing on SelfCheckGPT. While SelfCheckGPT generates multiple response samples to assess factual accuracy, it often fails to identify hallucinations due to its reliance on semantic similarity, which can reinforce incorrect information. To address this, the authors introduce MetaQA, a novel approach that utilizes Metamorphic Relations (MRs) to create controlled mutations of LLM responses. By verifying these mutations against expected outcomes, MetaQA effectively identifies inconsistencies without needing external resources, making it applicable to both open-source and closed-source models.
The evaluation of MetaQA across three datasets—TruthfulQA, HotpotQA, and FreshQA—demonstrates its superior performance compared to SelfCheckGPT, achieving higher precision, recall, and F1 scores. Specifically, MetaQA outperforms SelfCheckGPT by a margin of 0.154 to 0.368 in F1 scores across four LLMs. The authors also enhance the TruthfulQA benchmark by updating 238 questions, creating the TruthfulQA-Enhanced dataset, which supports more accurate hallucination detection research. Overall, the findings highlight MetaQA’s effectiveness in addressing the hallucination issue in LLMs, thereby contributing to the reliability of generated content in natural language processing tasks.