توسيع الاستعلام في عصر النماذج اللغوية المدربة مسبقًا والكبيرة: مسح شامل Query Expansion in the Age of Pre-trained and Large Language Models: A Comprehensive Survey

شارك:
المجلة: ACM Transactions on Information Systems، المجلد: 44، العدد: 5
DOI: https://doi.org/10.1145/3816248
تاريخ النشر: 2026-05-22
المؤلف: Minghan Li وآخرون
الموضوع الرئيسي: استرجاع المعلومات وسلوك البحث

نظرة عامة

تقدم هذه القسم نظرة عامة على تطور الحالة الحالية لتقنيات توسيع الاستعلام (QE) في سياق استرجاع المعلومات الحديثة، وخاصةً المتأثرة بالنماذج اللغوية الكبيرة المدربة مسبقًا (PLMs/LLMs). يسلط الضوء على ضرورة معالجة الاستعلامات القصيرة والغامضة ضمن مجموعات بيانات متنوعة وديناميكية. تصنف الدراسة الطرق الحديثة لتوسيع الاستعلام بناءً على أربعة أبعاد تصميم رئيسية: نقطة الحقن في خط أنابيب الاسترجاع، والتأسيس والتفاعل مع أدلة المجموعة، وعمليات التعلم والمحاذاة، ودمج المعرفة المنظمة مثل الرسوم البيانية للمعرفة. توضح هذه التنظيم الآليات والافتراضات والمقايضات المختلفة المرتبطة بمناهج QE المختلفة.

بالإضافة إلى التصنيف، تلخص الدراسة أنماط التطبيق واعتبارات النشر، مع التركيز على المقايضات العملية بين الفعالية، وقابلية التحكم، وجودة التأسيس، وتكاليف التشغيل. تؤكد الخاتمة على الانتقال من الطرق التقليدية المعتمدة على المجموعة والمعجم إلى نماذج PLM/LLM المعاصرة، بهدف تقديم مرجع منظم لفهم وتطبيق طرق QE في أنظمة الاسترجاع الحديثة. كما تحدد التحديات المفتوحة والاتجاهات المستقبلية، مع التركيز على تعزيز مراقبة الجودة، والسلامة، والكفاءة، والقدرة على التكيف في التطبيقات الواقعية.

مقدمة

تتناول مقدمة ورقة البحث التحديات التي تواجه أنظمة استرجاع المعلومات الحديثة (IR)، وخاصة في سياق الاستعلامات القصيرة والفقيرة في السياق التي يتم إنشاؤها من خلال الواجهات المحمولة والمحادثات. مع زيادة حجم وتعقيد المحتوى المتاح، يظهر عدم تطابق كبير في المفردات؛ غالبًا ما يستخدم المستخدمون مصطلحات عامة أو غامضة بينما تستخدم الوثائق ذات الصلة لغة محددة المجال، أو إعادة صياغات، أو مصطلحات ناشئة. يتفاقم هذا عدم التطابق بسبب نقص المعلومات السياقية، مما يعقد عملية الاسترجاع. توضح الورقة إطارًا مقارنًا لنشر تقنيات توسيع الاستعلام (QE)، مع التركيز على الحاجة لمعالجة هذه التحديات في التطبيقات الواقعية.

تناقش القسم أيضًا دور النماذج المحددة المجال ومتعددة اللغات في التخفيف من عدم تطابق المفردات. تعزز أساليب التدريب المسبق المتخصصة، مثل BioBERT وSciBERT، حل الكيانات وربط المفاهيم في المجالات الطبية والعلمية. بالإضافة إلى ذلك، تسهل نماذج اللغة المدربة مسبقًا متعددة اللغات (PLMs) توسيع الاستعلام عبر اللغات من خلال محاذاة المصطلحات ذات الصلة دلاليًا عبر اللغات، مما يسمح بإعادة صياغة فعالة ثنائية اللغة ومتعددة اللغات. تستعرض الورقة أيضًا مجالات التطبيق المختلفة حيث يكون QE حاسمًا، مع تسليط الضوء على أنواع عدم التطابق التي تحتاج إلى جسر ومصادر الأدلة المتاحة للتنفيذ الفعال. أخيرًا، تشير إلى قيود النشر، مثل الكمون ومخاطر الهلوسة، التي تؤثر على التطبيق العملي لتقنيات QE.

طرق

تناقش القسم الخاص بـ “الطرق” المفاهيم الأساسية والتقنيات التقليدية لتوسيع الاستعلام (QE)، والتي تهدف إلى معالجة عدم تطابق المفردات بين استعلامات المستخدم والوثائق ذات الصلة. يسلط الضوء على الطرق الإحصائية على مستوى المجموعة التي تستنتج ارتباطات المصطلحات من المجموعة المستهدفة دون أحكام صلة صريحة، بشكل أساسي من خلال تكرار المصطلحات على مستوى الوثيقة. بينما تكون هذه الطرق بسيطة وغير خاضعة للإشراف، فإنها تظهر تحيزات تفضل المصطلحات ذات التكرارات الوثائقية المشابهة لمصطلح الاستعلام، مما يجعلها أقل فعالية للاستعلامات عالية التكرار. تعزز الأساليب العالمية، مثل إنشاء قاموس لمشابهات المصطلحات واستخدام التحليل الدلالي الكامن (LSA)، توسيع الاستعلام من خلال تحديد المصطلحات ذات الصلة دلاليًا ولكن قد تنشر مصطلحات عامة بسبب طبيعتها غير السياقية.

بالإضافة إلى ذلك، تغطي القسم طرقًا تستخدم موارد المعرفة المعرفة مسبقًا، مثل المعاجم العامة والأنتولوجيات المحددة المجال، التي توفر دلالات صريحة لتقليل الغموض. بينما يمكن أن تعزز هذه الموارد الدقة في التوسعات على مستوى المفهوم، فإنها تواجه تحديات تتعلق بالتغطية الثابتة وغموض المعنى، خاصةً للاستعلامات المعقدة. أخيرًا، تناقش الطرق المدفوعة بالبيانات التي تستفيد من سجلات الاستعلام وسلوك المستخدم، حيث تُعلم إعادة الصياغة الضمنية والتفاعلات الناجحة مرشحي التوسيع. على الرغم من أن هذه الأساليب فعالة، إلا أنها تواجه مشكلات مثل مشاكل البداية الباردة وقيود الخصوصية. بشكل عام، تؤكد القسم على أهمية تحقيق التوازن بين الدقة والسياق في منهجيات توسيع الاستعلام.

مناقشة

في قسم المناقشة من ورقة البحث، يستكشف المؤلفون تعقيدات توسيع الاستعلام (QE) في استرجاع المعلومات، مع التأكيد على الحاجة إلى كل من إضافة المصطلحات وإعادة الوزن لتعزيز الاسترجاع مع الحفاظ على نية المستخدم. يميزون بين الطرق العالمية، التي تستفيد من الأنماط الإحصائية على مستوى المجموعة والمعرفة الخارجية، والطرق المحلية التي تعتمد على الأدلة المحددة بالسياق من الوثائق المسترجعة الأعلى. يسلط المؤلفون الضوء على التقنيات التقليدية مثل تغذية الراجعة ذات الصلة (RF) وتغذية الراجعة الزائفة (PRF)، موضحين صيغها الرياضية والتحديات المرتبطة بكل نهج.

تتوسع القسم أكثر في استراتيجيات QE الحديثة التي تستخدم نماذج اللغة المدربة مسبقًا (PLMs) والنماذج اللغوية الكبيرة (LLMs). تصنف هذه النماذج إلى هياكل فقط مشفرة، مشفرة-مشفرة، ومشفرة فقط، كل منها له مزايا مميزة لمهام QE. على سبيل المثال، تبرز النماذج المشفرة فقط مثل BERT في إزالة الغموض الحساس للسياق، بينما تسهل النماذج المشفرة-المشفرة مثل T5 التوليد المباشر للتوسعات. يناقش المؤلفون أيضًا أهمية أنماط التدريب، بما في ذلك التدريب المسبق، وضبط التعليمات، والمحاذاة، التي تعزز مجتمعة من قدرات النماذج في توليد توسعات استعلام ذات صلة وسياقية مناسبة. تختتم القسم بتحديد اعتبارات عملية لتنفيذ تقنيات QE، مع التأكيد على الحاجة إلى دمج فعال لإشارات التوسيع والمحاذاة مع أهداف الاسترجاع.

القيود

تعود قيود تقنيات توسيع الاستعلام التقليدية (QE) بشكل أساسي إلى اعتمادها على إحصائيات لغوية سطحية وهياكل معرفة ثابتة، والتي تفشل في التقاط تعقيدات الدلالات الديناميكية والتركيبية. يتضح هذا النقص في ثلاثة مجالات رئيسية:

1. **عدم الحساسية للسياق**: تفتقر الطرق التقليدية، سواء كانت إحصائية أو قائمة على المعرفة، إلى القدرة على مراعاة السياق، مما يؤدي إلى غموض في حل معنى الكلمات. على سبيل المثال، تكافح أنظمة مثل WordNet لتحديد المعنى الصحيح لكلمة في استعلامات قصيرة، حيث إنها لا تستخدم المصطلحات المحيطة بشكل فعال لإبلاغ تفسيراتها.

2. **هشاشة الأدلة المحلية**: تكون الطرق المحلية، مثل تغذية الراجعة الزائفة (PRF)، عرضة لانحراف الموضوع بسبب تعاملها مع الوثائق كمجموعات بسيطة من الكلمات المتزامنة. يمكن أن يؤدي هذا النهج إلى سوء تفسير النية وراء الاستعلامات، مثل “أحذية الجري”، مما قد يحول التركيز إلى مواضيع أوسع مثل “الأحذية” إذا كانت النتائج الأولية غير ذات صلة.

3. **عدم القدرة على التعميم**: تكون الطرق المعتمدة على السجلات، على الرغم من فعاليتها في سياقات معينة، محدودة في قدرتها على التعميم على استعلامات جديدة. تعتمد على سلوك المستخدم التاريخي وأنماط الاستعلام المحددة، مما يجعلها غير فعالة عند مواجهة تركيبات جديدة من المصطلحات التي تعبر عن نوايا لم تُرَ من قبل.

تسلط هذه القيود الضوء على الحاجة إلى تقدم في منهجيات QE، وخاصة تلك التي تستفيد من نماذج اللغة المدربة مسبقًا (PLMs) والنماذج اللغوية الكبيرة (LLMs) التي يمكن أن تتعلم التمثيلات السياقية وتسهيل استراتيجيات توسيع أكثر قوة ووعيًا بالأدلة.

Journal: ACM Transactions on Information Systems, Volume: 44, Issue: 5
DOI: https://doi.org/10.1145/3816248
Publication Date: 2026-05-22
Author(s): Minghan Li et al.
Primary Topic: Information Retrieval and Search Behavior

Overview

The section provides an overview of the evolution and current state of query expansion (QE) techniques in the context of modern information retrieval, particularly influenced by pre-trained and large language models (PLMs/LLMs). It highlights the necessity of addressing short and ambiguous queries within diverse and dynamic corpora. The survey categorizes recent QE methods based on four key design dimensions: the point of injection in the retrieval pipeline, the grounding and interaction with corpus evidence, the learning and alignment processes, and the integration of structured knowledge such as knowledge graphs. This organization clarifies the varying mechanisms, assumptions, and trade-offs associated with different QE approaches.

In addition to taxonomy, the survey synthesizes application patterns and deployment considerations, emphasizing the practical trade-offs between effectiveness, controllability, grounding quality, and operational costs. The conclusion underscores the transition from traditional corpus- and lexicon-based methods to contemporary PLM/LLM paradigms, aiming to provide a structured reference for understanding and applying QE methods in modern retrieval systems. It also identifies open challenges and future directions, focusing on enhancing quality control, safety, efficiency, and adaptability in real-world applications.

Introduction

The introduction of the research paper addresses the challenges faced by modern Information Retrieval (IR) systems, particularly in the context of short, context-poor queries generated through mobile and conversational interfaces. As the volume and complexity of available content increase, a significant vocabulary mismatch arises; users often utilize general or ambiguous terms while relevant documents employ domain-specific language, paraphrases, or emerging jargon. This mismatch is exacerbated by the lack of contextual information, which complicates the retrieval process. The paper outlines a comparative framework for deploying Query Expansion (QE) techniques, emphasizing the need to address these challenges in real-world applications.

The section further discusses the role of domain-specific and multilingual models in mitigating vocabulary mismatches. Specialized pre-training approaches, such as BioBERT and SciBERT, enhance entity resolution and concept linking in biomedical and scientific domains. Additionally, multilingual pre-trained language models (PLMs) facilitate cross-lingual QE by aligning semantically related terms across languages, allowing for effective bilingual and multilingual reformulations. The paper also reviews various application domains where QE is critical, highlighting the types of mismatches that need to be bridged and the evidence sources available for effective implementation. Finally, it notes deployment constraints, such as latency and the risk of hallucination, which influence the practical application of QE techniques.

Methods

The section on “Methods” discusses foundational concepts and traditional techniques for Query Expansion (QE), which aims to address vocabulary mismatches between user queries and relevant documents. It highlights corpus-wide statistical methods that infer term associations from the target corpus without explicit relevance judgments, primarily through document-level term co-occurrence. While these methods are simple and unsupervised, they exhibit biases favoring terms with similar document frequencies to the query term, making them less effective for high-frequency queries. Global approaches, such as creating a thesaurus of term similarities and employing Latent Semantic Analysis (LSA), enhance query expansion by identifying semantically related terms but may propagate generic terms due to their context-agnostic nature.

Additionally, the section covers methods utilizing pre-defined knowledge resources, such as general-purpose lexicons and domain ontologies, which provide explicit semantics to reduce ambiguity. While these resources can enhance precision in concept-level expansions, they face challenges related to static coverage and sense ambiguity, particularly for complex queries. Finally, it discusses data-driven methods leveraging query logs and user behavior, where implicit reformulations and successful interactions inform expansion candidates. Although these approaches are effective, they encounter issues like cold-start problems and privacy constraints. Overall, the section underscores the importance of balancing precision and context in query expansion methodologies.

Discussion

In the discussion section of the research paper, the authors explore the complexities of query expansion (QE) in information retrieval, emphasizing the need for both term addition and re-weighting to enhance recall while preserving user intent. They differentiate between global methods, which leverage corpus-wide statistical patterns and external knowledge, and local methods that rely on context-specific evidence from the top retrieved documents. The authors highlight traditional techniques such as relevance feedback (RF) and pseudo-relevance feedback (PRF), detailing their mathematical formulations and the challenges associated with each approach.

The section further elaborates on modern QE strategies that utilize pre-trained language models (PLMs) and large language models (LLMs). It categorizes these models into encoder-only, encoder-decoder, and decoder-only architectures, each with distinct advantages for QE tasks. For instance, encoder-only models like BERT excel in context-sensitive disambiguation, while encoder-decoder models like T5 facilitate direct generation of expansions. The authors also discuss the importance of training paradigms, including pre-training, instruction tuning, and alignment, which collectively enhance the models’ capabilities in generating relevant and contextually appropriate query expansions. The section concludes by outlining practical considerations for implementing QE techniques, emphasizing the need for effective integration of expansion signals and alignment with retrieval goals.

Limitations

The limitations of traditional query expansion (QE) techniques are primarily rooted in their reliance on surface-level lexical statistics and static knowledge structures, which fail to capture the complexities of dynamic, compositional semantics. This deficiency is evident in three key areas:

1. **Context Insensitivity**: Traditional methods, whether statistical or knowledge-based, lack the ability to account for context, leading to ambiguity in word sense resolution. For instance, systems like WordNet struggle to determine the correct meaning of a word in short queries, as they do not utilize surrounding terms effectively to inform their interpretations.

2. **Brittleness of Local Evidence**: Local methods, such as pseudo-relevance feedback (PRF), are prone to topic drift due to their treatment of documents as mere collections of co-occurring words. This approach can misinterpret the intent behind queries, such as “running shoes,” potentially shifting focus to broader topics like “shoes” if initial results are not relevant.

3. **Inability to Generalize**: Log-based methods, while effective in certain contexts, are limited in their capacity to generalize to novel queries. They depend on historical user behavior and specific query patterns, which renders them ineffective when faced with new combinations of terms that convey previously unseen intents.

These limitations highlight the need for advancements in QE methodologies, particularly those leveraging pre-trained language models (PLMs) and large language models (LLMs) that can learn contextual representations and facilitate more robust, evidence-aware expansion strategies.