مسح لحساب وقت الاختبار: من الاستدلال البديهي إلى التفكير المتعمد A Survey of Test-time Compute: From Intuitive Inference to Deliberate Reasoning

شارك:
المجلة: Computational Linguistics، المجلد: 52، العدد: 3
DOI: https://doi.org/10.1162/coli.a.629
تاريخ النشر: 2026-01-01
المؤلف: Yixin Ji وآخرون
الموضوع الرئيسي: نمذجة الموضوعات

نظرة عامة

تقدم هذه القسم نظرة عامة على البحث حول توسيع الحوسبة في وقت الاختبار، وخاصة تأثيره على تعزيز قدرات التفكير في النماذج المصنفة كنظام-1 ونظام-2. نموذج o1 يمثل كيف يمكن أن يؤدي توسيع الحوسبة في وقت الاختبار إلى تحسين كبير في التفكير المعقد، مما يشير إلى أن مثل هذه التعزيزات يمكن أن تسهل العمليات المعرفية المتقدمة المشابهة لتفكير نظام-2. يتتبع المؤلفون تطور الحوسبة في وقت الاختبار من تطبيقها في نماذج نظام-1، حيث تعالج التحولات في التوزيع وتعزز القوة من خلال تقنيات مثل تحديث المعلمات ومعايرة المخرجات، إلى دورها في نماذج نظام-2، التي تستفيد من أخذ عينات متكررة والتصحيح الذاتي لمعالجة المشكلات المعقدة.

تم هيكلة الاستطلاع ليعكس التقدم من التفكير في نظام-1 إلى التفكير في نظام-2، مع التأكيد على الوظيفة الحيوية للحوسبة في وقت الاختبار في هذا الانتقال. كما يحدد المؤلفون مواضيع متقدمة واتجاهات بحث مستقبلية محتملة، مشيرين إلى أن الحوسبة في وقت الاختبار تحمل وعدًا لتحسين أداء نماذج اللغة الكبيرة (LLMs) في التنقل عبر المهام والتوزيعات المعقدة في العالم الحقيقي. تعيد الخاتمة التأكيد على أهمية هذا الاستطلاع في تعزيز المزيد من الاستكشاف في هذا المجال، بهدف دفع نماذج اللغة الكبيرة نحو تحقيق الذكاء المعرفي.

مقدمة

تسلط مقدمة الورقة الضوء على التقدم الكبير في الذكاء الاصطناعي المدفوع بالتعلم العميق، وخاصة من خلال نماذج اللغة الكبيرة (LLMs) مثل سلسلة GPT. بينما أظهرت هذه النماذج أن زيادة الحجم وبيانات التدريب تعزز الأداء في مهام متنوعة، لا تزال هناك تحديات في التوسع بسبب البيانات المحدودة والموارد الحاسوبية. علاوة على ذلك، غالبًا ما تكافح النماذج الحالية مع القوة والتفكير المعقد، معتمدة بشكل أساسي على التفكير السريع والحدسي لنظام-1 بدلاً من التفكير الأكثر تعمدًا لنظام-2. قدمت التطورات الأخيرة في نماذج التفكير الكبيرة (LRMs) آليات للتفكير في نظام-2، مما يظهر أداءً محسنًا في مهام التفكير المعقد من خلال جهود حاسوبية معززة أثناء الاستدلال.

تؤكد الورقة على قيود نماذج نظام-1، التي تقيدها اعتمادها على الأنماط المتعلمة وتفتقر إلى القدرة على التعميم بفعالية على توزيعات جديدة. تم استكشاف التكيف في وقت الاختبار (TTA) لتحسين القوة، لكنه لا يزال يقصر عن تحقيق التفكير الحقيقي في نظام-2. سمح إدخال تحفيز سلسلة الأفكار (CoT) لنماذج اللغة الكبيرة بالمشاركة في تفكير أكثر وضوحًا، ومع ذلك لا تزال هذه النماذج تواجه مشكلات مثل تراكم الأخطاء وأنماط التفكير الخطية. للتقدم من التفكير الضعيف إلى التفكير القوي في نظام-2، يقترح المؤلفون استراتيجيات مختلفة للحوسبة في وقت الاختبار، بما في ذلك أخذ عينات متكررة، وتصحيح ذاتي، والبحث الشجري، والتي تهدف إلى تعزيز عرض وعمق ودقة تفكير النموذج. تهدف هذه الورقة إلى مراجعة منهجية لهذه الطرق ودورها في انتقال النماذج من نظام-1 إلى أشكال أقوى من التفكير في نظام-2، مما يمهد الطريق لمزيد من الاستكشاف في الأقسام التالية.

مناقشة

تسلط المناقشة حول التكيف في وقت الاختبار (TTA) لتفكير نظام-1 ونظام-2 الضوء على نهجين رئيسيين: تحديث النموذج والتفكير في وقت الاختبار. تحديث النموذج، الذي يقوم بضبط معلمات النموذج أثناء الاستدلال، يستفيد من معلومات عينة الاختبار للتكيف مع التحولات في التوزيع. تعتمد هذه العملية على إشارات التعلم، التي يمكن أن تُشتق من الأهداف غير المشروطة أو شبه المشروطة. تم تحديد استراتيجيتين رئيسيتين: التدريب في وقت الاختبار (TTT)، الذي يعدل عملية التدريب لتضمين مهام مساعدة، والتكيف الكامل في وقت الاختبار (FTTA)، الذي يستخدم التغذية الراجعة من عينات الاختبار دون تغيير إطار التدريب. تشمل إشارات التعلم الفعالة مقاييس عدم اليقين، مثل تقليل الانتروبيا، وتغذية راجعة من البشر، على الرغم من أن التحديات مثل عدم استقرار التدريب والكفاءة لا تزال قائمة، خاصة في نماذج اللغة الكبيرة (LLMs).

على النقيض من ذلك، يركز التفكير في وقت الاختبار على عملية استدلال أكثر تعمدًا، باستخدام نمذجة التغذية الراجعة واستراتيجيات البحث لتعزيز قدرات التفكير. يمكن أن تكون نمذجة التغذية الراجعة قائمة على الدرجات، حيث يتم تقييم صحة المخرجات الناتجة، أو قائمة على التوليد، حيث تنتقد نماذج اللغة الكبيرة مخرجاتها. تهدف استراتيجيات البحث، بما في ذلك أخذ عينات متكررة وطرق التحقق، إلى تحسين دقة الاستجابات الناتجة. تُستخدم تقنيات مثل التصويت بالأغلبية وأفضل من N في أخذ العينات لتحسين المخرجات، بينما تمكّن آليات التصحيح الذاتي من التعديلات التكرارية بناءً على مصادر تغذية راجعة متنوعة. بشكل عام، تهدف دمج هذه الأساليب إلى تعزيز قابلية التكيف وأداء التفكير للنماذج في التطبيقات الواقعية.

Journal: Computational Linguistics, Volume: 52, Issue: 3
DOI: https://doi.org/10.1162/coli.a.629
Publication Date: 2026-01-01
Author(s): Yixin Ji et al.
Primary Topic: Topic Modeling

Overview

This section provides an overview of the research on test-time compute scaling, particularly its impact on enhancing reasoning capabilities in models categorized as System-1 and System-2. The o1 model exemplifies how scaling compute at test time can significantly improve complex reasoning, suggesting that such enhancements can facilitate advanced cognitive processes akin to System-2 thinking. The authors trace the evolution of test-time compute from its application in System-1 models, where it addresses distribution shifts and bolsters robustness through techniques like parameter updating and output calibration, to its role in System-2 models, which leverage repeated sampling and self-correction to tackle intricate problems.

The survey is structured to reflect the progression from System-1 to System-2 thinking, emphasizing the critical function of test-time compute in this transition. The authors also identify advanced topics and potential future research directions, positing that test-time compute holds promise for improving the performance of large language models (LLMs) in navigating complex real-world tasks and distributions. The conclusion reiterates the importance of this survey in fostering further exploration in the field, aiming to advance LLMs toward achieving cognitive intelligence.

Introduction

The introduction of the paper highlights the significant advancements in artificial intelligence driven by deep learning, particularly through large language models (LLMs) like the GPT series. While these models have shown that increased size and training data enhance performance on various tasks, challenges remain in scaling due to limited data and computational resources. Moreover, existing models often struggle with robustness and complex reasoning, primarily relying on fast, intuitive System-1 thinking rather than the more deliberate System-2 thinking. Recent developments in large reasoning models (LRMs) have introduced mechanisms for System-2 thinking, demonstrating improved performance in complex reasoning tasks through enhanced computational efforts during inference.

The paper emphasizes the limitations of System-1 models, which are constrained by their reliance on learned patterns and lack the ability to generalize effectively to new distributions. Test-time adaptation (TTA) has been explored to improve robustness, but it still falls short of achieving true System-2 thinking. The introduction of chain-of-thought (CoT) prompting has allowed LLMs to engage in more explicit reasoning, yet these models still face issues such as error accumulation and linear thinking patterns. To advance from weak to strong System-2 thinking, the authors propose various test-time compute strategies, including repeated sampling, self-correction, and tree search, which aim to enhance the breadth, depth, and accuracy of model reasoning. This paper aims to systematically review these methods and their role in transitioning models from System-1 to stronger forms of System-2 thinking, setting the stage for further exploration in subsequent sections.

Discussion

The discussion on test-time adaptation (TTA) for System-1 and System-2 thinking highlights two primary approaches: model updating and test-time reasoning. Model updating, which fine-tunes model parameters during inference, leverages test sample information to adapt to distribution shifts. This process relies on learning signals, which can be derived from unsupervised or self-supervised objectives. Two main strategies are identified: test-time training (TTT), which modifies the training process to incorporate auxiliary tasks, and fully test-time adaptation (FTTA), which utilizes feedback from test samples without altering the training framework. Effective learning signals include uncertainty measures, such as entropy minimization, and human feedback, although challenges such as training instability and efficiency remain, particularly in large language models (LLMs).

In contrast, test-time reasoning emphasizes a more deliberate inference process, utilizing feedback modeling and search strategies to enhance reasoning capabilities. Feedback modeling can be score-based, evaluating the correctness of generated outputs, or generative-based, where LLMs critique their outputs. Search strategies, including repeated sampling and verification methods, aim to improve the accuracy of generated responses. Techniques like majority voting and best-of-N sampling are employed to refine outputs, while self-correction mechanisms enable iterative revisions based on various feedback sources. Overall, the integration of these approaches aims to enhance the adaptability and reasoning performance of models in real-world applications.