DOI: https://doi.org/10.1145/3797114
تاريخ النشر: 2026-06-30
المؤلف: Juyeon Yoon وآخرون
الموضوع الرئيسي: أداء وموثوقية أنظمة البرمجيات
نظرة عامة
تقدم البحث Clotho، وهو مقياس جديد لملاءمة اختبار ما قبل التوليد مصمم لتقييم صعوبة المدخلات لنماذج اللغة الكبيرة (LLMs) دون الحاجة إلى توليد المخرجات. يستخدم Clotho نموذج خليط غاوسي (GMM) لتحليل الحالات المخفية لنماذج LLM، مما يسمح له بأخذ عينات بشكل تكيفي من أكثر المدخلات إفادة من مجموعة كبيرة من البيانات غير المعلّمة للتصنيف البشري. تمكن هذه الطريقة من تصنيف المدخلات غير المرئية بناءً على احتمال فشلها، محققةً درجة ROC-AUC قدرها 0.716 عبر ثمانية مهام مرجعية بينما تتطلب فقط تصنيفًا بشريًا لمتوسط 5.4% من المدخلات.
تشير النتائج إلى أن Clotho يعزز بشكل كبير من أولوية الاختبار، مما يزيد من متوسط عدد المدخلات الفاشلة المحددة من 18.7 إلى 42.5 من أصل 100 مقارنة بالاختيار العشوائي. علاوة على ذلك، فإن درجات الملاءمة المستمدة من نماذج LLM ذات الوزن المفتوح تنتقل بفعالية إلى النماذج الملكية، مما يوضح التطبيق الواسع لـ Clotho وكفاءته من حيث التكلفة في الاختبار. تشير الدراسة إلى أن مقاييس الملاءمة مثل Clotho يمكن أن تكون أداة أساسية للاختبار القابل للتوسع لأنظمة LLM، وكذلك للكشف عن الهلاوس والمدخلات العدائية. ستركز الأبحاث المستقبلية على تقييم Clotho مع مجموعة متنوعة من النماذج واستكشاف استراتيجيات أخذ عينات بديلة لتقليل جهود التصنيف بشكل أكبر.
مقدمة
تناقش مقدمة هذه الورقة البحثية التحديات المرتبطة باختبار نماذج اللغة الكبيرة (LLMs) حيث تتطور من توليد النصوص إلى مهام الاستدلال والتفكير الأكثر تعقيدًا. يبرز المؤلفون غموض نماذج LLM وغياب الحقيقة الأساسية المتاحة بسهولة للعديد من المهام، مما يعقد جهود التحقق. يهدفون إلى تعزيز الاختبار المحدد للمهام من خلال تطوير طريقة تعطي الأولوية للمدخلات للتصنيف، مما يسهل الكشف المبكر عن الفشل مع تقليل الجهد. يُلاحظ أن مقاييس ملاءمة الاختبار الحالية من الشبكات العصبية العميقة (DNNs) غير كافية لنماذج LLM بسبب الطبيعة الواسعة والمتنوعة لبيانات ما قبل التدريب الخاصة بها وضرورة تقييم الأداء المحدد للمهام.
لمعالجة هذه التحديات، يقدم المؤلفون Clotho، وهو مقياس ملاءمة ما قبل التوليد يستخدم حلقة تعلم نشطة لتوسيع مجموعة المدخلات المصنفة بشكل تكراري مع تقليل الاعتماد على الحقيقة الأساسية المكلفة. يستخدم Clotho نموذج خليط غاوسي (GMM) لتحليل الحالات المخفية من المدخلات المصنفة مسبقًا، مصنفًا المدخلات غير المرئية بناءً على احتمال إنتاجها لمخرجات صحيحة. تُظهر الطريقة قدرات تنبؤية قوية، محققةً ROC-AUC قدرها 0.716 بعد تصنيف 5.4% فقط من المدخلات، وتتفوق بشكل كبير على الاختيار العشوائي في تحديد الفشل في النماذج الملكية. توضح الورقة مساهمات Clotho، والتحقق التجريبي عبر مهام متعددة، وتوافقه مع مقاييس عدم اليقين بعد التوليد الحالية، مما يوفر في النهاية حلاً فعالاً من حيث التكلفة لاختبار LLM حتى مع الوصول المحدود إلى النماذج الملكية.
طرق
الإعداد التجريبي ضروري لفهم المنهجية المستخدمة في هذا البحث. يوضح الظروف والتكوينات المحددة التي أجريت فيها التجارب، بما في ذلك المعدات المستخدمة، والمعايير المقاسة، والبروتوكولات المتبعة. تهدف هذه القسم إلى ضمان إمكانية إعادة الإنتاج وتوفير إطار واضح لتفسير النتائج التي تم الحصول عليها.
قد تشمل المكونات الرئيسية للإعداد ترتيب الأدوات، وإجراءات المعايرة، والضوابط البيئية، التي تساهم مجتمعة في موثوقية البيانات المجمعة. من خلال تفصيل هذه الجوانب، يهدف المؤلفون إلى إنشاء أساس قوي للتحليل والنقاش اللاحق للنتائج، مما يعزز من صحة الدراسة بشكل عام.
نتائج
تُعرض نتائج التقييم في هذا القسم، مع تسليط الضوء على النتائج الرئيسية للدراسة. تُظهر التحليلات نتائج كبيرة تدعم الفرضيات المطروحة في البحث. يتم تقديم مقاييس مفصلة وتحليلات إحصائية لدعم النتائج، مما يبرز فعالية الطرق أو التدخلات المقترحة.
علاوة على ذلك، تكشف المقارنات مع المعايير الحالية عن تحسينات في الأداء، مما يبرز مساهمات هذا العمل في المجال. لا تؤكد النتائج فقط الإطار النظري ولكنها تقدم أيضًا تداعيات عملية للتطبيقات المستقبلية.
نقاش
يستكشف قسم النقاش في الورقة البحثية الحالات المخفية الداخلية لنماذج Transformer، مع التركيز بشكل خاص على كيفية انعكاس هذه الحالات لأنواع المهام وصعوبات المدخلات تحت التحفيز المحدد للمهام. تبحث الدراسة، المسماة Clotho، في ثلاثة أسئلة رئيسية: تمثيل المهام في حالات Transformer، القدرة على التمييز بين المدخلات الفاشلة والناجحة بناءً على هذه الحالات، وتحديد الطبقات التي تصف صعوبة المدخلات بشكل أفضل. تشير النتائج الأولية إلى أن الحالات المخفية يمكن أن توفر بالفعل رؤى حول تعقيد المهام، مع ملاحظة تجمعات متميزة في مساحة التمثيل الداخلي لمهام مختلفة. من الجدير بالذكر أن التحليل يكشف أن المدخلات التي تنتج مخرجات صحيحة تتجمع معًا بشكل وثيق، بينما تنحرف المدخلات الفاشلة بشكل كبير، مما يشير إلى أن الحالات المخفية يمكن أن تكون مؤشرات فعالة على ملاءمة الاختبار عند تحليلها ضمن مهام محددة.
توضح الورقة أيضًا المنهجية لاستخراج هذه الحالات المخفية ونمذجتها، مع التأكيد على أهمية اختيار الطبقة المناسبة والرمز للتحليل. تم تحديد حالات الإدخال المخفية للرمز الأخير (LIHS) على أنها مثالية لالتقاط المعلومات المحددة للمهام، خاصة من الطبقات المتوسطة إلى المتأخرة من بنية Transformer. يستخدم Clotho نموذج خليط غاوسي (GMM) لنمذجة توزيع LIHS من المدخلات الناجحة، مما يسمح بتقييم ملاءمة المدخلات بناءً على الانحراف التوزيعي. تختتم الدراسة بأن نهج Clotho، الذي يتكيف مع تعقيد توزيعات المدخلات، يتفوق على الطرق التقليدية في توقع معدلات نجاح المدخلات، مما يعزز عملية الاختبار لنماذج اللغة.
DOI: https://doi.org/10.1145/3797114
Publication Date: 2026-06-30
Author(s): Juyeon Yoon et al.
Primary Topic: Software System Performance and Reliability
Overview
The research introduces Clotho, a novel pre-generation test adequacy measure designed to evaluate the difficulty of inputs for Large Language Models (LLMs) without requiring output generation. Clotho employs a Gaussian Mixture Model (GMM) to analyze LLM hidden states, allowing it to adaptively sample the most informative inputs from a large pool of unlabelled data for human labeling. This approach enables the ranking of unseen inputs based on their likelihood of failure, achieving a ROC-AUC score of 0.716 across eight benchmark tasks while only requiring human labeling for an average of 5.4% of inputs.
The findings indicate that Clotho significantly enhances test prioritization, increasing the average number of identified failing inputs from 18.7 to 42.5 out of 100 compared to random selection. Furthermore, the adequacy scores derived from open-weight LLMs effectively transfer to proprietary models, demonstrating Clotho’s broad applicability and cost-efficiency in testing. The study suggests that pre-generation adequacy metrics like Clotho could serve as a foundational tool for scalable testing of LLM systems, as well as for detecting hallucinations and adversarial inputs. Future research will focus on evaluating Clotho with a wider variety of models and exploring alternative sampling strategies to further minimize labeling efforts.
Introduction
The introduction of this research paper discusses the challenges associated with testing Large Language Models (LLMs) as they evolve from text generation to more complex inference and reasoning tasks. The authors highlight the opacity of LLMs and the absence of readily available ground truth for many tasks, which complicates validation efforts. They aim to enhance task-specific testing by developing a method that prioritizes inputs for labeling, thereby facilitating earlier detection of failures with reduced effort. Existing test adequacy metrics from Deep Neural Networks (DNNs) are noted to be inadequate for LLMs due to the vast and heterogeneous nature of their pre-training data and the necessity of task-specific performance evaluation.
To address these challenges, the authors introduce Clotho, a pre-generation adequacy measure that employs an active learning loop to iteratively expand a labeled input set while minimizing reliance on costly ground truth. Clotho utilizes a Gaussian Mixture Model (GMM) to analyze hidden states from previously labeled inputs, ranking unseen inputs based on their likelihood of producing correct outputs. The method demonstrates strong predictive capabilities, achieving a ROC-AUC of 0.716 after labeling only 5.4% of inputs, and significantly outperforms random selection in identifying failures in proprietary models. The paper outlines the contributions of Clotho, its empirical validation across multiple tasks, and its compatibility with existing post-generation uncertainty measures, ultimately providing a cost-effective solution for LLM testing even with limited access to proprietary models.
Methods
The experimental setup is crucial for understanding the methodology employed in this research. It outlines the specific conditions and configurations under which the experiments were conducted, including the equipment used, the parameters measured, and the protocols followed. This section serves to ensure reproducibility and to provide a clear framework for interpreting the results obtained.
Key components of the setup may include the arrangement of instruments, calibration procedures, and environmental controls, which collectively contribute to the reliability of the data collected. By detailing these aspects, the authors aim to establish a robust foundation for the subsequent analysis and discussion of findings, thereby enhancing the overall validity of the study.
Results
The results of the evaluation are presented in this section, highlighting the key findings of the study. The analysis demonstrates significant outcomes that support the hypotheses posited in the research. Detailed metrics and statistical analyses are provided to substantiate the findings, showcasing the effectiveness of the proposed methods or interventions.
Furthermore, comparisons with existing benchmarks reveal improvements in performance, underscoring the contributions of this work to the field. The results not only validate the theoretical framework but also offer practical implications for future applications.
Discussion
The discussion section of the research paper explores the internal hidden states of Transformer models, specifically focusing on how these states reflect task types and input difficulties under task-specific prompting. The study, named Clotho, investigates three primary questions: the representation of tasks in Transformer states, the ability to distinguish between failing and passing inputs based on these states, and the identification of layers that best characterize input difficulty. Preliminary findings indicate that the hidden states can indeed provide insights into task complexity, with distinct clusters observed in the internal representation space of various tasks. Notably, the analysis reveals that inputs yielding correct outputs cluster closely together, while failing inputs deviate significantly, suggesting that hidden states can serve as effective indicators of test adequacy when analyzed within specific tasks.
The paper further details the methodology for extracting and modeling these hidden states, emphasizing the importance of selecting the appropriate layer and token for analysis. The Last-token Input Hidden States (LIHS) are identified as optimal for capturing task-specific information, particularly from the middle to late layers of the Transformer architecture. Clotho employs a Gaussian Mixture Model (GMM) to model the distribution of LIHS from passing inputs, allowing for the assessment of input adequacy based on distributional deviation. The study concludes that Clotho’s approach, which adapts to the complexity of input distributions, outperforms traditional methods in predicting input pass rates, thereby enhancing the testing process for language models.