DOI: https://doi.org/10.1007/s00766-026-00460-1
تاريخ النشر: 2026-05-19
المؤلف: Nouf Alturayeif وآخرون
الموضوع الرئيسي: أبحاث هندسة البرمجيات
نظرة عامة
يقدم القسم نظرة عامة على البحث حول تتبع المتطلبات، مع التأكيد على دوره الحاسم في الحفاظ على سلامة النظام طوال دورة حياة تطوير البرمجيات (SDLC). يتم وصف الطرق التقليدية لإنشاء روابط التتبع بأنها كثيفة العمالة وعرضة للأخطاء، مما يؤدي إلى استكشاف نماذج اللغة الكبيرة (LLMs) كحل محتمل. يقدم البحث TraceLLM، وهو إطار عمل منهجي يعزز تتبع المتطلبات من خلال هندسة المطالبات واختيار العروض. تشمل المنهجية تقسيم مجموعة البيانات بشكل صارم، وتحسين المطالبات بشكل تكراري، والتقييم عبر نماذج LLMs المختلفة ومجموعات البيانات المرجعية من مجالات متنوعة، محققة درجات F2 متطورة تتجاوز المعايير التقليدية لاسترجاع المعلومات والنهج السابقة لـ LLM.
يعترف المؤلفون بحدود منهجيتهم، مشيرين إلى أنه بينما يوفر TraceLLM نهجًا منظمًا لتحسين المطالبات، فإنه لا يزال حساسًا للصياغة والقرارات الذاتية. يؤكدون على أهمية التحسين التكراري والتقييمات المقارنة للتخفيف من الذاتية ويقدمون النتائج بمتوسط والانحراف المعياري لأخذ النتائج غير الحتمية لنماذج LLM في الاعتبار. يستنتج البحث أن TraceLLM يظهر إمكانيات نماذج LLM المصممة بشكل جيد كأدوات فعالة لتتبع البرمجيات الآلي، خاصة في إعدادات القليل من الأمثلة. تشمل اتجاهات البحث المستقبلية تقييم TraceLLM في بيئات المشاريع الديناميكية، واستكشاف تقنيات المطالبات المتقدمة، وتوسيع التقييمات لتشمل مجموعات بيانات صناعية ونطاق أوسع من أنواع القطع الأثرية لتعزيز قابلية توسيع الإطار ومرونته.
مقدمة
تناقش مقدمة البحث الأهمية الحاسمة لتتبع المتطلبات في تطوير البرمجيات، لا سيما في المجالات المعقدة والحساسة مثل الفضاء، والرعاية الصحية، والمالية. يسمح تتبع المتطلبات بتتبع العلاقات بين المتطلبات ومختلف القطع الأثرية البرمجية طوال دورة حياة تطوير البرمجيات (SDLC)، مما يسهل المهام الأساسية مثل تحليل تأثير التغيير والتحقق من الامتثال. على الرغم من أهميته، تظل العملية كثيفة العمالة وعرضة للأخطاء، خاصة في المشاريع الكبيرة، بسبب قيود الطرق التقليدية وطرق التعلم الآلي التقليدية.
يسلط البحث الضوء على إمكانيات نماذج اللغة الكبيرة (LLMs) في أتمتة تتبع المتطلبات من خلال الاستفادة من قدرتها على التقاط العلاقات المعقدة من خلال تضمينات سياقية عميقة. ومع ذلك، لا تزال التحديات قائمة في تحسين تقنيات المطالبات واستراتيجيات اختيار العروض (DSSs) عبر نماذج LLM المختلفة وأنواع القطع الأثرية. يقدم هذا البحث TraceLLM، وهو نهج جديد يهدف إلى تعزيز تتبع المتطلبات الآلي من خلال هندسة المطالبات الفعالة. يهدف البحث إلى استكشاف وتحديد المطالبات الفعالة لهذا الغرض بشكل منهجي، مما يساهم في إنشاء منهجية موحدة، ومطالبات مصممة لاكتشاف روابط التتبع، وتقييم شامل عبر عدة نماذج LLM ومجموعات بيانات. من المتوقع أن تقدم النتائج تقدمًا في مجال تتبع المتطلبات الآلي وتوفر أساسًا للبحوث المستقبلية.
الطرق
في هذه الدراسة، نقدم منهجية من أربع مراحل، تُسمى TraceLLM، لتصميم وتقييم المطالبات بشكل تكراري بهدف تعزيز تتبع البرمجيات باستخدام نماذج اللغة الكبيرة (LLMs). تشمل المراحل تقسيم مجموعة البيانات، وتصميم المطالبات الأساسية، وإثراء المطالبات، والتقييم. يعمل هذا النهج المنظم كدليل لهندسة المطالبات، والتي هي بطبيعتها تكرارية وتتطلب مشاركة بشرية. حاليًا، لا توجد طريقة مثبتة لضمان اكتشاف مطالبة مثالية عالميًا. تشبه العملية هندسة الميزات أو تصميم الهيكل العصبي في التعلم الآلي والتعلم العميق، معتمدة على التقييم التجريبي، وخبرة المجال، والتحسين التكراري بناءً على السلوك الملحوظ للنموذج.
بالإضافة إلى ذلك، يحدد القسم إعداد التجربة المستخدم في البحث، موضحًا التكوين وممارسات الإبلاغ المطبقة لضمان الشفافية وإمكانية التكرار. تلتزم هذه الممارسات بالإرشادات الناشئة للدراسات التجريبية التي تشمل نماذج LLM، مما يساهم في صرامة وموثوقية النتائج المقدمة.
النتائج
يقدم قسم النتائج والمناقشة بشكل منهجي ويحلل النتائج المتعلقة بكل سؤال بحث تم طرحه في الدراسة. يتم وضع النتائج في سياق الأدبيات الموجودة، مع تسليط الضوء على الأنماط والاتجاهات المهمة التي لوحظت في البيانات. يتم مناقشة النتائج الرئيسية بالتفصيل، مع التأكيد على آثارها وأهميتها للأهداف البحثية العامة.
تكشف التحليلات عن رؤى حاسمة تساهم في فهم الظواهر المدروسة، مع إيلاء اهتمام خاص للأهمية الإحصائية للنتائج. يختتم القسم بالتفكير في الآثار الأوسع للنتائج، مقترحًا طرقًا للبحث المستقبلي والتطبيقات المحتملة في المجال المعني.
المناقشة
تصنف قسم المناقشة في البحث الأبحاث الحالية حول تتبع المتطلبات الآلي إلى خمس مجموعات موضوعية: طرق استرجاع المعلومات (IR)، نماذج التعلم الآلي التقليدية (ML)، نهج التعلم العميق (DL)، نماذج اللغة المدربة مسبقًا، والتعلم في السياق (ICL) مع نماذج اللغة الكبيرة (LLMs). يبرز كل فئة تطور التقنيات، من طرق IR المبكرة التي واجهت صعوبات في العلاقات الدلالية إلى نماذج DL المتقدمة مثل شبكات LSTM والنماذج المدربة مسبقًا المعتمدة على المحولات مثل BERT وRoBERTa، التي أظهرت أداءً محسنًا في مهام التتبع. من الجدير بالذكر أنه بينما يمكن للنماذج المدربة مسبقًا الاستفادة من مجموعات بيانات كبيرة للتدريب الدقيق، فإنها غالبًا ما تتطلب بيانات موسومة كبيرة، مما يمكن أن يكون قيدًا في سياقات التتبع.
يؤكد البحث على إمكانيات ICL مع LLMs، التي تستخدم هندسة المطالبات لتعزيز التتبع دون الحاجة إلى إعادة تدريب شاملة. ينتقد الدراسات السابقة لنطاقها المحدود، حيث تركز غالبًا على نماذج فردية أو مجالات محددة، ويبرز الحاجة إلى هندسة مطالبات صارمة وتقييم شامل عبر نماذج ومهام متنوعة. يقترح المؤلفون منهجية تقييم منهجية، تُسمى Tra-ceLLM، التي تعالج هذه الفجوات من خلال تنفيذ استراتيجيات تقسيم مجموعة بيانات قوية، واستكشاف تصميم المطالبات، وتقييم تعميم المطالبات عبر نماذج LLM ومجموعات بيانات مختلفة. تهدف هذه الدراسة إلى تقديم فهم أكثر شمولاً لكيفية تأثير جودة المطالبات واستراتيجيات اختيار العروض بشكل كبير على أداء نماذج LLM في مهام التتبع الآلي.
DOI: https://doi.org/10.1007/s00766-026-00460-1
Publication Date: 2026-05-19
Author(s): Nouf Alturayeif et al.
Primary Topic: Software Engineering Research
Overview
The section presents an overview of the research on requirements traceability, emphasizing its critical role in maintaining system integrity throughout the Software Development Life Cycle (SDLC). Traditional methods for establishing trace links are described as labor-intensive and prone to errors, leading to the exploration of Large Language Models (LLMs) as a potential solution. The paper introduces TraceLLM, a systematic framework that enhances requirements traceability through prompt engineering and demonstration selection. The methodology includes rigorous dataset splitting, iterative prompt refinement, and evaluation across various LLMs and benchmark datasets from diverse domains, achieving state-of-the-art F2 scores that surpass traditional information retrieval baselines and prior LLM approaches.
The authors acknowledge the limitations of their methodology, noting that while TraceLLM provides a structured approach to prompt refinement, it remains sensitive to phrasing and subjective decisions. They emphasize the importance of iterative refinement and comparative evaluations to mitigate subjectivity and report results with mean and standard deviation to account for non-deterministic outputs of LLMs. The study concludes that TraceLLM demonstrates the potential of prompt-engineered LLMs as effective tools for automated software traceability, particularly in few-shot settings. Future research directions include evaluating TraceLLM in dynamic project environments, exploring advanced prompting techniques, and expanding evaluations to industrial datasets and a broader range of artifact types to enhance the framework’s scalability and adaptability.
Introduction
The introduction of the paper discusses the critical importance of requirements traceability in software development, particularly in complex and safety-critical domains such as aerospace, healthcare, and finance. Requirements traceability allows for the tracking of relationships between requirements and various software artifacts throughout the Software Development Life-Cycle (SDLC), facilitating essential tasks like change impact analysis and compliance validation. Despite its significance, the process remains labor-intensive and prone to errors, especially in large-scale projects, due to the limitations of traditional methods and conventional machine learning approaches.
The paper highlights the potential of Large Language Models (LLMs) in automating requirements traceability by leveraging their ability to capture complex relationships through deep contextual embeddings. However, challenges persist in optimizing prompting techniques and demonstration selection strategies (DSSs) across different LLMs and artifact types. This study introduces TraceLLM, a novel approach aimed at enhancing automated requirements traceability through effective prompt engineering. The research aims to systematically explore and identify effective prompts for this purpose, contributing to the establishment of a standardized methodology, tailored prompts for detecting trace links, and a comprehensive evaluation across multiple LLMs and datasets. The findings are expected to advance the field of automated requirements traceability and provide a foundation for future research.
Methods
In this study, we introduce a four-stage methodology, termed TraceLLM, for the iterative design and evaluation of prompts aimed at enhancing software traceability using large language models (LLMs). The stages include dataset splitting, core prompt design, prompt enrichment, and evaluation. This structured approach serves as a guide for prompt engineering, which is inherently iterative and requires human involvement. Currently, there is no established method to ensure the discovery of a globally optimal prompt. The process is akin to feature engineering or neural architecture design in machine learning and deep learning, relying on empirical evaluation, domain expertise, and iterative refinement based on the observed behavior of the model.
Additionally, the section outlines the experimental setup utilized in the research, detailing the configuration and reporting practices implemented to ensure transparency and reproducibility. These practices adhere to emerging guidelines for empirical studies involving LLMs, thereby contributing to the rigor and reliability of the findings presented.
Results
The Results and Discussion section systematically presents and analyzes the findings corresponding to each research question posed in the study. The results are contextualized within the framework of existing literature, highlighting significant patterns and trends observed in the data. Key findings are discussed in detail, emphasizing their implications and relevance to the overarching research objectives.
The analysis reveals critical insights that contribute to the understanding of the studied phenomena, with particular attention given to the statistical significance of the results. The section concludes by reflecting on the broader implications of the findings, suggesting avenues for future research and potential applications in the relevant field.
Discussion
The discussion section of the paper categorizes existing research on automated requirements traceability into five thematic groups: Information Retrieval (IR) methods, conventional Machine Learning (ML) models, Deep Learning (DL) approaches, pretrained language models, and in-context learning (ICL) with Large Language Models (LLMs). Each category highlights the evolution of techniques, from early IR methods that struggled with semantic relationships to advanced DL models like LSTM networks and transformer-based pretrained models such as BERT and RoBERTa, which have shown improved performance in traceability tasks. Notably, while pretrained models can leverage large datasets for fine-tuning, they often require substantial labeled data, which can be a limitation in traceability contexts.
The paper emphasizes the potential of ICL with LLMs, which utilize prompt engineering to enhance traceability without the need for extensive retraining. It critiques previous studies for their limited scope, often focusing on single models or specific domains, and highlights the need for rigorous prompt engineering and comprehensive evaluation across various models and tasks. The authors propose a systematic evaluation methodology, termed Tra-ceLLM, which addresses these gaps by implementing robust dataset splitting strategies, exploring prompt design, and assessing the generalization of prompts across different LLMs and datasets. This study aims to provide a more comprehensive understanding of how prompt quality and demonstration selection strategies can significantly impact the performance of LLMs in automated traceability tasks.
