DOI: https://doi.org/10.1109/tse.2026.3742453
تاريخ النشر: 2026-01-01
المؤلف: Fengjie Li وآخرون
الموضوع الرئيسي: أبحاث هندسة البرمجيات
نظرة عامة
تقدم هذه الورقة دراسة تجريبية شاملة تقيم كاشفات الثغرات المتخصصة المعتمدة على نماذج اللغة الكبيرة مقارنة بأدوات التحليل الثابت التقليدية على نطاق المشروع. تقيم الدراسة خمسة طرق متخصصة تعتمد على نماذج اللغة الكبيرة، وطريقتين عامتين، وأربعة أدوات تقليدية باستخدام معيار تحكم مكون من 265 ثغرة معروفة في C/C++ وJava، بالإضافة إلى 24 مشروع مفتوح المصدر نشط. تشير النتائج الرئيسية إلى أنه بينما تحقق الوكلاء العامون أعلى معدل استرجاع، إلا أنهم يواجهون صعوبات مع الشيفرات المعقدة، وتعاني كل من الطرق المعتمدة على نماذج اللغة الكبيرة والطرق التقليدية من نمذجة API غير المكتملة. علاوة على ذلك، تكشف التحليلات عن معدلات اكتشاف خاطئة مرتفعة في كلا الفئتين، مع تحديد أسباب الفشل المحددة، بما في ذلك السياق بين الإجراءات المقطوع وتصنيف نقاط البرنامج غير الصحيح.
تسلط الدراسة الضوء أيضًا على التكاليف الحسابية الكبيرة المرتبطة بالطرق المعتمدة على نماذج اللغة الكبيرة، حيث تصل استهلاك الرموز إلى مئات الآلاف إلى الملايين وتجاوز التكاليف التشغيلية 1,000 دولار. تؤكد النتائج على القيود الحرجة في القوة والموثوقية وقابلية التوسع لكاشفات الثغرات الحالية المعتمدة على نماذج اللغة الكبيرة، مما يبرز الحاجة إلى أبحاث مستقبلية لتطوير طرق أكثر فعالية وعملية لاكتشاف الثغرات على نطاق المشروع. تختتم الورقة بستة تداعيات تهدف إلى تعزيز دقة وموثوقية وفعالية التكلفة لهذه الأساليب الكشفية.
مقدمة
تسلط مقدمة الورقة الضوء على تزايد شدة الثغرات الأمنية بسبب التعقيد المتزايد لأنظمة البرمجيات، مما يستلزم الكشف التلقائي عن الثغرات في تطوير البرمجيات. يتم تصنيف طرق الكشف الحالية بشكل أساسي إلى تقنيات ثابتة وديناميكية، حيث تُفضل الأساليب الثابتة لتكاملها في خطوط أنابيب التكامل المستمر وقابلية التوسع. ومع ذلك، تعتمد الطرق الثابتة التقليدية بشكل كبير على القواعد والنماذج التي تم إنشاؤها يدويًا، والتي تتطلب جهدًا كبيرًا للصيانة ومحدودة في قدرتها على التعميم على أنواع الثغرات الجديدة. لقد أثارت التطورات الأخيرة في نماذج اللغة الكبيرة (LLMs) اهتمامًا في تطبيقها لاكتشاف الثغرات، حيث يمكنها تفسير دلالات الشيفرة والتفكير في المخاطر الأمنية بشكل أكثر فعالية من الطرق التقليدية.
تحدد الورقة الفجوات الرئيسية في البحث الحالي حول اكتشاف الثغرات المعتمدة على نماذج اللغة الكبيرة، بما في ذلك الحاجة إلى تقييمات منهجية عبر مشاريع العالم الحقيقي المتنوعة، وتحليلات شاملة لأسباب الإيجابيات الكاذبة، وتقييمات قابلية التوسع والعبء الحسابي. لمعالجة هذه الفجوات، يقدم المؤلفون دراسة تجريبية تقارن بين خمسة كاشفات ثغرات متخصصة تعتمد على نماذج اللغة الكبيرة مع المحللات الثابتة التقليدية عبر لغات برمجة متعددة وأنواع ثغرات مختلفة. تقيم الدراسة فعالية الكشف، وتحلل الأسباب الجذرية للإيجابيات الكاذبة، وتقيس التكاليف الحسابية المرتبطة بالطرق المعتمدة على نماذج اللغة الكبيرة. تكشف النتائج أنه بينما يمكن أن تكشف الأدوات المعتمدة على نماذج اللغة الكبيرة عن ثغرات فريدة، إلا أنها تظهر أيضًا معدلات اكتشاف خاطئة مرتفعة ومتطلبات حسابية كبيرة، مما يبرز الحاجة إلى تقنيات كشف أكثر كفاءة وفعالية في التطبيقات العملية.
طرق
في هذا القسم، يوضح المؤلفون تقييم طرق الكشف عن الثغرات المختلفة، مصنفين إياها إلى طرق متخصصة تعتمد على نماذج اللغة الكبيرة، ووكلاء عامين، وأدوات تحليل ثابت تقليدية. اختاروا خمسة طرق متخصصة تعتمد على نماذج اللغة الكبيرة، ووكيلين عامين، وأربعة أدوات تحليل ثابت تقليدية بناءً على معايير مثل التوفر العام، وقدرة تحليل نطاق المشروع، والقدرة على إنتاج تحذيرات ثغرات ملموسة. ومن الجدير بالذكر أن الطرق التي تعمل بشكل أساسي على مستوى الوظيفة أو تتطلب تكييفًا واسعًا مع إعدادات التقييم المحددة تم استبعادها من المقارنة المباشرة. تشمل الطرق المتخصصة التي تم تقييمها RepoAudit وKNighter وIRIS وLLMDFA وINFERROI، حيث تستخدم كل منها استراتيجيات مختلفة لاكتشاف الثغرات، مثل استكشاف المسارات ونمذجة API.
شمل الإعداد التجريبي استخدام نماذج LLM الأصلية والأحدث (GPT-5.4) لكل طريقة، مع التركيز على نمذجة API الخاصة بالمشروع لتعزيز قدرات الكشف. أظهرت النتائج أن الطرق المتخصصة المعتمدة على نماذج اللغة الكبيرة عمومًا أظهرت معدلات استرجاع منخفضة مقارنة بالأدوات التقليدية مثل CodeQL، التي أدت بشكل أفضل في اكتشاف الثغرات. حدد المؤلفون أن نمذجة API غير المكتملة واستكشاف المرشحين كانت عوامل مهمة تسهم في عدم الكشف. كما أظهروا أن توفير مواصفات API دقيقة يمكن أن يحسن بشكل كبير من معدل الاسترجاع عبر الطرق، على الرغم من استمرار القيود في سير عمل الكشف. بشكل عام، تؤكد النتائج على أهمية كل من نمذجة API الدقيقة وسير عمل الكشف الفعالة في تعزيز أداء أدوات الكشف عن الثغرات.
نقاش
يسلط النقاش حول الكشف عن الثغرات الثابتة الضوء على تطور الأدوات والمنهجيات التي تهدف إلى تحديد الثغرات البرمجية من خلال تحليل الشيفرة دون تنفيذ. تستخدم المحللات الثابتة التقليدية، مثل CodeQL وSemgrep وSpotBugs، تقنيات مثل مطابقة الأنماط وتحليل تدفق البيانات، لكن اعتمادها على القواعد والنماذج التي تم إنشاؤها يدويًا يحد من قدرتها على التكيف مع الثغرات الجديدة أو المتطورة. قدمت التطورات الأخيرة كاشفات تعتمد على التعلم ونماذج اللغة الكبيرة (LLM)، التي تستفيد من تقنيات مثل التحفيز المعزز بالسياق والتوليد المعزز بالاسترجاع (RAG) لتحسين قدرات الكشف. ومع ذلك، غالبًا ما تركز هذه الطرق الأحدث على تحليل مستوى الوظيفة بدلاً من التقييمات الشاملة على مستوى المشروع، مما يثير القلق بشأن فعاليتها في السيناريوهات الواقعية.
استكشفت الدراسات الحالية تطبيقات LLM في الكشف عن الثغرات، لكن العديد من التقييمات مقيدة بمقاطع شيفرة محددة حول الثغرات المعروفة، مما قد لا يعكس بدقة أداء الأدوات عبر أنظمة البرمجيات الكاملة. تقترح الورقة إطار تقييم منهجي لتقييم فعالية الطرق المعتمدة على نماذج اللغة الكبيرة في كل من الإعدادات الخاضعة للرقابة والواقعية، مع التركيز على أسئلة بحث رئيسية تتعلق بفعالية الكشف، والموثوقية، ومعدلات الإيجابيات الكاذبة، والعبء الحسابي. تستخدم الدراسة مجموعات بيانات منسقة من معايير مراجعة الأقران ومشاريع مفتوحة المصدر المدارة بنشاط لتوفير أساس قوي للتحليل. تشير النتائج الأولية إلى أنه بينما تظهر الطرق المعتمدة على نماذج اللغة الكبيرة وعدًا في اكتشاف الثغرات الفريدة، إلا أنها لا تزال تواجه تحديات في بيئات الشيفرة المعقدة، ويعيق نشرها العملي ارتفاع معدلات الاكتشاف الخاطئ.
DOI: https://doi.org/10.1109/tse.2026.3742453
Publication Date: 2026-01-01
Author(s): Fengjie Li et al.
Primary Topic: Software Engineering Research
Overview
This paper presents a comprehensive empirical study evaluating specialized LLM-based vulnerability detectors against traditional static analysis tools at the project scale. The study assesses five specialized LLM-based methods, two general-purpose agent methods, and four traditional tools using a controlled benchmark of 265 known vulnerabilities in C/C++ and Java, as well as 24 active open-source projects. Key findings indicate that while general-purpose agents achieve the highest recall, they struggle with complex code, and both LLM-based and traditional methods suffer from incomplete API modeling. Furthermore, the analysis reveals high false discovery rates in both categories, with specific failure causes identified, including truncated interprocedural context and incorrect program-point classification.
The study also highlights significant computational costs associated with LLM-based methods, with token consumption reaching hundreds of thousands to millions and operational costs exceeding $1,000. The findings underscore critical limitations in the robustness, reliability, and scalability of current LLM-based detectors, emphasizing the need for future research to develop more effective and practical project-scale vulnerability detection methods. The paper concludes with six implications aimed at enhancing the accuracy, reliability, and cost-effectiveness of these detection approaches.
Introduction
The introduction of the paper highlights the increasing severity of security vulnerabilities due to the growing complexity of software systems, necessitating automated vulnerability detection in software development. Existing detection methods are primarily categorized into static and dynamic techniques, with static approaches being favored for their integration into continuous integration pipelines and scalability. However, traditional static methods rely heavily on manually crafted rules and patterns, which are labor-intensive to maintain and limited in their ability to generalize to new vulnerability types. Recent advancements in Large Language Models (LLMs) have prompted interest in their application for vulnerability detection, as they can interpret code semantics and reason about security risks more effectively than traditional methods.
The paper identifies key gaps in the current research on LLM-based vulnerability detection, including the need for systematic evaluations across diverse real-world projects, comprehensive analyses of false positive causes, and assessments of scalability and computational overhead. To address these gaps, the authors present an empirical study comparing five specialized LLM-based vulnerability detectors with traditional static analyzers across multiple programming languages and vulnerability types. The study evaluates detection effectiveness, analyzes the root causes of false positives, and measures the computational costs associated with LLM-based methods. The findings reveal that while LLM-based tools can uncover unique vulnerabilities, they also exhibit high false discovery rates and significant computational demands, underscoring the need for more efficient and effective detection techniques in practical applications.
Methods
In this section, the authors detail the evaluation of various vulnerability detection methods, categorizing them into specialized LLM-based methods, general agents, and traditional static analysis tools. They selected five specialized LLM-based methods, two general agents, and four traditional static analysis tools based on criteria such as public availability, project-scale analysis capability, and the ability to produce concrete vulnerability warnings. Notably, methods that primarily operate at the function level or require extensive adaptation to specific evaluation settings were excluded from direct comparison. The specialized methods evaluated include RepoAudit, KNighter, IRIS, LLMDFA, and INFERROI, each employing different strategies for vulnerability detection, such as path exploration and API modeling.
The experimental setup involved using the original and the latest LLM models (GPT-5.4) for each method, with a focus on project-specific API modeling to enhance detection capabilities. Results indicated that specialized LLM-based methods generally exhibited low recall rates compared to traditional tools like CodeQL, which performed better in detecting vulnerabilities. The authors identified incomplete API modeling and candidate exploration as significant factors contributing to missed detections. They further demonstrated that providing accurate API specifications could substantially improve recall across methods, although limitations in detection workflows persisted. Overall, the findings underscore the importance of both accurate API modeling and effective detection workflows in enhancing the performance of vulnerability detection tools.
Discussion
The discussion on static vulnerability detection highlights the evolution of tools and methodologies aimed at identifying software vulnerabilities through code analysis without execution. Traditional static analyzers, such as CodeQL, Semgrep, and SpotBugs, utilize techniques like pattern matching and dataflow analysis, but their reliance on manually crafted rules and language-specific templates limits their adaptability to new or evolving vulnerabilities. Recent advancements have introduced learning-based and large language model (LLM)-based detectors, which leverage techniques like context-enhanced prompting and retrieval-augmented generation (RAG) to improve detection capabilities. However, these newer methods often focus on function-level analysis rather than comprehensive project-level assessments, raising concerns about their effectiveness in real-world scenarios.
Existing studies have explored LLM applications in vulnerability detection, but many evaluations are constrained to specific code fragments around known vulnerabilities, which may not accurately reflect the tools’ performance across entire software systems. The paper proposes a systematic evaluation framework to assess the effectiveness of LLM-based methods in both controlled and real-world settings, focusing on key research questions related to detection effectiveness, reliability, false positive rates, and computational overhead. The study utilizes curated datasets from peer-reviewed benchmarks and actively maintained open-source projects to provide a robust foundation for analysis. Initial findings suggest that while LLM-based methods show promise in detecting unique vulnerabilities, they still face challenges in complex code environments, and their practical deployment is hindered by high false discovery rates.