هل يمكن لنماذج اللغة الكبيرة اختراق الشبكات المؤسسية؟ — تقرير RCR Can LLMs Hack Enterprise Networks? — RCR Report

شارك:
المجلة: ACM Transactions on Software Engineering and Methodology
DOI: https://doi.org/10.1145/3800584
تاريخ النشر: 2026-03-05
المؤلف: Andreas Happe وآخرون
الموضوع الرئيسي: الصلابة ضد الهجمات في تعلم الآلة

نظرة عامة

يقدم تقرير نتائج الحسابات المكررة (RCR) للدراسة “هل يمكن لنماذج اللغة الكبيرة اختراق الشبكات المؤسسية؟” فحصًا تجريبيًا لأداء نماذج اللغة الكبيرة المختلفة (LLMs) في سياق اختبار الاختراق للشبكات المؤسسية، مع التركيز بشكل خاص على محاكاة اختراق Microsoft Active Directory. يوضح هذا التقرير العناصر المستخدمة في البحث الأصلي، ويحدد الإجراءات اللازمة لإنشاء إعداد التقييم، ويؤكد على نصوص التحليل المضمنة في النموذج الأولي المرافق.

تهدف النتائج إلى المساهمة في فهم قدرات نماذج اللغة الكبيرة في تطبيقات الأمن السيبراني، لا سيما في محاكاة الاختراقات المحتملة داخل البيئات المؤسسية.

نقاش

تقدم الورقة عدة مساهمات مهمة في مجال اختبار الاختراق الآلي، مع التركيز بشكل خاص على دمج نماذج اللغة الكبيرة (LLMs) ضمن هذا المجال. أولاً، تقدم نموذجًا أوليًا مستقلًا جديدًا، يسمى كوشيس، الذي يجري اختبارات اختراق معقدة على الشبكات المؤسسية الحية باستخدام Microsoft Active Directory. يهدف هذا النموذج الأولي إلى أتمتة المهام الأمنية التي تتطلب عادةً جهدًا بشريًا كبيرًا، مما يعزز الكفاءة في تقييمات أمان البرمجيات. ثانيًا، يقدم المؤلفون تقييمًا شاملاً لقدرات نماذج اللغة الكبيرة في سيناريوهات اختبار الاختراق في العالم الحقيقي، مع تسليط الضوء على نقاط قوتها وقيودها. يتم إجراء هذا التقييم في بيئة اختبار حية “فوضوية”، مما يعالج المخاوف بشأن فعالية البيئات الاختبارية الاصطناعية في تقييم تأثيرات الأمان.

علاوة على ذلك، تستخدم الدراسة نهجًا منهجيًا يجمع بين المقاييس الكمية والرؤى النوعية من خبراء الأمن، مما يعزز من صحة النتائج. يضمن التحقق من أنشطة النموذج الأولي مقابل أطر عمل الأمن السيبراني المعروفة، مثل MITRE ATT&CK، أن السلوكيات الملاحظة تستند إلى معايير معترف بها في الصناعة. ومن الجدير بالذكر أن هذه الدراسة هي الأولى التي تطبق نماذج اللغة الكبيرة ذات التفكير المتقدم على اختبار الاختراق الآلي، مما يشير إلى أن التقنيات والهياكل المستخدمة قابلة للتكيف مع مجالات متنوعة تتجاوز الأمن. كما توضح الورقة عملية النسخ للنموذج الأولي، بما في ذلك إعداد بيئة اختبار طرف ثالث والبنية التحتية اللازمة، مع توفير وثائق شاملة وعناصر لتسهيل المزيد من البحث والتحقق.

Journal: ACM Transactions on Software Engineering and Methodology
DOI: https://doi.org/10.1145/3800584
Publication Date: 2026-03-05
Author(s): Andreas Happe et al.
Primary Topic: Adversarial Robustness in Machine Learning

Overview

The Replicated Computational Results (RCR) Report for the study “Can LLMs Hack Enterprise Networks?” presents an empirical examination of the performance of various large language models (LLMs) in the context of penetration testing for enterprise networks, specifically focusing on Microsoft Active Directory Assumed-Breach Simulations. This report details the artifacts utilized in the original research, outlines the procedures for establishing an evaluation setup, and emphasizes the analysis scripts included in the accompanying prototype.

The findings aim to contribute to the understanding of LLMs’ capabilities in cybersecurity applications, particularly in simulating potential breaches within enterprise environments.

Discussion

The paper presents several significant contributions to the field of automated penetration testing, particularly focusing on the integration of large language models (LLMs) within this domain. Firstly, it introduces a novel autonomous prototype, named Cochise, which conducts complex penetration tests on live enterprise networks utilizing Microsoft Active Directory. This prototype aims to automate traditionally human-intensive security tasks, thereby enhancing efficiency in software security assessments. Secondly, the authors provide a thorough evaluation of LLM capabilities in real-world penetration testing scenarios, highlighting both their strengths and limitations. This evaluation is conducted in a “messy” live testing environment, addressing concerns regarding the efficacy of synthetic testbeds in evaluating security impacts.

Furthermore, the research employs a systematic approach that combines quantitative metrics with qualitative insights from security experts, thereby enriching the validity of the findings. The validation of the prototype’s activities against established cybersecurity frameworks, such as MITRE ATT&CK, ensures that the observed behaviors are grounded in recognized industry standards. Notably, this study is the first to apply advanced reasoning LLMs to automated penetration testing, suggesting that the techniques and architectures used are adaptable for various domains beyond security. The paper also details the replication process for the prototype, including the setup of a third-party testbed and the necessary infrastructure, while providing comprehensive documentation and artifacts to facilitate further research and validation.