DOI: https://doi.org/10.1007/s10515-026-00621-0
تاريخ النشر: 2026-05-04
المؤلف: Siamak Farshidi وآخرون
الموضوع الرئيسي: أبحاث هندسة البرمجيات
نظرة عامة
تقدم هذه القسم نظرة عامة على مجال البحث الناشئ في الذكاء الاصطناعي لهندسة البرمجيات البحثية (AI4RSE)، الذي يركز على دمج الذكاء الاصطناعي في دورة حياة تطوير البرمجيات البحثية. تم تحليل دراسة تجريبية لأكثر من 1,500 مستودع برمجيات بحثية مفتوحة المصدر على Zenodo، وتصنيفها بناءً على نضج هندسة البرمجيات ودمج الذكاء الاصطناعي باستخدام نموذج رباعي الأبعاد. تكشف النتائج عن مشهد متنوع من ممارسات التطوير، حيث لا يزال جزء كبير من المشاريع في مراحل غير رسمية، بينما يظهر حوالي 18% ممارسات هندسية متقدمة مصحوبة بدمج كبير للذكاء الاصطناعي. وهذا يشير إلى أن البرمجيات البحثية المعززة بالذكاء الاصطناعي المستدامة والقابلة للتكرار ممكنة.
تحدد الدراسة أيضًا التحديات الحرجة، مثل المخاطر على القابلية للتكرار وقضايا الترخيص، إلى جانب الفرص لتحسينات في الاختبار والتوثيق من خلال الذكاء الاصطناعي. يدعو المؤلفون إلى نهج منسق بين أصحاب المصلحة لمعالجة هذه التحديات وتعزيز اعتماد الذكاء الاصطناعي المسؤول في تطوير البرمجيات البحثية. تشمل اتجاهات البحث المستقبلية دراسات طولية لتطور المشاريع، ومقارنات مع قواعد التعليمات البرمجية الخاصة بالمجالات، وإنشاء معايير لتقييم تأثير الذكاء الاصطناعي على جودة البرمجيات والامتثال لمبادئ FAIR للبرمجيات البحثية (FAIR4RS).
مقدمة
تسلط مقدمة الورقة الضوء على الاعتماد المتزايد للبحث العلمي على البرمجيات المعقدة لجمع البيانات، والتجريب، والتحليل، مما يطرح تحديات في تطوير البرمجيات، والصيانة، والتحقق. يوفر ظهور الذكاء الاصطناعي (AI) وأدوات الذكاء الاصطناعي التوليدي (GenAI)، مثل GitHub Copilot وChatGPT، فرصًا لتسريع تطوير البرمجيات وزيادة الوصول لغير الخبراء. ومع ذلك، فإن دمج هذه الأدوات في ممارسات هندسة البرمجيات البحثية التقليدية يثير أسئلة حرجة تتعلق بجودة البرمجيات، والمخاطر، والآثار على القابلية للتكرار والأصل.
لمعالجة هذه التحديات، يقترح المؤلفون مجال بحث جديد يسمى الذكاء الاصطناعي لهندسة البرمجيات البحثية (AI4RSE)، الذي يبحث في تأثير تقنيات الذكاء الاصطناعي على عمليات ونتائج تطوير البرمجيات العلمية. يقومون بتحليل مجموعة بيانات مختارة من 1,512 مستودع برمجيات بحثية لتقييم الاتجاهات في دمج الذكاء الاصطناعي ونضج هندسة البرمجيات، باستخدام نموذج رباعي يصنف أنماط التطوير بناءً على هذه الأبعاد. تهدف الدراسة إلى تأسيس AI4RSE كمجال رسمي بين التخصصات، موضحة أجندة بحثية تعالج التحديات الرئيسية مثل دمج GenAI المستدام، وبنية القابلية للتكرار، والحوكمة والأخلاقيات، مما يعزز الشفافية والدقة العلمية في المشهد المتطور لهندسة البرمجيات البحثية.
الطرق
في هذا القسم، يصف المؤلفون خط أنابيب تحليل متعدد المراحل يعتمد على البيانات مصمم لتفعيل ربع AI4RSE والتحقيق في التطور المشترك لأدوات الذكاء الاصطناعي، ومبادئ FAIR، ونضج هندسة البرمجيات ضمن السياقات البحثية. تتضمن المنهجية تنسيق ومعالجة وتحليل أكثر من 1,500 مستودع برمجيات بحثية مفتوحة من عصر GenAI.
يتكون خط أنابيب التحليل من أربع مراحل رئيسية: (1) جمع المستودعات، حيث يتم جمع المستودعات البرمجية ذات الصلة؛ (2) الربط بالمواد التطويرية، الذي يربط المستودعات بالمواد التطويرية المرتبطة بها؛ (3) استخراج الميزات، حيث يتم تحديد الخصائص المحددة للمستودعات؛ و(4) التصنيف التحليلي، الذي ينظم الميزات المستخرجة لمزيد من التحليل. توفر الشكل 3 نظرة عامة عالية المستوى عن هذا النهج المنظم.
النتائج
في هذا القسم، يقدم المؤلفون نتائج تجريبية من تحليل 1,512 مستودع برمجيات بحثية، مرتبة حول أربعة محاور تقييم: نضج هندسة البرمجيات، وFAIRness، واستخدام كود الذكاء الاصطناعي، واعتماد AIOps/MLOps. تم تصنيف المستودعات إلى أربعة أوضاع تطوير: AI4RSE، RSE، Vibe Coding، وExploratory Coding. من الجدير بالذكر أن أكثر من نصف المستودعات (55.5%، n=840) تم تصنيفها كـ Exploratory Coding، والتي تتميز بنقص في التوثيق، والترخيص، والاختبار الآلي، مما يتماشى مع الدراسات السابقة حول ممارسات الترميز العلمية. بالمقابل، تم تحديد حوالي ثلث (33%، n=504) على أنها RSE أو AI4RSE، مما يشير إلى أن الممارسات الهندسية المنضبطة يمكن أن تعزز سير العمل المدعوم بالذكاء الاصطناعي.
يكشف التحليل الرباعي عن ثلاثة أنماط مهمة: أولاً، وجود كود مولد بواسطة الذكاء الاصطناعي دون دعم هندسي قوي يؤدي إلى مخرجات هشة، خاصة في ربع Vibe Coding (11.1%، n=168)، الذي أظهر أعلى استخدام لكود الذكاء الاصطناعي ولكن أدنى درجات لخطوط أنابيب CI/CD واكتمال البيانات الوصفية. ثانيًا، يتوافق التوافق مع مبادئ FAIR مع نشاط المشروع المستدام، حيث تميل المستودعات التي تحتوي على تراخيص وبيانات وصفية غنية إلى أن يكون لها تاريخ تطوير أطول ومشاركة أكبر من المجتمع، مما يشير إلى حلقة تغذية راجعة إيجابية بين الانفتاح والاستدامة. أخيرًا، بينما تظهر ممارسات AI4RSE، إلا أنها توجد بشكل رئيسي في مجالات محددة مثل المعلوماتية الحيوية وعلوم المناخ، حيث أن 17.9% فقط (n=270) من المستودعات تلبي عتبات عالية لكل من استخدام الذكاء الاصطناعي ونضج الهندسة.
المناقشة
تحدد قسم المناقشة في ورقة البحث أربعة أوضاع متميزة من تطوير البرمجيات في سياق البحث: Exploratory Coding، Vibe Coding، هندسة البرمجيات البحثية (RSE)، وAI4RSE. تمثل Exploratory Coding وVibe Coding ممارسات تطوير غير رسمية وعشوائية، غالبًا ما تفتقر إلى التوثيق والاختبار المنظم. في المقابل، تطبق RSE مبادئ هندسية منهجية على البرمجيات العلمية، بينما يدمج AI4RSE هذه الممارسات مع قدرات الذكاء الاصطناعي التوليدي، مما يعزز الالتزام بالعلوم المفتوحة ومبادئ FAIR. تؤكد الورقة على أن AI4RSE لا يعزز فقط RSE التقليدية من خلال الأتمتة الذكية وتحسين القابلية للتكرار، بل يعالج أيضًا تحديات دمج أدوات الذكاء الاصطناعي في سير العمل البحثي.
أجرى المؤلفون تحليلًا شاملاً لأكثر من 1,500 مستودع برمجيات بحثية مستضافة على Zenodo، مستخدمين مراجعة أدبية شبه منظمة لوضع نتائجهم في سياق أوسع من RSE ودمج الذكاء الاصطناعي. حددوا فجوات كبيرة في الممارسات الحالية، مشيرين إلى أنه بينما تم مناقشة مبادئ FAIR وسير عمل MLOps بشكل منفصل، فإن القليل من الدراسات قد دمجت هذه مع تطبيقات الذكاء الاصطناعي وGenAI في تطوير البرمجيات البحثية. تقترح الدراسة AI4RSE كإطار متماسك يجسر بين هذه المجالات، مما يسهل تطوير أنظمة بيئية للبرمجيات البحثية المستدامة وعالية الجودة. تؤكد النتائج على الحاجة إلى نهج موحد لهندسة البرمجيات يدمج أدوات الذكاء الاصطناعي، مما يضمن الاستدامة والقابلية للتكرار على المدى الطويل في البحث العلمي.
القيود
تحدد قسم القيود في الدراسة عدة عوامل رئيسية قد تؤثر على صحة النتائج المستمدة من مجموعة بيانات تضم 1,512 مستودع برمجيات بحثية مأخوذة من Zenodo وGitHub. أولاً، تظهر مجموعة البيانات تحيزًا خاصًا بالمنصة، حيث تمثل Zenodo بشكل زائد المشاريع الأوروبية ومشاريع علوم الحياة، مما قد يؤدي إلى نقص في التنوع التخصصي في التحليل. ثانيًا، يواجه مصنف GenAI المستخدم في الدراسة، الذي يدمج ميزات على مستوى الكود مع بيانات المستودع الوصفية، تحديات تتعلق بالاستدلال بدون أمثلة من نماذج اللغة الكبيرة، مما يؤدي إلى معدل تصنيف خاطئ يبلغ حوالي 7% لبعض السكربتات المفيدة بسبب المحتوى الغامض. وهذا يشير إلى صعوبة الكشف بدقة عن الكود المولد بواسطة الذكاء الاصطناعي في الإعدادات العملية.
لمعالجة هذه القيود، نفذ الباحثون تدابير متنوعة لتعزيز قوة نتائجهم، بما في ذلك تحليلات الحساسية وتثليث أكثر من 40 مؤشرًا متميزًا. قاموا بتقييم صحة البناء من خلال أطر عمل معتمدة، مع التركيز على نضج هندسة البرمجيات، ودمج الذكاء الاصطناعي، والقابلية للتكرار، مع ضمان الصحة الداخلية من خلال التحقق يدويًا من مخرجات النموذج مقابل محتويات المستودع. على الرغم من أن مجموعة البيانات قد تمثل بشكل زائد المشاريع التي تتم صيانتها جيدًا، إلا أن المؤلفين يجادلون بأن منهجيتهم، التي تشمل تسجيلات غامضة واستنتاج عتبات تجريبية، تدعم موثوقية وعمومية استنتاجاتهم. بشكل عام، بينما يعترفون بالقيود، توفر الدراسة أساسًا قويًا للبحث المستقبلي في الذكاء الاصطناعي لهندسة البرمجيات البحثية (AI4RSE).
DOI: https://doi.org/10.1007/s10515-026-00621-0
Publication Date: 2026-05-04
Author(s): Siamak Farshidi et al.
Primary Topic: Software Engineering Research
Overview
The section presents an overview of the emerging research domain of Artificial Intelligence for Research Software Engineering (AI4RSE), which focuses on integrating AI into the research software development lifecycle. An empirical study analyzed over 1,500 open-source research software repositories on Zenodo, categorizing them based on software engineering maturity and AI integration using a quadrant-based typology. The findings reveal a diverse landscape of development practices, with a significant portion of projects still in informal stages, while approximately 18% demonstrate advanced engineering practices coupled with substantial AI integration. This indicates that sustainable and reproducible AI-augmented research software is feasible.
The study also identifies critical challenges, such as risks to reproducibility and licensing issues, alongside opportunities for improvements in testing and documentation through AI. The authors advocate for a coordinated approach among stakeholders to address these challenges and promote responsible AI adoption in research software development. Future research directions include longitudinal studies of project evolution, comparisons with domain-specific codebases, and the establishment of benchmarks to assess the impact of AI on software quality and compliance with the FAIR Principles for Research Software (FAIR4RS).
Introduction
The introduction of the paper highlights the increasing reliance of scientific research on complex software for data collection, experimentation, and analysis, which poses challenges in software development, maintenance, and validation. The advent of artificial intelligence (AI) and generative AI (GenAI) tools, such as GitHub Copilot and ChatGPT, offers opportunities for accelerated software development and accessibility for non-experts. However, the integration of these tools into traditional research software engineering (RSE) practices raises critical questions regarding software quality, risks, and implications for reproducibility and provenance.
To address these challenges, the authors propose a new research domain termed Artificial Intelligence for Research Software Engineering (AI4RSE), which investigates the influence of AI technologies on scientific software development processes and outcomes. They analyze a curated dataset of 1,512 research software repositories to assess trends in AI integration and software engineering maturity, employing a quadrant model that categorizes development patterns based on these dimensions. The study aims to establish AI4RSE as a formal interdisciplinary domain, outlining a research agenda that addresses key challenges such as sustainable GenAI integration, reproducibility infrastructure, and governance and ethics, ultimately promoting transparency and scientific rigor in the evolving landscape of research software engineering.
Methods
In this section, the authors describe a multistage, data-driven analysis pipeline designed to operationalize the AI4RSE quadrant and investigate the co-evolution of AI tools, FAIR principles, and software engineering maturity within research contexts. The methodology involves curating, processing, and analyzing over 1,500 open research software repositories from the GenAI era.
The analysis pipeline consists of four key phases: (1) repository collection, where relevant software repositories are gathered; (2) linkage to development artifacts, which connects the repositories to their associated development materials; (3) feature extraction, where specific characteristics of the repositories are identified; and (4) analytical categorization, which organizes the extracted features for further analysis. Figure 3 provides a high-level overview of this structured approach.
Results
In this section, the authors present empirical findings from an analysis of 1,512 research software repositories, structured around four evaluation axes: software engineering maturity, FAIRness, AI code usage, and AIOps/MLOps adoption. The repositories were categorized into four development modes: AI4RSE, RSE, Vibe Coding, and Exploratory Coding. Notably, over half of the repositories (55.5%, n=840) were classified as Exploratory Coding, characterized by a lack of documentation, licensing, and automated testing, which aligns with previous studies on scientific coding practices. Conversely, approximately one-third (33%, n=504) were identified as RSE or AI4RSE, indicating that disciplined engineering practices can enhance AI-supported workflows.
The quadrant analysis reveals three significant patterns: first, the presence of AI-generated code without robust engineering support leads to fragile outputs, particularly in the Vibe Coding quadrant (11.1%, n=168), which exhibited the highest AI code usage but the lowest scores for CI/CD pipelines and metadata completeness. Second, alignment with FAIR principles correlates with sustained project activity, as repositories with licenses and rich metadata tend to have longer development histories and greater community engagement, suggesting a positive feedback loop between openness and sustainability. Lastly, while AI4RSE practices are emerging, they are predominantly found in specific domains such as bioinformatics and climate science, with only 17.9% (n=270) of repositories meeting high thresholds for both AI usage and engineering maturity.
Discussion
The discussion section of the research paper delineates four distinct modes of software development in the context of research: Exploratory Coding, Vibe Coding, Research Software Engineering (RSE), and AI4RSE. Exploratory Coding and Vibe Coding represent informal and ad hoc development practices, often lacking structured documentation and testing. In contrast, RSE applies systematic engineering principles to scientific software, while AI4RSE integrates these practices with generative AI capabilities, promoting adherence to open science and FAIR principles. The paper emphasizes that AI4RSE not only enhances traditional RSE through intelligent automation and improved reproducibility but also addresses the challenges of integrating AI tools into research workflows.
The authors conducted a comprehensive analysis of over 1,500 research software repositories hosted on Zenodo, employing a semi-structured literature review to contextualize their findings within the broader landscape of RSE and AI integration. They identified significant gaps in current practices, noting that while FAIR principles and MLOps workflows have been discussed separately, few studies have synthesized these with AI and GenAI applications in research software development. The study proposes AI4RSE as a cohesive framework that bridges these domains, facilitating the development of sustainable, high-quality research software ecosystems. The findings underscore the need for a unified approach to software engineering that incorporates AI tools, ensuring long-term sustainability and reproducibility in scientific research.
Limitations
The limitations section of the study outlines several key factors that may affect the validity of the findings derived from a dataset of 1,512 research software repositories sourced from Zenodo and GitHub. Firstly, the dataset exhibits platform-specific bias, with Zenodo overrepresenting European and life science projects, potentially leading to a lack of disciplinary diversity in the analysis. Secondly, the GenAI classifier employed in the study, which integrates code-level features with repository metadata, faces challenges related to zero-shot inference from large language models, resulting in a misclassification rate of approximately 7% for certain utility scripts due to ambiguous content. This indicates the difficulty of accurately detecting AI-generated code in practical settings.
To address these limitations, the researchers implemented various measures to enhance the robustness of their findings, including sensitivity analyses and the triangulation of over 40 distinct indicators. They assessed construct validity through established frameworks, focusing on software engineering maturity, AI integration, and reproducibility, while also ensuring internal validity by manually validating model outputs against repository contents. Although the dataset may overrepresent well-maintained projects, the authors argue that their methodology, which includes fuzzy scoring and empirical threshold derivation, supports the reliability and generalizability of their conclusions. Overall, while acknowledging the limitations, the study provides a solid foundation for future research in AI for research software engineering (AI4RSE).