DOI: https://doi.org/10.1145/3801972
تاريخ النشر: 2026-03-13
المؤلف: J. Tie وآخرون
الموضوع الرئيسي: أبحاث موثوقية البرمجيات والتحليل
نظرة عامة
تبحث الدراسة في دمج نماذج اللغة الكبيرة (LLMs)، وبشكل خاص ChatGPT، في سير عمل هندسة البرمجيات (SE)، مع تسليط الضوء على التجارب المختلطة لمهندسي البرمجيات. بينما يجد بعض المستخدمين أن LLMs مفيدة للإنتاجية، يذكر آخرون نتائج غير منتجة بسبب عدم دقة الردود. حدد تحليل شمل 26 مشاركًا شاركوا في مهمة تطوير ويب تسعة أنواع فشل متميزة، تم تصنيفها إلى ردود غير صحيحة أو غير مكتملة، وعبء معرفي زائد، وفقدان السياق. على الرغم من محاولات المستخدمين للتخفيف من هذه القضايا من خلال استراتيجيات مثل الدعم وتوضيح الطلبات، تخلى 17 مشاركًا في النهاية عن ChatGPT بسبب الفشل المستمر. تشير النتائج الكمية إلى أن الردود غير المفيدة زادت من احتمال التخلي عن الاستخدام بمقدار 11 مرة، بينما قللت كل طلب إضافي من هذه الاحتمالية بنسبة 17%.
تخلص الدراسة إلى التأكيد على المساهمة المزدوجة لكل من المستخدمين وChatGPT في الفشل المحدد، مثل الردود غير المكتملة والمربكة. من خلال تحديد هذه الفشل الرئيسية واستراتيجيات المستخدمين، تقدم الدراسة رؤى قيمة لتحسين تصميم LLM ووظائفه لتلبية توقعات المستخدمين وممارسات حل المشكلات بشكل أفضل. يجب أن تركز التطورات المستقبلية على معالجة الأسباب الجذرية لهذه الإخفاقات لتعزيز دمج LLMs في سير عمل البرمجة في العالم الحقيقي.
مقدمة
تناقش مقدمة هذه الورقة البحثية دمج المساعدين المدعومين بنماذج اللغة الكبيرة (LLM)، مثل ChatGPT، في مهام هندسة البرمجيات (SE) وعلوم الحاسوب. تعزز هذه الأدوات الإنتاجية وجودة العمل بينما تقوم بأتمتة المهام المتكررة، مما يخفف من العبء المعرفي. ومع ذلك، فإنها تقدم أيضًا تحديات، بما في ذلك الانخفاض المحتمل في المهارات المعرفية والاعتماد المفرط بين المستخدمين المبتدئين. تزيد التباين في ردود LLM وعدم فعالية تقنيات هندسة الطلبات من تعقيد تفاعلات المستخدمين، مما يتطلب تعديلات مستمرة قد تثير إحباط المستخدمين.
يجادل المؤلفون بأن الأطر الحالية في هندسة البرمجيات وتفاعل الإنسان مع الكمبيوتر (HCI) لا تعالج بشكل كافٍ الطبيعة الفريدة والاحتمالية لتفاعلات LLM، التي تختلف جوهريًا عن الأدوات التقليدية الحتمية. يمكن أن تتراكم الإخفاقات في مخرجات LLM بمرور الوقت، مما يؤدي إلى تخلي المستخدمين أثناء المهام – وهو ظاهرة لم يتم النظر فيها سابقًا في أدبيات اعتماد الأدوات. لاستكشاف هذه الديناميات، تجري الدراسة بحثًا ملاحظًا حول تفاعلات المستخدمين مع ChatGPT خلال مهمة تطوير ويب متعددة الخطوات، بهدف الكشف عن الظروف التي تفشل فيها LLMs، والأسباب وراء هذه الإخفاقات، واستراتيجيات التخفيف من قبل المستخدمين، وانطباعاتهم عن ردود LLM. توجه أسئلة البحث التحقيق في التفاعلات الدقيقة بين المستخدمين وLLMs، مما يبرز الحاجة إلى فهم أعمق لكيفية تنقل المستخدمين والتكيف مع التحديات المتعلقة بـ LLM.
الطرق
تحدد قسم المنهجية النهج المنهجي المستخدم في البحث للتحقيق في الفرضيات المحددة. يوضح تصميم التجربة، بما في ذلك اختيار المشاركين، وتقنيات جمع البيانات، والأساليب التحليلية المستخدمة. استخدمت الدراسة إطارًا كميًا، مستفيدة من الأدوات الإحصائية لتحليل البيانات المجمعة من عينة بحجم N مشارك، مما يضمن أن النتائج ذات دلالة إحصائية.
علاوة على ذلك، يصف القسم الأدوات والإجراءات المحددة المستخدمة للقياس، بما في ذلك أي استبيانات أو اختبارات تم إدارتها. نفذ الباحثون بروتوكولات صارمة للحفاظ على نزاهة البيانات، مثل العشوائية وتدابير التحكم. تم إجراء التحليل باستخدام أدوات برمجية، مع تفسير النتائج من خلال طرق إحصائية معتمدة، مما يوفر إطارًا قويًا للتحقق من نتائج الدراسة.
المناقشة
في هذا القسم، يناقش المؤلفون تفعيل أسئلة البحث (RQs) المتعلقة بفعالية نماذج اللغة الكبيرة (LLMs) مثل ChatGPT في مهام هندسة البرمجيات (SE). يصنفون نتائجهم إلى خمسة RQs، مع التركيز على جوانب مثل فائدة LLM، وأسباب الفشل، واستراتيجيات التخفيف من قبل المستخدمين، وتكيف المستخدمين، وسلوك التخلي. تستخدم الدراسة كل من الأساليب النوعية والكمية، بما في ذلك الترميز اليدوي لتفاعلات المستخدمين وتحليل الانحدار اللوجستي، لاستكشاف كيفية تأثير خصائص المستخدمين وأنماط التفاعل على احتمال التخلي عن مساعدة LLM.
أجرى المؤلفون أبحاثهم مع مجموعتين متميزتين من المشاركين: الطلاب ومطوري البرمجيات المحترفين (SDEs). على الرغم من الاختلافات في الخبرة، أظهرت كلا المجموعتين أنماط تفاعل مماثلة وواجهت تحديات قابلة للمقارنة عند استخدام ChatGPT. حددت الدراسة 92 حالة فشل عبر تسعة أنواع، تم تصنيفها إلى ثلاث قضايا رئيسية: ردود غير مكتملة أو غير صحيحة، وعبء معرفي زائد، ونقص في الاحتفاظ بالسياق. من الجدير بالذكر أن النتائج كشفت أن الردود غير المفيدة زادت بشكل كبير من احتمال التخلي، بينما ارتبطت زيادة تكرار الطلبات وخبرة الترميز بمعدلات تخلي أقل. يؤكد المؤلفون على أهمية فهم تفاعلات المستخدمين مع LLM في السياقات الواقعية، مما يبرز الطبيعة الديناميكية لهذه التفاعلات والحاجة إلى مزيد من البحث في العوامل التي تؤثر على فعالية LLM في مهام SE المعقدة.
القيود
يسلط قسم القيود الضوء على عدة تهديدات لصحة نتائج الدراسة المتعلقة بتفاعلات البشر مع ChatGPT. قد تتعرض الصحة الداخلية للخطر بسبب الاختلافات في الخبرة السابقة للمشاركين مع تطوير الويب ونماذج اللغة الكبيرة (LLMs)، مما قد يؤثر على تقييمهم للردود. كانت القرار بالتخلي عن تدريب هندسة الطلبات الرسمي يهدف إلى التقاط أنماط الاستخدام الطبيعية، لكنه يثير مخاوف من أن “إخفاقات LLM” الملاحظة قد تنجم عن اختلافات في ممارسات الطلبات بدلاً من قيود النموذج الجوهرية. تميز الدراسة بين العوامل المساهمة من قبل المستخدم (UC) والعوامل المساهمة من ChatGPT (CC)؛ ومع ذلك، فإن هذه الفئات تفسيرية وليست معزولة تجريبيًا، مما يشير إلى أن النتائج تصف إخفاقات التفاعل في ظل ظروف توجيهية قليلة بدلاً من عزل القضايا المحددة بالنموذج.
كما أن الصحة الخارجية محدودة، حيث تركز البحث فقط على ChatGPT، ويجب التعامل مع التعميمات خارج عينة المشاركين بحذر. تتطلب العينة الصغيرة من المطورين المحترفين تكرارًا على نطاق أوسع لتحديد قابلية تطبيق أنماط التفاعل في سياقات صناعية أوسع. تظهر مخاوف الصحة البنائية من قياس الميل للتخلي عن ChatGPT وتفعيل الفائدة، التي تعكس تقدم المهمة بدلاً من أداء النموذج المعزول. يجب تفسير نتائج الدراسة في سياق محدد لتفاعلات المطورين مع النموذج والمهمة، وعلى الرغم من بذل الجهود لتعزيز الشفافية وقابلية التكرار، تبقى العوامل المربكة المحتملة المتعلقة بتباينات النموذج بين مجموعات المستخدمين المختلفة اعتبارًا. على الرغم من هذه القيود، تشير الدراسات اللاحقة مع إصدارات نماذج أحدث إلى أن أنماط التفاعل الملاحظة قد لا تقتصر على تكرار نموذج واحد.
DOI: https://doi.org/10.1145/3801972
Publication Date: 2026-03-13
Author(s): J. Tie et al.
Primary Topic: Software Reliability and Analysis Research
Overview
The research investigates the integration of large language models (LLMs), specifically ChatGPT, into software engineering (SE) workflows, highlighting the mixed experiences of software engineers. While some users find LLMs beneficial for productivity, others report counterproductive outcomes due to inaccuracies in responses. An analysis involving 26 participants engaged in a web development task identified nine distinct failure types, categorized into incorrect or incomplete responses, cognitive overload, and context loss. Despite attempts by users to mitigate these issues through strategies such as scaffolding and prompt clarification, 17 participants ultimately abandoned ChatGPT due to persistent failures. Quantitative findings indicate that unhelpful responses increased the likelihood of abandonment by a factor of 11, while each additional prompt decreased this probability by 17%.
The study concludes by emphasizing the dual contribution of both users and ChatGPT to the identified failures, such as incomplete and overwhelming answers. By identifying these key failures and user strategies, the research provides valuable insights for improving LLM design and functionality to better meet user expectations and problem-solving practices. Future developments should focus on addressing the root causes of these failures to enhance the integration of LLMs into real-world programming workflows.
Introduction
The introduction of this research paper discusses the integration of large language model (LLM)-powered assistants, such as ChatGPT, into software engineering (SE) and computer science tasks. These tools enhance productivity and work quality while automating repetitive tasks, thereby alleviating cognitive load. However, they also present challenges, including potential declines in cognitive skills and over-reliance among novice users. The variability in LLM responses and the ineffectiveness of prompt engineering techniques further complicate user interactions, necessitating continuous adjustments that can frustrate users.
The authors argue that existing frameworks in software engineering and human-computer interaction (HCI) do not adequately address the unique, probabilistic nature of LLM interactions, which differ fundamentally from traditional deterministic tools. Failures in LLM outputs can accumulate over time, leading to user abandonment during tasks—a phenomenon not previously theorized in tool adoption literature. To explore these dynamics, the study conducts observational research on user interactions with ChatGPT during a multi-step web development task, aiming to uncover the conditions under which LLMs fail, the reasons behind these failures, user mitigation strategies, and perceptions of LLM responses. The research questions guide the investigation into the nuanced interactions between users and LLMs, emphasizing the need for a deeper understanding of how users navigate and adapt to LLM-related challenges.
Methods
The methodology section outlines the systematic approach employed in the research to investigate the specified hypotheses. It details the experimental design, including the selection of participants, data collection techniques, and analytical methods utilized. The study employed a quantitative framework, utilizing statistical tools to analyze the data collected from a sample size of N participants, ensuring the results are statistically significant.
Furthermore, the section describes the specific instruments and procedures used for measurement, including any surveys or tests administered. The researchers implemented rigorous protocols to maintain the integrity of the data, such as randomization and control measures. The analysis was conducted using software tools, with results interpreted through established statistical methods, thereby providing a robust framework for validating the findings of the study.
Discussion
In this section, the authors discuss the operationalization of research questions (RQs) related to the effectiveness of large language models (LLMs) like ChatGPT in software engineering (SE) tasks. They categorize their findings into five RQs, focusing on aspects such as LLM helpfulness, failure causes, user mitigation strategies, user adaptation, and abandonment behavior. The study employs both qualitative and quantitative methods, including manual coding of user interactions and logistic regression analysis, to explore how user characteristics and interaction patterns influence the likelihood of abandoning LLM assistance.
The authors conducted their research with two distinct participant groups: students and professional software developers (SDEs). Despite differences in expertise, both groups exhibited similar interaction patterns and encountered comparable challenges when using ChatGPT. The study identified 92 failure cases across nine types, which were categorized into three main issues: incomplete or incorrect responses, cognitive overload, and lack of context retention. Notably, the findings revealed that unhelpful responses significantly increased the likelihood of abandonment, while higher prompt frequency and coding experience correlated with lower abandonment rates. The authors emphasize the importance of understanding user-LLM interactions in real-world contexts, highlighting the dynamic nature of these interactions and the need for further research into the factors influencing LLM effectiveness in complex SE tasks.
Limitations
The section on limitations highlights several threats to the validity of the study’s findings regarding human interactions with ChatGPT. Internal validity may be compromised due to variations in participants’ prior experience with web development and large language models (LLMs), which could influence their evaluation of responses. The decision to forgo formal prompt-engineering training was intended to capture natural usage patterns, but it raises concerns that observed “LLM failures” might stem from differences in prompting practices rather than inherent model limitations. The study analytically distinguishes between user-contributed (UC) and ChatGPT-contributed (CC) factors; however, these categories are interpretive and not experimentally isolated, suggesting that the findings characterize interaction failures under minimally guided conditions rather than isolating model-specific issues.
External validity is also limited, as the research focused solely on ChatGPT, and generalizations beyond the participant sample should be approached cautiously. The small sample of professional developers necessitates larger-scale replication to determine the applicability of interaction patterns in broader industrial contexts. Construct validity concerns arise from the measurement of the tendency to abandon ChatGPT and the operationalization of helpfulness, which reflects task progress rather than isolated model performance. The study’s findings should be interpreted within the specific context of developer-model-task interactions, and while efforts were made to enhance transparency and reproducibility, potential confounding factors related to model variations between different user groups remain a consideration. Despite these limitations, follow-up studies with newer model versions suggest that the observed interaction patterns may not be confined to a single model iteration.