DOI: https://doi.org/10.1145/3706598.3713431
تاريخ النشر: 2025-04-24
المؤلف: Anjali Khurana وآخرون
الموضوع الرئيسي: الحوسبة العلمية وإدارة البيانات
نظرة عامة
تستكشف هذه الدراسة فعالية نموذجين من الأتمتة في مساعدي البرمجيات: AutoCopilot، الذي يقدم أتمتة كاملة، وGuidedCopilot، الذي يقوم بأتمتة المهام التافهة مع تقديم إرشادات بصرية خطوة بخطوة. كشفت دراسة مستخدمين شملت 20 مشاركًا أن GuidedCopilot تفوق بشكل كبير على AutoCopilot من حيث التحكم من قبل المستخدم، وفائدة البرمجيات، وسهولة التعلم، خاصة في المهام الاستكشافية والإبداعية. على الرغم من أن AutoCopilot كان أكثر كفاءة من حيث الوقت للمهام البصرية البسيطة، تشير النتائج إلى أن المستخدمين يفضلون عمومًا الحفاظ على السيطرة على المهام المعقدة، مما يدل على تفضيلهم للأتمتة شبه.
في استكشاف تصميم لاحق مع 10 مشاركين، تم تعزيز GuidedCopilot بميزات واعية بالمهام والحالة، مثل مقاطع المعاينة في السياق والتعليمات التكيفية. تؤكد الدراسة على أهمية التحكم من قبل المستخدم والإرشادات المخصصة في تصميم مساعدي البرمجيات في المستقبل، والتي يجب أن تهدف إلى تعزيز الإنتاجية، واستيعاب مستويات المهارة المتنوعة، وتعزيز التفاعل الأعمق مع البرمجيات. هذه الرؤى حاسمة للباحثين والمطورين في تفاعل الإنسان مع الكمبيوتر (HCI) والذكاء الاصطناعي (AI) حيث يسعون لتحقيق التوازن بين الأتمتة واستقلالية المستخدم، مما يعزز في النهاية التعاون الأكثر فعالية بين الإنسان والذكاء الاصطناعي.
مقدمة
تناقش مقدمة هذه الورقة البحثية تطور تفاعل الإنسان مع الكمبيوتر (HCI) من خلال دمج المساعدين المعتمدين على الذكاء الاصطناعي، وخاصة تلك المدعومة بالذكاء الاصطناعي التوليدي ونماذج اللغة الكبيرة (LLMs). تهدف هذه المساعدات الحديثة المعتمدة على الذكاء الاصطناعي، التي تمثلها أدوات مثل Microsoft 365 Copilot وAdobe Firefly، إلى تعزيز إنتاجية المستخدم من خلال أتمتة المهام المعقدة بناءً على مدخلات اللغة الطبيعية. ومع ذلك، تسلط الورقة الضوء على التحديات الكبيرة المرتبطة بهذه الأنظمة، بما في ذلك الحاجة إلى أن يقوم المستخدمون بتكرار مخرجات الذكاء الاصطناعي بشكل متكرر لتتناسب مع نواياهم، مما قد يزيد من العبء المعرفي. التعاون الفعال بين الإنسان والوكيل ضروري للتخفيف من هذه المشكلات، مما يبرز أهمية تحقيق التوازن بين الأتمتة وإرشادات المستخدم.
يقترح المؤلفون تحسينات على مساعدي البرمجيات شبه الأوتوماتيكية من خلال تقديم ميزتين مبتكرتين: GuidedCopilotVisual، الذي يوفر معاينات بصرية محددة للسياق، وGuidedCopilotADP، الذي يخصص التعليمات بناءً على كفاءة المستخدم وتقدم المهمة. كشفت دراسة قابلة للاستخدام مع المستخدمين الخبراء والمبتدئين أن هذه الميزات حسنت بشكل كبير تجربة المستخدم من خلال تسهيل فهم أفضل والتنقل في واجهات البرمجيات. تشمل مساهمات الورقة تحليلًا مقارنًا لمساعدي البرمجيات شبه الأوتوماتيكية مقابل المساعدين الأوتوماتيكيين بالكامل، ورؤى حول تصورات المستخدمين لفائدة البرمجيات والتحكم، وإطار عمل للتعاون الفعال بين الإنسان والذكاء الاصطناعي في بيئات غنية بالميزات. تؤكد هذه النتائج على الإمكانية لتطوير مساعدين ذكيين أكثر تكيفًا ومركزين على المستخدمين، مما يعزز كفاءة المهام ونتائج التعلم في تطبيقات البرمجيات.
النتائج
في هذا القسم، يتم تصنيف النتائج بشكل منهجي وفقًا لمواضيع رئيسية، مع التركيز على نقاط القوة والضعف لكل مساعد فيما يتعلق بالفائدة، والتحكم من قبل المستخدم، والإنتاجية، وسهولة تعلم البرمجيات. تشمل التحليلات معدلات إكمال المهام، التي توفر رؤى كمية حول فعالية المساعدين، بالإضافة إلى فحص نوعي لتفاعلات المستخدمين التي تكشف عن أنماط التجربة والخطأ.
بالإضافة إلى ذلك، تؤكد النتائج على التحديات التي يواجهها المستخدمون، خاصة في سيناريوهات تصحيح الأخطاء، والاستراتيجيات التي يستخدمونها للتغلب على هذه العقبات. لا تبرز هذه التقييم الشامل فقط مقاييس أداء المساعدين، بل تقدم أيضًا فهمًا أعمق لتجارب المستخدمين والآثار العملية لاستخدام هذه الأدوات في التطبيقات الواقعية.
المناقشة
تسلط قسم المناقشة في الورقة البحثية الضوء على تطور وتحديات مساعدي البرمجيات داخل التطبيقات، وخاصة تلك التي تستخدم نماذج اللغة الكبيرة (LLMs). تؤكد على الصعوبات التي يواجهها المستخدمون المبتدئون عند البحث عن المساعدة في البرمجيات الغنية بالميزات بسبب الطبيعة المتناثرة لموارد التعلم ومشكلة المفردات، مما يعقد استرجاع المعلومات ذات الصلة. غالبًا ما تفشل أنظمة الذكاء الاصطناعي التقليدية، على الرغم من تقديم بعض المساعدة، في التكيف وسهولة الاستخدام، مما يؤدي إلى إحباط المستخدمين وتخليهم. في المقابل، يهدف المساعد شبه الأوتوماتيكي الجديد، GuidedCopilot، إلى تحسين تجربة المستخدم من خلال أتمتة المهام التافهة مع تقديم إرشادات خطوة بخطوة مع وسائل بصرية، مما يعالج أوجه القصور في الأنظمة السابقة.
تناقش الورقة أيضًا ظهور المساعدين المعتمدين على LLM كحل محتمل لاستفسارات المستخدمين بلغة طبيعية، لكنها تعترف بالتحديات المستمرة في تحويل مخرجات LLM إلى تعليمات قابلة للتنفيذ ضمن واجهات البرمجيات. تستكشف الدراسة تفضيلات المستخدمين بين الأتمتة الكاملة والأتمتة شبه، كاشفة أن المستخدمين غالبًا ما يفضلون نهجًا متوازنًا يعزز الفهم والتحكم في مهامهم. تشير النتائج التجريبية إلى أن GuidedCopilot تفوق بشكل كبير على AutoCopilot في إكمال المهام والدقة، مما يشير إلى أن النهج شبه الأوتوماتيكي لا يعزز فقط إنتاجية المستخدم، بل يحسن أيضًا تجربة التعلم العامة في بيئات البرمجيات المعقدة.
القيود
تسلط القيود في هذه الدراسة حول مساعدي البرمجيات، التي قارنت بين الأتمتة شبه والأتمتة الكاملة، الضوء على عدة قيود رئيسية. بينما تؤكد النتائج على أهمية التحكم من قبل المستخدم والحاجة إلى تلبية مستويات الخبرة المتنوعة، فإنها مقيدة بالتطبيقات المحددة التي تم اختبارها (Figma وSheets) والطبيعة المتطورة بسرعة لنماذج اللغة الكبيرة (LLMs). قدمت النماذج الأولية المستخدمة رؤى أولية، ومع ذلك، يمكن أن توفر نماذج LLM المعتمدة على الرؤية المتقدمة، مثل SORA، بيانات وتحليلات أكثر شمولاً في الوقت الحقيقي.
بالإضافة إلى ذلك، لم تقيم الدراسة آثار ميزات معينة، مثل الأتمتة أو الإرشادات خطوة بخطوة، للحفاظ على الصلاحية البيئية. يثير هذا مخاوف بشأن فعالية الأتمتة الكاملة دون شفافية أو إرشادات كافية، مما يشير إلى أن الأتمتة وحدها قد لا تكون كافية. يجب أن تستكشف الأبحاث المستقبلية دور الشفافية ضمن كلا نموذجين من الأتمتة وتحلل بشكل كمي التأثيرات المستقلة لهذه الميزات، جنبًا إلى جنب مع الاختلافات الفردية (مثل العمر، الجنس، الخبرة)، باستخدام عينات أكبر وأكثر تنوعًا من المشاركين.
DOI: https://doi.org/10.1145/3706598.3713431
Publication Date: 2025-04-24
Author(s): Anjali Khurana et al.
Primary Topic: Scientific Computing and Data Management
Overview
This research explores the effectiveness of two automation paradigms in software copilots: AutoCopilot, which offers full automation, and GuidedCopilot, which automates trivial tasks while providing step-by-step visual guidance. A user study involving 20 participants revealed that GuidedCopilot significantly outperformed AutoCopilot in terms of user control, software utility, and learnability, particularly in exploratory and creative tasks. Although AutoCopilot was more time-efficient for simpler visual tasks, the findings suggest that users generally prefer maintaining control over complex tasks, indicating a preference for semi-automation.
In a follow-up design exploration with 10 participants, GuidedCopilot was enhanced with task-and state-aware features, such as in-context preview clips and adaptive instructions. The study emphasizes the importance of user control and tailored guidance in the design of future copilots, which should aim to enhance productivity, accommodate varying skill levels, and promote deeper engagement with software. These insights are crucial for researchers and developers in human-computer interaction (HCI) and artificial intelligence (AI) as they seek to balance automation with user autonomy, ultimately fostering more effective human-AI collaboration.
Introduction
The introduction of this research paper discusses the evolution of Human-Computer Interaction (HCI) through the integration of AI-based assistants, particularly those powered by Generative AI and Large Language Models (LLMs). These modern AI copilots, exemplified by tools like Microsoft 365 Copilot and Adobe Firefly, aim to enhance user productivity by automating complex tasks based on natural language inputs. However, the paper highlights significant challenges associated with these systems, including the need for users to frequently refine AI outputs to match their intentions, which can increase cognitive load. Effective human-agent collaboration is essential to mitigate these issues, emphasizing the importance of balancing automation with user guidance.
The authors propose enhancements to semi-automated copilots by introducing two innovative features: GuidedCopilotVisual, which provides context-specific visual previews, and GuidedCopilotADP, which tailors instructions based on user proficiency and task progress. A usability study with expert and novice users revealed that these features significantly improved user experience by facilitating better understanding and navigation of software interfaces. The paper’s contributions include a comparative analysis of semi-automated versus fully automated copilots, insights into user perceptions of software utility and control, and a framework for effective human-AI collaboration in feature-rich environments. These findings underscore the potential for developing more adaptive and user-centered AI assistants that enhance task efficiency and learning outcomes in software applications.
Results
In this section, the results are systematically categorized according to key themes, focusing on the strengths and weaknesses of each copilot in relation to utility, user control, productivity, and software learnability. The analysis includes task completion rates, which provide quantitative insights into the effectiveness of the copilots, as well as a qualitative examination of user interactions that reveal trial-and-error patterns.
Additionally, the findings underscore the challenges faced by users, particularly in debugging scenarios, and the strategies they employ to overcome these obstacles. This comprehensive evaluation not only highlights the performance metrics of the copilots but also offers a deeper understanding of user experiences and the practical implications of using these tools in real-world applications.
Discussion
The discussion section of the research paper highlights the evolution and challenges of in-application software copilots, particularly those utilizing large language models (LLMs). It emphasizes the difficulties novice users face when seeking help for feature-rich software due to the scattered nature of learning resources and the vocabulary problem, which complicates the retrieval of relevant information. Traditional AI systems, while providing some assistance, often fall short in adaptability and user-friendliness, leading to user frustration and abandonment. In contrast, the novel semi-automatic copilot, GuidedCopilot, aims to enhance user experience by automating trivial tasks while offering step-by-step guidance with visual aids, thereby addressing the shortcomings of previous systems.
The paper also discusses the emergence of LLM-based assistants as a potential solution for user queries in natural language, yet acknowledges ongoing challenges in translating LLM outputs into actionable instructions within software interfaces. The study investigates user preferences between full automation and semi-automation, revealing that users often prefer a balanced approach that fosters understanding and control over their tasks. Empirical findings indicate that GuidedCopilot significantly outperformed AutoCopilot in task completion and accuracy, suggesting that a semi-automated approach not only enhances user productivity but also improves the overall learning experience in complex software environments.
Limitations
The limitations of this study on software copilots, which compared semi-automation and full automation, highlight several key constraints. While the findings underscore the significance of user control and the need to cater to varying experience levels, they are restricted by the specific applications tested (Figma and Sheets) and the rapidly evolving nature of large language models (LLMs). The prototypes utilized provided initial insights, yet advanced vision-based LLMs, such as SORA, could yield more comprehensive real-time data and analysis.
Additionally, the study did not evaluate the effects of particular features, such as automation or step-by-step guidance, to maintain ecological validity. This raises concerns regarding the efficacy of full automation without adequate transparency or guidance, indicating that automation alone may not suffice. Future research should investigate the role of transparency within both automation paradigms and quantitatively analyze the independent impacts of these features, alongside individual differences (e.g., age, gender, expertise), employing larger and more diverse participant samples.