DOI: https://doi.org/10.1145/3742413.3789154
تاريخ النشر: 2026-03-03
المؤلف: Junling Wang وآخرون
الموضوع الرئيسي: جداول البيانات وحوسبة المستخدم النهائي
نظرة عامة
تقدم هذه القسم نظرة عامة على UI Remix، وهو نظام تفاعلي مصمم لمساعدة المستخدمين في تصميم واجهات المستخدم (UI) على الهواتف المحمولة من خلال نهج مدفوع بالأمثلة. يتكون النظام من ثلاثة مكونات رئيسية: لوحة المحادثة، التي تسمح للمستخدمين بالتعبير عن أهداف تصميمهم والتفاعل مع النظام في ثلاثة أوضاع—الدردشة، البحث، والتطبيق؛ معرض الأمثلة، الذي يعرض أمثلة حقيقية لواجهات المستخدم مع إشارات شفافية المصدر لتعزيز تقييم المصداقية؛ و اللوحة القابلة للتعديل، التي تقدم معاينة حية للتصميم، مما يسمح للمستخدمين بالتبديل بين العرض المرئي وعرض الكود.
تؤكد الخاتمة على فعالية UI Remix في تسهيل عملية التصميم للمستخدمين. مستندًا إلى استرجاع متعدد الوسائط مع تعزيز التوليد، يمكّن النظام المستخدمين من البحث بشكل تكراري، واختيار، وتكييف أمثلة واجهات المستخدم، مما يحسن بشكل كبير قدرتهم على تحقيق أهداف التصميم واستكشاف البدائل. أظهرت دراسة مستخدمين تضم 24 مشاركًا أن تضمين إشارات شفافية المصدر عزز ثقة المستخدمين في تكييفاتهم التصميمية. تؤكد النتائج على إمكانية التفاعلات الشفافة المدفوعة بالأمثلة لتعزيز تعاون أكثر تفكيرًا وموثوقية بين البشر والذكاء الاصطناعي في سياقات التصميم. تشمل اتجاهات البحث المستقبلية توسيع الدعم لتصاميم متعددة الشاشات، وتعزيز آليات الاقتراح، والتحقيق في الاستخدام طويل الأمد في البيئات التعاونية.
مقدمة
تتناول مقدمة هذه الورقة البحثية المشهد المتطور لتصميم واجهة المستخدم (UI)، وخاصة ظهور مصممي المستخدم النهائي—أفراد مثل أصحاب الأعمال الصغيرة والهواة—الذين يستخدمون أدوات مدعومة بالذكاء الاصطناعي لإنشاء واجهات المستخدم. بينما قامت هذه الأدوات بتعزيز الديمقراطية في التصميم، إلا أنها لم تحل تمامًا التحديات التي يواجهها المستخدمون في التعبير عن نوايا تصميمهم. يمكن للعديد من مصممي المستخدم النهائي إنشاء تخطيطات لكنهم يواجهون صعوبة في ترجمة المفاهيم المجردة مثل “حديث” أو “سهل الاستخدام” إلى عناصر تصميم محددة. تُظهر التطورات الأخيرة في أدوات التصميم المعتمدة على نماذج اللغة الكبيرة (LLM) إمكانية سد هذه الفجوة، ومع ذلك غالبًا ما يفتقر المستخدمون إلى معرفة التصميم اللازمة لتقييم المخرجات التي تم إنشاؤها بواسطة الذكاء الاصطناعي بشكل نقدي، مما يؤدي إلى تردد في الثقة في هذه الأنظمة.
لمعالجة هذه التحديات، يقترح المؤلفون نظامًا يسمى UI Remix، الذي يسهل عملية التصميم من خلال توفير أمثلة واجهة مستخدم قابلة للتتبع تعزز قدرة المستخدمين على التعبير عن نوايا تصميمهم. يستخدم UI Remix نموذج استرجاع معزز متعدد الوسائط (MMRAG) لاسترجاع أمثلة واجهة المستخدم ذات الصلة بناءً على استفسارات المستخدم والمكونات المختارة. يسمح النظام للمستخدمين بالمشاركة في كل من إعادة تصميم عالمية ومحلية، مما يعزز عملية الاستكشاف التكرارية. أظهرت تقييم تجريبي مع 24 مشاركًا أن UI Remix حسّن بشكل كبير نتائج تصميم المستخدمين، مما شجع على الاستكشاف وزيادة الثقة من خلال الشفافية في المصادر وسياق الأمثلة المسترجعة. تؤكد النتائج على أهمية سير العمل المدفوع بالأمثلة في تمكين المستخدمين النهائيين من التصميم بقدر أكبر من التحكم والإبداع، مما يساهم في تقديم رؤى قيمة لتطوير أنظمة الذكاء الاصطناعي المستقبلية في سياقات التصميم الإبداعي.
الطرق
في هذه الدراسة، تم إنشاء حالتين تجريبيتين لتقييم تصورات المستخدمين لنظام UI Remix. الحالة الأولى، المشار إليها باسم GPT-Canvas Baseline (Alpha)، تعمل كتحكم من خلال استخدام تصميم مشابه لأدوات موجودة مثل GPT Canvas وFigma Make. يستخدم هذا المتغير نفس نموذج اللغة متعدد الطبقات (MLLM) مثل UI Remix ولكنه يستبعد معرض الأمثلة والوظائف المرتبطة بالبحث والتطبيق. يسمح هذا الاختيار التصميمي بتقييم كيفية تأثير هذه الميزات على أداء المستخدمين وتصوراتهم في تصميم واجهات المستخدم على الهواتف المحمولة.
الحالة الثانية، UI Remix (Beta)، تشمل جميع ميزات التصميم والوظائف الموضحة في القسم 3 من الورقة. تستفيد من نموذج استرجاع وتوليد متعدد الوسائط (MMRAG) تم تطويره خصيصًا لاسترجاع أمثلة واجهة المستخدم وتستخدم MLLM لتوليد واجهات المستخدم الأولية وتسهيل إعادة التصميم المعتمدة على الأمثلة. من خلال مقارنة هاتين الحالتين، تهدف الدراسة إلى تمييز تأثير الميزات الإضافية على تجربة المستخدم وفعاليتها في مهام تصميم واجهات المستخدم على الهواتف المحمولة.
النتائج
في دراسة المستخدم التي أجريت، تم تحديد عدة نتائج رئيسية تساهم في الفهم العام لأهداف البحث. تشير النتائج إلى اتجاهات ونماذج ملحوظة في سلوك المستخدمين وتفضيلاتهم وتفاعلاتهم مع النظام قيد التحقيق.
كشف تحليل البيانات الكمية أن الغالبية العظمى من المشاركين أبدوا تفضيلًا لميزات معينة، والتي كانت ذات دلالة إحصائية عند قيمة p أقل من 0.05. بالإضافة إلى ذلك، قدمت التعليقات النوعية رؤى حول تجارب المستخدمين، مما يبرز مجالات للتحسين وتعزيزات محتملة للنظام. بشكل عام، تؤكد هذه النتائج على أهمية التصميم الموجه نحو المستخدم في تحسين وظائف النظام ورضا المستخدمين.
المناقشة
تسلط قسم المناقشة في الورقة البحثية الضوء على تطور أدوات تصميم واجهة المستخدم (UI)، مع التركيز بشكل خاص على التحديات التي يواجهها المستخدمون النهائيون—أولئك الذين ليس لديهم تدريب رسمي في التصميم—عند إنشاء واجهات المستخدم. غالبًا ما تؤدي الأساليب التقليدية المعتمدة على المعارض، على الرغم من توفيرها لإلهام تصميم واسع، إلى إرباك المستخدمين ويمكن أن تؤدي إلى انحراف التصميم. من ناحية أخرى، تتطلب الأنظمة الاسترجاعية والتوليدية إدخالًا واضحًا من المستخدم، وهو ما يمكن أن يكون صعبًا على غير المحترفين، مما قد يؤدي إلى تثبيت التصميم. تؤكد الورقة على الحاجة إلى أنظمة تسهل التعبير عن نية التصميم من خلال أمثلة قابلة للتتبع، مما يعالج قيود الأدوات الحالية التي تفتقر إلى الشفافية والمبررات في خيارات التصميم.
يهدف نظام UI Remix المقترح إلى تمكين المستخدمين النهائيين من خلال دمج سير العمل المدفوع بالأمثلة المدعومة بالذكاء الاصطناعي التي تدعم كل من إعادة التصميم العالمية والمحلية لواجهات المستخدم. من خلال الاستفادة من نموذج استرجاع معزز متعدد الوسائط، يسمح UI Remix للمستخدمين باستكشاف مجموعة متنوعة من أمثلة واجهة المستخدم الحقيقية مع توفير بيانات وصفية تعزز مصداقية وملاءمة هذه التصاميم. لا يعزز هذا النظام الإبداع والتصميم التكراري فحسب، بل يضمن أيضًا أن المستخدمين يمكنهم التعبير عن أهداف تصميمهم بشكل أكثر فعالية، وبالتالي سد الفجوة بين التفضيلات المجردة ونتائج واجهة المستخدم الملموسة. بشكل عام، يمثل UI Remix تقدمًا كبيرًا في جعل تصميم واجهة المستخدم أكثر سهولة وبديهية للمصممين غير المحترفين.
القيود
تسلط قيود الدراسة الضوء على عدة مجالات للتحسين واتجاهات البحث المستقبلية. كان التركيز بشكل أساسي على إنشاء صفحة واجهة مستخدم واحدة على الهواتف المحمولة، مما قيد التقييم إلى واجهات مستخدم ثابتة ذات شاشة واحدة. على الرغم من أن UI Remix لديه القدرة على إنشاء تصاميم تفاعلية ومتعددة الشاشات، إلا أن قيود تصميم الدراسة حدت من استكشاف سير العمل المدفوع بالأمثلة عبر السياقات المتصلة. يمكن أن يتوسع البحث المستقبلي في هذا من خلال التحقيق في تسلسلات التصميم متعددة الشاشات أو التفاعلية لفهم كيفية تفاعل المستخدمين في سيناريوهات أكثر تعقيدًا.
بالإضافة إلى ذلك، تم إجراء التقييم كدراسة مختبرية ذات جلسة واحدة، مما قد لا يعكس بدقة الاستخدام في العالم الحقيقي أو الإعدادات التعاونية. يمكن أن تتبنى الدراسات المستقبلية نهجًا طوليًا لتقييم كيفية تفاعل المستخدمين مع أدوات التصميم المدفوعة بالأمثلة بمرور الوقت وفي سير عمل متنوعة. كما أن الدراسة لم تميز بين مجموعات المستخدمين بناءً على الخبرة السابقة في تصميم الذكاء الاصطناعي، مما يشير إلى الحاجة إلى دراسات مستخدمين أوسع لاستكشاف كيفية تأثير الخبرة على استخدام النظام. علاوة على ذلك، لم تعزل التقييم المتكامل لعمليات الاسترجاع وإعادة التصميم مساهماتها الفردية، مما يشير إلى أن العمل المستقبلي يمكن أن يستفيد من دراسات إلغاء المكونات على مستوى المكونات. أخيرًا، بينما سير العمل الحالي يبدأ من قبل المستخدم، يمكن أن يعزز استكشاف آليات استباقية ووكيلية داخل UI Remix من دوره كشريك تصميم تعاوني، متوقعًا احتياجات المستخدم وتسهيل عمليات إعادة التصميم متعددة الخطوات.
DOI: https://doi.org/10.1145/3742413.3789154
Publication Date: 2026-03-03
Author(s): Junling Wang et al.
Primary Topic: Spreadsheets and End-User Computing
Overview
The section provides an overview of UI Remix, an interactive system designed to assist users in mobile user interface (UI) design through an example-driven approach. The system comprises three main components: the Conversation Panel, which allows users to articulate their design goals and interact with the system in three modes—Chat, Search, and Apply; the Example Gallery, which showcases real-world UI examples along with source transparency cues to enhance credibility assessment; and the Editable Canvas, which offers a live preview of the design, allowing users to toggle between visual and code views.
The conclusion emphasizes the effectiveness of UI Remix in facilitating the design process for users. Grounded in multimodal retrieval-augmented generation, the system enables users to iteratively search for, select, and adapt UI examples, significantly improving their ability to meet design objectives and explore alternatives. A user study involving 24 participants demonstrated that the inclusion of source transparency cues bolstered users’ confidence in their design adaptations. The findings underscore the potential of transparent, example-driven interactions to foster a more reflective and trustworthy collaboration between humans and AI in design contexts. Future research directions include expanding support for multi-screen designs, enhancing suggestion mechanisms, and investigating long-term use in collaborative environments.
Introduction
The introduction of this research paper addresses the evolving landscape of User Interface (UI) design, particularly the rise of end-user designers—individuals such as small business owners and hobbyists—who utilize AI-powered tools to create UIs. While these tools have democratized design, they have not fully resolved the challenges users face in articulating their design intentions. Many end-user designers can generate layouts but struggle to translate abstract concepts like “modern” or “user-friendly” into specific design elements. Recent advancements in large language model (LLM)-based design tools show potential in bridging this gap, yet users often lack the design literacy to critically assess the AI-generated outputs, leading to hesitance in trusting these systems.
To address these challenges, the authors propose a system called UI Remix, which facilitates the design process by providing traceable UI examples that enhance users’ ability to articulate their design intentions. UI Remix employs a Multimodal Retrieval-Augmented Generation (MMRAG) model to retrieve relevant UI examples based on user queries and selected components. The system allows users to engage in both global and local remixing of designs, fostering an iterative exploration process. An empirical evaluation with 24 participants demonstrated that UI Remix significantly improved users’ design outcomes, encouraging exploration and enhancing trust through transparency in the sources and context of the retrieved examples. The findings underscore the importance of example-driven workflows in empowering end users to design with greater control and creativity, contributing valuable insights for the development of future AI systems in creative design contexts.
Methods
In this study, two experimental conditions were established to evaluate user perceptions of the UI Remix system. The first condition, referred to as GPT-Canvas Baseline (Alpha), serves as a control by utilizing a design akin to existing tools like GPT Canvas and Figma Make. This variant employs the same multi-layered language model (MLLM) as UI Remix but omits the Example Gallery and associated search and apply functionalities. This design choice allows for an assessment of how these features impact user performance and perceptions in mobile UI design.
The second condition, UI Remix (Beta), includes all the design features and functionalities outlined in Section 3 of the paper. It leverages a specifically developed Multi-Modal Retrieval and Generation (MMRAG) model for UI example retrieval and utilizes the MLLM for generating initial user interfaces and facilitating example-based remixing. By comparing these two conditions, the study aims to discern the influence of the additional features on user experience and effectiveness in mobile UI design tasks.
Results
In the user study conducted, several key findings were identified that contribute to the overall understanding of the research objectives. The results indicate significant trends and patterns in user behavior, preferences, and interactions with the system under investigation.
Quantitative data analysis revealed that a majority of participants demonstrated a preference for specific features, which were statistically significant at a p-value of less than 0.05. Additionally, qualitative feedback provided insights into user experiences, highlighting areas for improvement and potential enhancements to the system. Overall, these findings underscore the importance of user-centered design in optimizing system functionality and user satisfaction.
Discussion
The discussion section of the research paper highlights the evolution of user interface (UI) design tools, particularly focusing on the challenges faced by end users—those without formal design training—when creating UIs. Traditional gallery-based approaches, while providing extensive design inspiration, often overwhelm users and can lead to design drift. Conversely, retrieval and generative systems necessitate clear user input, which can be difficult for non-professionals, potentially resulting in design fixation. The paper emphasizes the need for systems that facilitate the articulation of design intent through traceable examples, addressing the limitations of existing tools that lack transparency and justifiability in design choices.
The proposed UI Remix system aims to empower end users by integrating AI-driven, example-guided workflows that support both global and local remixing of UI designs. By leveraging a multimodal retrieval-augmented model, UI Remix allows users to explore a diverse set of real-world UI examples while providing metadata that enhances the credibility and relevance of these designs. This system not only fosters creativity and iterative design but also ensures that users can articulate their design goals more effectively, thus bridging the gap between abstract preferences and concrete UI outcomes. Overall, UI Remix represents a significant advancement in making UI design more accessible and intuitive for non-professional designers.
Limitations
The limitations of the study highlight several areas for improvement and future research directions. The focus was primarily on creating a single mobile UI page, which restricted the evaluation to static, single-screen user interfaces. Although UI Remix has the potential to generate interactive and multi-screen designs, the study’s design constraints limited the exploration of example-driven workflows across connected contexts. Future research could expand on this by investigating multi-screen or interactive design sequences to better understand user engagement in more complex scenarios.
Additionally, the evaluation was conducted as a single-session lab study, which may not accurately reflect real-world usage or collaborative settings. Future studies could adopt longitudinal approaches to assess how users interact with example-driven design tools over time and in diverse workflows. The study also did not differentiate between user populations based on prior AI design experience, suggesting a need for broader user studies to explore how experience influences system use. Furthermore, the integrated evaluation of retrieval and remixing workflows did not isolate their individual contributions, indicating that future work could benefit from component-level ablation studies. Lastly, while the current workflow is user-initiated, exploring proactive, agentic mechanisms within UI Remix could enhance its role as a collaborative design partner, anticipating user needs and facilitating multi-step remix operations.