DOI: https://doi.org/10.1145/3772318.3791976
تاريخ النشر: 2026-04-13
المؤلف: Yi-Chi Liao وآخرون
الموضوع الرئيسي: خوارزميات تحسين متعددة الأهداف المتقدمة
نظرة عامة
يقدم هذا القسم إطارًا جديدًا يسمى تحسين الإنسان في الحلقة مع معلومات نموذجية مسبقة (HOMI)، مصممًا لتعزيز كفاءة تحسين تصميم الواجهة من خلال دمج مرحلة تدريب مسبق باستخدام بيانات مستخدمين صناعية. غالبًا ما تتطلب طرق تحسين الإنسان في الحلقة التقليدية تكرارات واسعة بسبب المعلومات المسبقة المحدودة، مما يجعلها مكلفة وغير عملية. يتناول HOMI هذه التحديات من خلال استخدام نماذج تنبؤية لتوليد بيانات مستخدمين صناعية متنوعة، مما يسمح للمحسن بتعلم استراتيجيات التكيف الفعالة قبل النشر الفعلي.
لتنفيذ HOMI، يقدم المؤلفون وظيفة اكتساب عصبية + (NAF +)، وهي طريقة تحسين بايزي تستخدم وظيفة اكتساب عصبية تم تدريبها من خلال التعلم المعزز. تتيح هذه الطريقة لعملية التحسين الاستفادة من بيانات صناعية واسعة النطاق، مما يحسن الأداء في الوقت الحقيقي عند التفاعل مع المستخدمين. يتم إثبات فعالية HOMI وNAF + من خلال تحسين لوحة المفاتيح في الهواء في سياق الواقع الافتراضي، مما يظهر تقدمًا كبيرًا في تكيف الواجهة من خلال دمج عمليات التحسين في الموقع وفي السيليكو.
في الختام، يمثل HOMI خطوة كبيرة إلى الأمام في تحسين تفاعل الإنسان مع الكمبيوتر (HCI) من خلال استخدام التدريب المسبق المستند إلى النموذج لتسهيل تكيف الواجهة في الوقت الحقيقي. تتيح قدرة الإطار على توليد مجموعات مستخدمين من النماذج تطوير محسنات قوية يمكنها التعميم عبر مستخدمين وأهداف متنوعة. يقترح المؤلفون أن هذه الطريقة لا تعزز فقط أنظمة التخصيص ولكن أيضًا تعيد تعريف نماذج المستخدمين كأدوات توليد لتدريب أنظمة التصميم التكيفية، مما يجسر في النهاية الفجوة بين التحسينات المحاكاة والواقعية.
مقدمة
تناقش مقدمة هذه الورقة البحثية التحديات والتطورات في تحسين الواجهة ضمن تفاعل الإنسان مع الكمبيوتر (HCI). تركز طرق التحسين التقليدية المستندة إلى النموذج بشكل أساسي على سلوكيات مستوى السكان، مما يحد من فعاليتها في تصميم الواجهة المخصصة. ظهرت طرق حديثة، وخاصة تحسين الإنسان في الحلقة (HILO)، كحل عملي من خلال إشراك المستخدمين مباشرة في عملية التحسين. يسمح HILO بتغذية راجعة من المستخدم في الوقت الحقيقي لتوجيه تحسينات التصميم، ومع ذلك، غالبًا ما يتطلب تقييمات واسعة من المستخدمين، مما يؤدي إلى فترات تكيف مطولة يمكن أن تعيق تجربة المستخدم.
لمعالجة هذه القيود، يقترح المؤلفون إطارًا جديدًا يسمى تحسين الإنسان في الحلقة مع معلومات نموذجية مسبقة (HOMI). يستخدم هذا الإطار بيانات مستخدمين صناعية تم توليدها من نماذج تنبؤية لتدريب المحسن، مما يسمح باستكشاف أكثر كفاءة لمساحة التصميم قبل إشراك المستخدمين الحقيقيين. الابتكار الرئيسي هو تقديم طريقة تحسين بايزي معززة بالتعلم الميتا، تسمى وظيفة اكتساب عصبية + (NAF +)، والتي تدعم وزن الأهداف الديناميكي والأداء القوي عبر سلوكيات مستخدمين متنوعة. تم التحقق من فعالية HOMI وNAF + من خلال التجارب، مما يظهر تحسينات كبيرة في تكيف لوحة المفاتيح في الهواء لإدخال النص، متفوقة على طرق التحسين التقليدية من حيث الكفاءة وتجربة المستخدم.
طرق
في المرحلة 2 من الدراسة، قام المؤلفون بتقييم ثلاث طرق تحسين لتكيف لوحة المفاتيح في الهواء مع الإنسان في الحلقة: الطريقة المقترحة NAF +، وظيفة اكتساب النقل (TAF)، والتحسين البايزي المستمر (ConBO). تتضمن طريقة NAF + كاشفًا للحداثة يقوم تلقائيًا باختيار مجموعة الوزن المناسبة للأهداف، تحديدًا $w_{\text{speed}} = 0.7$ و $w_{\text{accuracy}} = 0.3$. يعمل كاشف الحداثة بعتبة $\tau = 0.1$، وهو متسق مع الممارسات الإحصائية الشائعة حيث تشير قيمة p أقل من 0.1 إلى احتمال وجود قيم شاذة أو عدم تطابق في النموذج. تتيح هذه العتبة الكشف المبكر عن الانحرافات الكبيرة من خلال استخدام متوسط متحرك لقيم p عبر التكرارات.
يتم تفعيل آلية الكشف عن الحداثة بدءًا من التكرار الرابع، بينما تتميز التكرارات الثلاثة الأولى بتعيين أوزان التحسين المتوقع (EI) إلى 0 وتخصيص وزن 1 لـ NAF. تضمن هذه الطريقة أن النظام يمكنه الاستجابة بشكل تكيفي للتغيرات المهمة في إدخال المستخدم مع الحفاظ على التركيز على مقاييس الأداء المحددة. تم التحقق من فعالية هذا التكوين من خلال اختبارات صناعية، مما يظهر فائدته في تحسين عملية التكيف.
نتائج
في هذه الدراسة، تم تطوير خمسة نماذج عملية غاوسية (GP) لتكون نماذج مسبقة لإطار تكيف الكتابة (TAF)، إلى جانب نهج بسيط للانحدار الخطي لتقدير المعلمات. كانت المعلمات المستمدة من قانون فيتس هي $a = 0.164 \pm 0.0352$ ثانية و $b = 0.39 \pm 0.171$ ثانية، بينما أسفرت نماذج الخطأ عن معلمات $\alpha_x = 0.0148 \pm 0.0011$، $\sigma^2_x = 15.52 \pm 2.093$، $\alpha_y = 0.0133 \pm 0.0011$، و $\sigma^2_y = 15.93 \pm 1.46$. تؤسس هذه النتائج معايير تجريبية للمستخدمين المحاكين وتوجه التحسين المستند إلى النموذج في المراحل اللاحقة.
تم تقييم أداء التحسين من خلال تحليل التباين ANOVA ذي القياسين المتكررين، مما يكشف عن تأثير رئيسي كبير للتكرار ($F(9, 99) = 27.16, p < .001$)، مما يشير إلى تحسين عام في أداء المشاركين بمرور الوقت. ومع ذلك، لم يتم العثور على تأثير رئيسي كبير للطريقة ($F(2, 22) = 1.25, p = .307$)، مما يشير إلى أنه لم تتفوق أي طريقة واحدة باستمرار على الأخرى عبر جميع التكرارات. من الجدير بالذكر أن NAF + أظهرت ميزة أداء على TAF في التكرارين الثاني والثالث، بينما تفوقت أيضًا على ConBO في التكرار الثالث. تشير النتائج إلى أنه بينما تتقارب جميع الطرق إلى مستويات أداء مماثلة، تستفيد NAF + من قدرتها على توليد مستخدمين صناعيين، مما يعزز أداء التكرارات المبكرة ويوفر قوة في السيناريوهات الأقل معلومات.
مناقشة
في قسم المناقشة، تؤكد الورقة على أهمية التحسين المستند إلى النموذج في تفاعل الإنسان مع الكمبيوتر (HCI) والتصميم، مشددة على الانتقال من طرق التحسين اليدوية التقليدية إلى الأساليب الحسابية. يشير المؤلفون إلى أنه بينما نجحت التخصصات الهندسية في استخدام سير عمل التحسين، بدأت HCI في اعتماد استراتيجيات مماثلة، خاصة من خلال استخدام الحلول الحسابية على نماذج المستخدمين لتعزيز عمليات التصميم. ومع ذلك، لا تزال التحديات قائمة، خاصة في مجال النمذجة العكسية، التي غالبًا ما تكون كثيفة الحسابات ويمكن أن تؤدي إلى غموض في نمذجة المستخدم. لمعالجة هذه القضايا، تقدم الورقة إطار تحسين الإنسان في الحلقة (HOMI)، الذي يسمح بواجهات تكيفية من خلال استخدام بيانات مستخدمين صناعية لإبلاغ التحسين دون الحاجة إلى نمذجة مستخدمين واسعة.
تستكشف الورقة أيضًا تحسين بايزي للإنسان في الحلقة (HILO)، الذي يحسن التصاميم بناءً على تغذية راجعة من المستخدم في الوقت الحقيقي بدلاً من النماذج المحددة مسبقًا. يتم تسليط الضوء على التحسين البايزي لكفاءته في الحاجة إلى تقييمات أقل من المستخدمين، على الرغم من أنه يواجه قيودًا مثل مشكلة “البداية الباردة”. للتخفيف من ذلك، يقترح المؤلفون دمج تقنيات التعلم الميتا في التحسين البايزي، والتي تُسمى meta-BO، والتي تستفيد من مهام التحسين السابقة لتعزيز التعلم للمستخدمين الجدد. يتم تقديم وظيفة اكتساب عصبية + (NAF +) كنهج جديد يحل محل وظائف الاكتساب التقليدية بشبكة عصبية، مما يسمح بالتكيف الديناميكي مع احتياجات وتفضيلات المستخدم. يهدف هذا الإطار إلى تحسين كفاءة وفعالية التحسين في HCI من خلال معالجة تحديات تنوع المستخدم والحاجة إلى التكيف السريع في التطبيقات الواقعية.
القيود
يسلط قسم القيود في إطار العمارة العصبية (NAF) الضوء على كل من نقاط قوته وعيوبه الحرجة في التطبيقات الواقعية. ميزة كبيرة لـ NAF هي قدرتها على التدريب ببيانات غير محدودة دون تكاليف حسابية إضافية أثناء النشر، مما يجعلها فعالة بشكل خاص في سياق HOMI، حيث يمكن توليد مستخدمين صناعيين بشكل واسع من خلال أخذ عينات من النموذج.
ومع ذلك، تصبح قيود NAF واضحة في سيناريوهات التحسين العملية. بشكل أساسي، تم تصميمها لتحسين هدف ثابت واحد، مما يحد من قابليتها للتطبيق في البيئات التي تتطلب توازنًا بين أهداف متعددة، مثل التوازن بين السرعة والدقة أو الراحة والرؤية. علاوة على ذلك، يعتمد أداء NAF على التوافق بين مهام التدريب والاختبار؛ فهي تتفوق فقط عندما يتطابق أداء المستخدمين الحقيقيين بشكل وثيق مع أداء المستخدمين الصناعيين المستخدمين في التدريب. يشكل هذا خطرًا كبيرًا، حيث يمكن أن تؤدي الانحرافات في سلوك المستخدمين في العالم الحقيقي – التي غالبًا ما تتسم بالضوضاء والتنوع – إلى أداء دون المستوى، خاصة في المهام خارج التوزيع.
DOI: https://doi.org/10.1145/3772318.3791976
Publication Date: 2026-04-13
Author(s): Yi-Chi Liao et al.
Primary Topic: Advanced Multi-Objective Optimization Algorithms
Overview
The section presents a novel framework called Human-in-the-Loop Optimization with Model-Informed Priors (HOMI), designed to enhance the efficiency of interface design optimization by integrating a pre-training phase using synthetic user data. Traditional human-in-the-loop optimization often requires extensive iterations due to limited prior information, making it costly and impractical. HOMI addresses this challenge by utilizing predictive models to generate diverse synthetic user data, allowing the optimizer to learn effective adaptation strategies before actual deployment.
To implement HOMI, the authors introduce Neural Acquisition Function + (NAF +), a Bayesian optimization method that employs a neural acquisition function trained through reinforcement learning. This approach enables the optimization process to leverage large-scale synthetic data, thereby improving real-time performance when interacting with users. The effectiveness of HOMI and NAF + is demonstrated through mid-air keyboard optimization in a virtual reality context, showcasing a significant advancement in interface adaptation by merging in situ and in silico optimization processes.
In conclusion, HOMI represents a significant step forward in human-computer interaction (HCI) optimization by utilizing model-informed pre-training to facilitate real-time interface adaptation. The framework’s ability to synthesize user populations from models allows for the development of robust optimizers that can generalize across diverse users and objectives. The authors suggest that this approach not only enhances personalization systems but also redefines user models as generative tools for training adaptive design systems, ultimately bridging the gap between simulated and real-world optimization.
Introduction
The introduction of this research paper discusses the challenges and advancements in interface optimization within human-computer interaction (HCI). Traditional model-based optimization methods primarily focus on population-level behaviors, which limits their effectiveness for personalized interface design. Recent approaches, particularly human-in-the-loop optimization (HILO), have emerged as a practical solution by directly involving users in the optimization process. HILO allows for real-time user feedback to guide design improvements, yet it often requires extensive user evaluations, leading to prolonged adaptation periods that can hinder user experience.
To address these limitations, the authors propose a novel framework called Human-in-the-Loop Optimization with Model-Informed Priors (HOMI). This framework utilizes synthetic user data generated from predictive models to train the optimizer, allowing for a more efficient exploration of the design space before engaging real users. The key innovation is the introduction of a Bayesian optimization method enhanced by meta-learning, termed Neural Acquisition Function + (NAF +), which supports dynamic objective weighting and robust performance across diverse user behaviors. The effectiveness of HOMI and NAF + is validated through experiments, demonstrating significant improvements in the adaptation of a mid-air keyboard for text input, outperforming traditional optimization methods in terms of efficiency and user experience.
Methods
In Phase 2 of the study, the authors evaluated three optimization methods for human-in-the-loop mid-air keyboard adaptation: the proposed NAF + method, Transfer Acquisition Function (TAF), and Continual Bayesian Optimization (ConBO). The NAF + method incorporates a novelty detector that automatically selects the appropriate objective weight combination, specifically $w_{\text{speed}} = 0.7$ and $w_{\text{accuracy}} = 0.3$. The novelty detector operates with a threshold $\tau = 0.1$, which is consistent with common statistical practices where a p-value below 0.1 indicates potential outliers or model mismatches. This threshold allows for the early detection of significant deviations by utilizing a running average of p-values across iterations.
The novelty detection mechanism is activated starting from the fourth iteration, while the first three iterations are characterized by setting the expected improvement (EI) weights to 0 and assigning a weight of 1 to the NAF. This approach ensures that the system can adaptively respond to meaningful changes in user input while maintaining a focus on the established performance metrics. The effectiveness of this configuration was validated through synthetic tests, demonstrating its utility in optimizing the adaptation process.
Results
In this study, five Gaussian Process (GP) models were developed to serve as prior models for Typing Adaptation Framework (TAF), alongside a simple linear regression approach for parameter estimation. The parameters derived from Fitts’ Law were $a = 0.164 \pm 0.0352$ s and $b = 0.39 \pm 0.171$ s, while the error models yielded parameters $\alpha_x = 0.0148 \pm 0.0011$, $\sigma^2_x = 15.52 \pm 2.093$, $\alpha_y = 0.0133 \pm 0.0011$, and $\sigma^2_y = 15.93 \pm 1.46$. These findings establish empirical benchmarks for simulated users and inform model-based optimization in subsequent phases.
The optimization performance was evaluated through a two-way repeated-measures ANOVA, revealing a significant main effect of iteration ($F(9, 99) = 27.16, p < .001$), indicating overall improvement in participant performance over time. However, no significant main effect of method was found ($F(2, 22) = 1.25, p = .307$), suggesting that no single method consistently outperformed the others across all iterations. Notably, NAF + demonstrated a performance advantage over TAF in the second and third iterations, while also outperforming ConBO in the third iteration. The results imply that while all methods converge to similar performance levels, NAF + benefits from its ability to generate synthetic users, enhancing early iteration performance and providing robustness in less informative scenarios.
Discussion
In the discussion section, the paper emphasizes the significance of model-based optimization in Human-Computer Interaction (HCI) and design, highlighting the transition from traditional manual optimization methods to computational approaches. The authors note that while engineering disciplines have successfully employed optimization workflows, HCI has begun to adopt similar strategies, particularly through the use of computational solvers over user models to enhance design processes. However, challenges remain, particularly in the area of inverse modeling, which is often computationally intensive and can lead to ambiguities in user modeling. To address these issues, the paper introduces the Human-in-the-Loop Optimization (HOMI) framework, which allows for adaptive interfaces by utilizing synthetic user data to inform optimization without the need for extensive user modeling.
The paper further explores Human-in-the-Loop Bayesian Optimization (HILO), which optimizes designs based on real-time user feedback rather than predefined models. Bayesian optimization is highlighted for its efficiency in requiring fewer user evaluations, although it faces limitations such as the “cold-start” problem. To mitigate this, the authors propose integrating meta-learning techniques into Bayesian optimization, termed meta-BO, which leverages past optimization tasks to enhance learning for new users. The introduction of the Neural Acquisition Function + (NAF +) is presented as a novel approach that replaces traditional acquisition functions with a neural network, allowing for dynamic adaptation to user needs and preferences. This framework aims to improve the efficiency and effectiveness of optimization in HCI by addressing the challenges of user variability and the need for rapid adaptation in real-world applications.
Limitations
The section on limitations of the Neural Architecture Framework (NAF) highlights both its strengths and critical drawbacks in real-world applications. A significant advantage of NAF is its ability to be trained with unlimited data without additional computational costs during deployment, making it particularly effective for the HOMI context, where synthetic users can be generated extensively through model sampling.
However, NAF’s limitations become apparent in practical optimization scenarios. Primarily, it is designed to optimize a single, fixed objective, which restricts its applicability in environments that require multi-objective trade-offs, such as balancing speed and accuracy or comfort and visibility. Furthermore, NAF’s performance is contingent upon the alignment between training and testing tasks; it excels only when real user performance closely mirrors that of the synthetic users utilized in training. This poses a significant risk, as deviations in real-world user behavior—often characterized by noise and diversity—can lead to suboptimal performance, particularly in out-of-distribution tasks.