DOI: https://doi.org/10.1145/3772318.3791742
تاريخ النشر: 2026-04-13
المؤلف: Zhuoyue Lyu وآخرون
الموضوع الرئيسي: العروض التفاعلية والغامرة
نظرة عامة
تقدم هذه القسم نظرة عامة على إطار العمل Objestures، الذي يدمج التفاعلات القائمة على الأجسام اليومية مع الإيماءات في الهواء عبر ثلاثة تطبيقات: الصوت، الرسم، والظل. وجد المشاركون في الدراسة أن هذه التفاعلات بديهية، وجذابة، ومعبرة، معبرين عن اهتمامهم بإمكاناتها للاستخدام اليومي. توضح الورقة تنوع Objestures من خلال 30 مثالًا وتناقش قيودها وآثارها على التطبيقات المستقبلية.
في الختام، تتناول الأبحاث الفجوة في الإرشادات الخاصة بدمج التفاعلات القائمة على الأجسام وإيماءات الهواء من خلال تعريف خمسة أنواع من التفاعلات ضمن إطار عمل Objestures. تساعد هذه المقاربة المنظمة المصممين والمطورين في فهم الخصائص التكميلية لهذه الأنماط. من خلال دراسات مستخدمين استكشافية ودراسات حالة مع نموذج أولي، يظهر المؤلفون أن Objestures يمكن أن تسهل المهام الأساسية ثلاثية الأبعاد وتعزز التطبيقات التعبيرية، مما يؤدي إلى تجارب مستخدم إيجابية. تساهم النتائج في تصميم التفاعلات التي تعزز الاتصال بين المستخدمين، والعالم المادي، والتجارب الرقمية.
مقدمة
تناقش مقدمة ورقة البحث التكامل المتزايد للواقع المختلط (MR) في الحياة اليومية، الذي يسهل بواسطة التقدم في التكنولوجيا مثل Apple Vision Pro وMeta Quest. تسلط الضوء على أهمية دمج الأجسام اليومية في تجارب MR، حيث توفر هذه الأجسام مزايا فطرية واستجابة لمسية. ومع ذلك، فإن وظيفة هذه التفاعلات مقيدة بالتوافر المادي للأجسام. بالمقابل، تفتقر الإيماءات في الهواء، على الرغم من كونها مريحة وخالية من أدوات التحكم، إلى الاستجابة اللمسية، مما قد يؤدي إلى إرهاق المستخدم وتقليل الدقة. تحدد الورقة فجوة في الأدبيات الحالية بشأن دمج التفاعلات القائمة على الأجسام اليومية (EOIs) وتفاعلات الإيماءات في الهواء (MAIs)، التي تقدم مزايا وقيود تكميلية.
لمعالجة هذه الفجوة، يقدم المؤلفون “Objestures”، وهو إطار عمل يتكون من خمسة أنواع من التفاعلات التي تمزج بين EOIs وMAIs، مما يخلق مجموعة متنوعة من التفاعلات. قاموا بتنفيذ نموذج أولي وأجروا دراسة مستخدمين استكشافية مع 12 مشاركًا لتقييم فعاليته في دعم التلاعبات الأساسية ثلاثية الأبعاد. أظهرت النتائج أن الأداء في دوران الأجسام وتغيير الحجم كان مشابهًا للتلاعب الحر الأصلي، دون وجود اختلافات كبيرة في وقت إكمال المهام، أو عبء العمل المدرك، أو تجربة المستخدم. وجد المشاركون أن التطبيقات بديهية وجذابة، مما يشير إلى إمكانية استخدامها في الحياة اليومية. تهدف الورقة في النهاية إلى تزويد المصممين والمطورين بفهم أوضح لكيفية الاستفادة من الخصائص التكميلية لـ EOIs وMAIs، مما يساهم في تفاعلات أكثر تعبيرًا تعزز الاتصال بين المستخدمين، والعالم المادي، والتجارب الرقمية.
النتائج
في قسم النتائج، حددت الدراسة مشكلات مع تكامل Oculus، خاصة بالنسبة للمستخدمين ذوي الأيدي الصغيرة، مما أدى إلى تفعيل خاطئ أثناء التفاعلات. لضمان جودة البيانات، تم استبعاد التجارب ذات وقت التفاعل الأدنى، أو تغييرات الحجم، أو زوايا الدوران، مما أسفر عن 809 نقطة بيانات صالحة للتحليل. استخدمت الدراسة ANOVA لتقييم تأثيرات الاقتراب والمسافة على مقاييس مختلفة، مع الإبلاغ عن أحجام تأثير eta-squared العامة وإجراء تحليلات قوة بعدية لتقييم التأثيرات الرئيسية.
أظهرت تقييمات تجربة المستخدم باستخدام NASA-TLX وUEQ-S عدم وجود اختلافات كبيرة بين أساليب التفاعل، على الرغم من ملاحظة اتجاه يفضل استخدام الأجسام المادية (Obj) على غير المادية (NObj) والتفاعلات القائمة على اليد (Hands). وجد المشاركون أن نهج Obj يوفر تحكمًا أكبر واستقرارًا، بينما كانت تفاعلات Hands تُعتبر بديهية ولكن تفتقر إلى الدقة، خاصة بالنسبة للمكعبات البعيدة. أدت غياب الأجسام المادية في تفاعلات NObj إلى تحديات في إدراك العمق وزيادة الحمل المعرفي، حيث أعرب العديد من المشاركين عن رغبتهم في الحصول على استجابة لمسية. بشكل عام، بينما تم تقدير حداثة التفاعلات الافتراضية، تم التعرف على عملية استخدام الأجسام المادية كفائدة للتطبيقات اليومية.
المناقشة
في هذا القسم، يناقش المؤلفون دمج التفاعلات القائمة على الأجسام اليومية (EOIs) وتفاعلات الإيماءات في الهواء (MAIs) من خلال تقديم إطار عمل يسمى Objestures. يتكون هذا الإطار من خمسة أنواع من التفاعلات التي تسهل كل من التفاعلات الأحادية والثنائية اليد، بهدف توفير مساحة تصميم شاملة لتفاعلات المستخدم التعبيرية. أظهرت دراسة المستخدمين الاستكشافية التي أجريت مع 12 مشاركًا أن أداء Objestures في المهام الأساسية ثلاثية الأبعاد، مثل الدوران وتغيير الحجم، كان مشابهًا لقدرات التلاعب الحر الأصلية لسماعة الرأس المستخدمة. تشير النتائج إلى أن استخدام EOIs يمكن أن يعزز تجربة المستخدم من خلال توفير استجابة لمسية، مما يقلل من قيود MAIs، مثل نقص الاستجابة اللمسية وفقدان الوكالة المحتمل.
يؤكد المؤلفون على أهمية فهم مزايا الأجسام اليومية وكيف يمكن إعادة استخدامها للتفاعل، بالإضافة إلى السياق التاريخي لأبحاث التفاعل الثنائي اليد. يبرزون أنه بينما كانت الدراسات السابقة غالبًا ما تركز على EOIs أو MAIs، فإن عملهم يسعى لتوحيد هذه الأنماط، مما يقدم مقاربة أكثر عمومية لتصميم التفاعل. تتيح مساحة التصميم التي أنشأتها Objestures مجموعة متنوعة من تركيبات التفاعل، والتي يمكن استكشافها بشكل أكبر في الأبحاث المستقبلية، مما يساهم في النقاش المستمر في تفاعل الإنسان مع الكمبيوتر (HCI) بشأن دمج أنماط التفاعل المادية والافتراضية.
DOI: https://doi.org/10.1145/3772318.3791742
Publication Date: 2026-04-13
Author(s): Zhuoyue Lyu et al.
Primary Topic: Interactive and Immersive Displays
Overview
This section presents an overview of the Objestures framework, which integrates everyday object-based interactions with mid-air gestures across three applications: Sound, Draw, and Shadow. Participants in the study found these interactions to be intuitive, engaging, and expressive, expressing interest in their potential for everyday use. The paper illustrates the versatility of Objestures through 30 examples and discusses its limitations and implications for future applications.
In conclusion, the research addresses the gap in guidance for combining object-based and mid-air gesture interactions by defining five interaction types within the Objestures framework. This structured approach aids designers and developers in understanding the complementary properties of these modalities. Through exploratory user studies and case studies with a prototype, the authors demonstrate that Objestures can facilitate basic 3D tasks and foster expressive applications, resulting in positive user experiences. The findings contribute to the design of interactions that enhance the connection between users, the physical world, and digital experiences.
Introduction
The introduction of the research paper discusses the growing integration of mixed reality (MR) into daily life, facilitated by advancements in technology such as the Apple Vision Pro and Meta Quest. It highlights the importance of incorporating everyday objects into MR experiences, as these objects provide inherent affordances and haptic feedback. However, the functionality of these interactions is constrained by the physical availability of the objects. In contrast, mid-air gestures, while convenient and controller-free, lack haptic feedback, which can lead to user fatigue and reduced accuracy. The paper identifies a gap in the existing literature regarding the integration of everyday object-based interactions (EOIs) and mid-air gesture interactions (MAIs), which offer complementary affordances and constraints.
To address this gap, the authors introduce “Objestures,” a framework comprising five interaction types that blend EOIs and MAIs, thereby creating a versatile set of interactions. They implemented a prototype and conducted an exploratory user study with 12 participants to evaluate its effectiveness in supporting basic 3D manipulations. The results indicated that performance in object rotation and scaling was comparable to native freehand manipulation, with no significant differences in task completion time, perceived workload, or user experience. Participants found the applications intuitive and engaging, suggesting potential for everyday use. The paper ultimately aims to provide designers and developers with a clearer understanding of how to leverage the complementary properties of EOIs and MAIs, contributing to more expressive interactions that enhance the connection between users, the physical world, and digital experiences.
Results
In the results section, the study identified issues with the Oculus Integration, particularly for users with small hands, leading to false triggers during interactions. To ensure data quality, trials with minimal interaction time, scale changes, or rotation angles were excluded, resulting in 809 valid data points for analysis. The study employed ANOVA to assess the effects of Approach and Distance on various metrics, reporting generalized eta-squared effect sizes and conducting post-hoc power analyses to evaluate the main effects.
User experience evaluations using NASA-TLX and UEQ-S revealed no significant differences among interaction approaches, although a trend was noted favoring the use of physical objects (Obj) over non-physical (NObj) and hand-based (Hands) interactions. Participants found the Obj approach provided greater control and stability, while Hands interactions were perceived as intuitive but lacked precision, especially for distant cubes. The absence of physical objects in NObj interactions led to challenges in depth perception and increased cognitive load, with many participants expressing a desire for haptic feedback. Overall, while the novelty of virtual interactions was appreciated, the practicality of using physical objects was recognized as beneficial for everyday applications.
Discussion
In this section, the authors discuss the integration of Everyday Object-based Interactions (EOIs) and Mid-Air Gesture Interactions (MAIs) through the introduction of a framework called Objestures. This framework comprises five interaction types that facilitate both unimanual and bimanual interactions, aiming to provide a comprehensive design space for expressive user interactions. The exploratory user study conducted with 12 participants demonstrated that the performance of Objestures in basic 3D tasks, such as rotation and scaling, was comparable to the native freehand manipulation capabilities of the headset used. The findings suggest that using EOIs can enhance user experience by providing tactile feedback, thereby mitigating the limitations of MAIs, such as the lack of haptic feedback and potential loss of agency.
The authors emphasize the importance of understanding the affordances of everyday objects and how they can be repurposed for interaction, as well as the historical context of bimanual interaction research. They highlight that while previous studies have often focused on either EOIs or MAIs, their work seeks to unify these modalities, offering a more generalized approach to interaction design. The design space created by Objestures allows for a variety of interaction combinations, which can be further explored in future research, thus contributing to the ongoing discourse in Human-Computer Interaction (HCI) regarding the integration of physical and virtual interaction modalities.