DOI: https://doi.org/10.1038/s41597-025-04670-0
PMID: https://pubmed.ncbi.nlm.nih.gov/40122908
تاريخ النشر: 2025-03-23
المؤلف: Alexis Devillard وآخرون
الموضوع الرئيسي: التفاعلات اللمسية والحسية
نظرة عامة
تقدم هذه الورقة مجموعة بيانات متعددة الوسائط جديدة تلتقط إشارات لمسية وصوتية وبصرية متزامنة من عشرة مشاركين يتفاعلون مع عشرة أسطح ذات قوام مميز باستخدام أصابعهم العارية. تتضمن مجموعة البيانات صورًا ثلاثية الأبعاد للقوام، بالإضافة إلى قياسات لموقع طرف الإصبع، والسرعة، والحمولة المطبقة، والصوت المنبعث، والاهتزازات الناتجة عن الاحتكاك. تتيح هذه الطريقة، التي تستخدم إصبع الإنسان بدلاً من المجسات الصلبة المزودة بأجهزة استشعار، الحصول على بيانات لمسية بشكل أكثر طبيعية، مما يعالج فجوة حرجة في الموارد للتحقيق في استكشاف اللمس البشري والآليات الإدراكية، فضلاً عن تعزيز الإدراك اللمسي الاصطناعي.
علاوة على ذلك، شملت الدراسة خمسة عشر مشاركًا أكملوا استبيانًا يقيم تصوراتهم الذاتية حول الأسطح. تم جمع مجموعة البيانات من خلال بروتوكولات مصممة بعناية تضمنت سيناريوهات استكشاف محكومة وأخرى حرة، مما يجعلها موردًا قيمًا لفحص تكامل الحواس المتعددة لدى البشر. تشير التحليلات الأولية إلى إمكانيات مجموعة البيانات، حيث حققت المصنفات المدربة على مجموعات بيانات مختلفة دقة واعدة في تحديد الأسطح. وهذا يبرز أهمية مجموعة البيانات في تعزيز البحث في الإدراك الحسي المتعدد وتطوير واجهات الإنسان والآلة.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على أهمية تكامل الحواس المتعددة في الإدراك البشري، وخاصة في فهم الخصائص الفيزيائية للأسطح من خلال اللمس والرؤية والسمع. تؤكد على أن الجمع بين هذه الوسائط يعزز دقة واستقرار الإدراك، كما يتضح من ظواهر مثل تأثير اللمس الزائف وتأثير الإشارات السمعية على الإدراك اللمسي. ركزت الدراسات السابقة بشكل أساسي على المجسات الصلبة لالتقاط البيانات الحسية، وغالبًا ما أهملت التفاعل المباشر لأصابع الإنسان العارية مع الأسطح. تسلط هذه الفجوة في البحث الضوء على الحاجة إلى مجموعات بيانات شاملة تتضمن إشارات بصرية وسمعية ولمسية متزامنة.
لمعالجة هذه الفجوة، يقدم المؤلفون مجموعة بيانات متعددة الوسائط جديدة تم جمعها من تفاعلات الأصابع العارية مع أسطح ذات قوام مختلف. تشمل هذه المجموعة صورًا ثلاثية الأبعاد، وموقع طرف الإصبع وسرعته، والحمولة المطبقة، والصوت المنبعث، والاهتزازات الناتجة عن الاحتكاك. تهدف قرار استخدام الأصابع العارية إلى ضمان جمع بيانات طبيعية، مما يعزز قابلية تطبيق مجموعة البيانات للدراسات الإدراكية وتطبيقات التعلم الآلي. يتم إثبات إمكانيات هذه المجموعة من خلال دقة المصنفات المدربة على مجموعات بيانات متعددة الوسائط المجمعة، مما يمهد الطريق لمزيد من الاستكشاف للتفاعل المعقد بين اللمس والرؤية والصوت في الإدراك البشري.
الطرق
في هذه الدراسة، تم استخدام إعداد تجريبي متخصص للتحقيق في البيانات الحسية متعددة الوسائط من تفاعلات أطراف الأصابع البشرية مع أسطح ذات قوام مختلف. تم تصميم الإعداد، الموجود في غرفة معزولة صوتيًا لتقليل الضوضاء الخارجية، لالتقاط بيانات بصرية وصوتية ولمسية عالية الدقة بينما كانت أصابع المشاركين تنزلق عبر قوامات مختلفة. تمت الموافقة على البحث أخلاقيًا من قبل لجنة أخلاقيات البحث في كلية إمبريال بلندن (رقم الموافقة: 22IC7699).
شمل البروتوكول التجريبي عشرة مشاركين من اليد اليمنى (5 ذكور و5 إناث)، تتراوح أعمارهم بين 18 و50 عامًا، الذين قدموا موافقة مستنيرة قبل المشاركة. شارك كل مشارك في 50 تجربة، مع خمس تجارب لكل من عشرة قوامات مختارة، أجريت على مدار ساعة تقريبًا بين أغسطس وسبتمبر 2023. لتقليل تأثيرات الترتيب، تم تقديم القوامات في تسلسل عشوائي. تم تصنيف التجارب إلى ثلاثة أنواع – قياسية، سرعة ثابتة، وحمولة ثابتة – كل منها مع قيود محددة، وتم تقسيمها إلى خمس مراحل لالتقاط جوانب مميزة من التفاعل اللمسي. تضمنت المرحلة الأولية من كل تجربة معايرة الحمولة، حيث وضع المشاركون أصابعهم فوق القوام دون الاتصال.
النتائج
تشير النتائج إلى أن النماذج التي تستخدم البيانات اللمسية تفوقت بشكل كبير على تلك المعتمدة فقط على البيانات الصوتية أو بيانات التسارع، كما هو موضح في الشكل 7 ومفصل في الجدول 5. من الجدير بالذكر أن النموذج اللمسي المدمج حقق أعلى دقة تصنيف ودرجة F1، مما يبرز مزايا دمج مصادر البيانات اللمسية المتعددة لتحسين الأداء في مهام التصنيف.
المناقشة
في هذا القسم، يوضح المؤلفون منهجيتهم لالتقاط وتحليل البيانات متعددة الوسائط المتعلقة بالإدراك اللمسي، مع التركيز على التفاعلات البصرية واللمسية والسمعية مع أسطح ذات قوام مختلف. تم تسجيل صور ثلاثية الأبعاد عالية الدقة باستخدام كاميرتين بدقة 4K لتوفير معلومات العمق الضرورية لفهم طبوغرافيا السطح. تم جمع البيانات اللمسية من خلال مجموعة من أجهزة الاستشعار، بما في ذلك جهاز استشعار القوة/العزم ذو الستة محاور ومقاييس التسارع، لقياس القوى والاهتزازات وموقع طرف الإصبع أثناء التفاعلات. تم أيضًا تسجيل البيانات الصوتية باستخدام ميكروفونات اتجاهية لالتقاط الأصوات الناتجة خلال هذه التفاعلات، مما يبرز الحاجة إلى معالجة فعالة للإشارات وتزامن عبر جميع مصادر البيانات.
شمل البروتوكول التجريبي تفاعل المشاركين مع عشرة قوامات مختارة، تم تصميم كل منها لاستثارة استجابات لمسية وسمعية مميزة. تم هيكلة التجارب لتقييم جوانب مختلفة من التفاعل اللمسي، بما في ذلك قيود الحمولة والسرعة. تم إجراء تقييم نفسي فيزيائي لجمع التصورات الذاتية حول القوامات، والتي تم تقييمها بناءً على ميزات متعددة باستخدام مقياس من 1 إلى 10. تم تنظيم مجموعة البيانات الناتجة من هذه التجارب لتكون سهلة الوصول وإعادة الإنتاج، تحتوي على سجلات مفصلة للتفاعلات الفيزيائية، وصور القوام، والتقييمات النفسية الفيزيائية. تسلط النتائج الضوء على أهمية البيانات متعددة الوسائط في فهم التفاعلات اللمسية وتوفر أساسًا للبحث المستقبلي في الدراسات الإدراكية وتطبيقات التعلم الآلي.
DOI: https://doi.org/10.1038/s41597-025-04670-0
PMID: https://pubmed.ncbi.nlm.nih.gov/40122908
Publication Date: 2025-03-23
Author(s): Alexis Devillard et al.
Primary Topic: Tactile and Sensory Interactions
Overview
This paper introduces a novel multi-modal dataset that captures concurrent haptic, audio, and visual signals from ten participants interacting with ten distinct textured surfaces using their bare fingers. The dataset comprises stereoscopic images of the textures, along with measurements of fingertip position, speed, applied load, emitted sound, and friction-induced vibrations. This approach, which employs a human finger instead of rigid sensorized probes, allows for a more naturalistic acquisition of haptic data, addressing a critical gap in resources for investigating human tactile exploration and perceptual mechanisms, as well as for advancing artificial tactile perception.
Furthermore, the study involved fifteen participants who completed a questionnaire assessing their subjective perceptions of the surfaces. The dataset was collected through meticulously designed protocols that included both controlled and free exploration scenarios, making it a valuable resource for examining human multi-sensory integration. Preliminary analyses indicate the dataset’s potential, as classifiers trained on various combinations of data modalities achieved promising accuracy in surface identification. This underscores the dataset’s significance for enhancing research in multi-sensory perception and the development of human-machine interfaces.
Introduction
The introduction of this research paper highlights the significance of multi-sensory integration in human perception, particularly in understanding the physical properties of surfaces through touch, vision, and audition. It emphasizes that the combination of these modalities enhances perceptual accuracy and stability, as evidenced by phenomena such as the pseudo-haptic effect and the influence of auditory cues on tactile perception. Previous studies have primarily focused on rigid probes to capture sensory data, often neglecting the direct interaction of bare human fingers with surfaces. This gap in research underscores the need for comprehensive datasets that include synchronized visual, auditory, and haptic signals.
To address this gap, the authors present a novel multi-modal dataset collected from bare finger interactions with various textured surfaces. This dataset encompasses stereoscopic images, fingertip position and speed, applied load, emitted sound, and friction-induced vibrations. The decision to use bare fingers aims to ensure naturalistic data collection, enhancing the dataset’s applicability for perceptual studies and machine learning applications. The potential of this dataset is demonstrated through the accuracy of classifiers trained on different combinations of the collected multi-modal data, paving the way for further exploration of the intricate interplay between touch, vision, and sound in human perception.
Methods
In this study, a specialized experimental setup was employed to investigate multi-modal sensory data from human fingertip interactions with various textured surfaces. The setup, located in a sound-proofed room to minimize external noise, was designed to capture high-resolution visual, audio, and haptic data as participants’ fingers slid across different textures. The research was ethically approved by the Research Ethics Committee of Imperial College London (approval number: 22IC7699).
The experimental protocol involved ten right-handed participants (5 males and 5 females), aged 18 to 50, who provided informed consent prior to participation. Each participant engaged in 50 trials, with five trials for each of ten selected textures, conducted over approximately one hour between August and September 2023. To mitigate order effects, the textures were presented in a randomized sequence. The trials were categorized into three types—Standard, Constant Speed, and Constant Load—each with specific constraints, and were further divided into five phases to capture distinct aspects of tactile interaction. The initial phase of each trial involved load calibration, where participants positioned their fingers above the texture without making contact.
Results
The results indicate that models utilizing tactile data significantly outperformed those based solely on audio or acceleration data, as illustrated in Figure 7 and detailed in Table 5. Notably, the combined tactile model achieved the highest classification accuracy and F1 score, underscoring the advantages of integrating multiple tactile data sources for improved performance in classification tasks.
Discussion
In this section, the authors detail their methodology for capturing and analyzing multimodal data related to haptic perception, focusing on visual, tactile, and auditory interactions with various textured surfaces. High-resolution stereoscopic images were recorded using two 4K cameras to provide depth information essential for understanding surface topography. Tactile data were collected through a combination of sensors, including a six-axis force/torque sensor and accelerometers, to measure the forces, vibrations, and fingertip position during interactions. Audio data were also recorded using directional microphones to capture sounds generated during these interactions, emphasizing the need for effective signal conditioning and synchronization across all data sources.
The experimental protocol involved participants interacting with ten selected textures, each designed to elicit distinct tactile and auditory responses. Trials were structured to assess various aspects of tactile interaction, including load and speed constraints. A psychophysical evaluation was conducted to gather subjective perceptions of the textures, which were rated on multiple features using a 1-10 scale. The dataset generated from these experiments is organized for accessibility and reproducibility, containing detailed records of physical interactions, texture images, and psychophysical evaluations. The findings highlight the importance of multimodal data in understanding tactile interactions and provide a foundation for future research in perceptual studies and machine learning applications.