DOI: https://doi.org/10.1038/s41467-023-44673-2
PMID: https://pubmed.ncbi.nlm.nih.gov/38225246
تاريخ النشر: 2024-01-15
المؤلف: Jin Pyo Lee وآخرون
الموضوع الرئيسي: التعرف على العواطف والمزاج
نظرة عامة
يتناول القسم تطوير نظام متعدد الوسائط للتعرف على المشاعر البشرية يدمج بين بيانات التعبير اللفظي وغير اللفظي لتعزيز التفاعل بين الإنسان والآلة. يستخدم هذا النظام واجهة وجه مدمجة في الجلد مخصصة (PSiFI)، والتي تتميز بتصميمها القابل للتمدد والشفاف والمزود بالطاقة الذاتية، مع وجود مستشعر للضغط والاهتزاز الكهربائي ثنائي الاتجاه. يسمح هذا المستشعر المبتكر بالتقاط بيانات المشاعر في الوقت نفسه، مما يسهل التعرف على المشاعر في الوقت الحقيقي حتى في الظروف الصعبة، مثل عندما يرتدي الأفراد أقنعة. يمكّن دمج تقنيات التعلم الآلي من التعرف الدقيق على مختلف المشاعر البشرية، مع تطبيقات محتملة في مجالات متنوعة تشمل واجهات الإنسان والآلة، والروبوتات، والتسويق، والرعاية الصحية، والتعليم.
يسلط النص الضوء على التعقيدات المرتبطة بفك شفرة المعلومات العاطفية بسبب طبيعتها المجردة والشخصية. غالبًا ما تعتمد الطرق التقليدية للتعرف على المشاعر على تحليل تعبيرات الوجه أو الكلام، والتي يمكن أن تعيقها العوامل البيئية. في المقابل، يهدف النظام المقترح إلى التغلب على هذه القيود من خلال استخراج أنماط ذات مغزى من مصادر البيانات المدمجة، مثل الكلام، والإيماءات، والإشارات الفسيولوجية. لا يحسن هذا النهج الشامل من دقة الكشف عن المشاعر فحسب، بل يؤكد أيضًا على أهمية ترميز هذه الأنماط في معلمات التفاعل المخصصة لتطبيقات معينة، مما يؤدي في النهاية إلى خدمات أكثر ملاءمة للمستخدم ومخصصة.
طرق
في هذه الدراسة، تضمنت المواد المستخدمة بوليديميثيلسيلوكسان (PDMS) المستخرج من داو كورنينغ، والذي تم تحضيره بنسبة وزن 10:1 لقاعدة الإيلاستومر ووكيل المعالجة. بالإضافة إلى ذلك، تم الحصول على تشتت مائي من بولي(3،4-إيثيلين ديوكسي ثيوفين): بولي(ستايرين سلفونات) (PEDOT:PSS) بتركيز يتجاوز 3%، وإيثيلين غليكول (99.8%)، وجزيئات الذهب النانوية (Au NPs) بحجم تقريبي يبلغ 100 نانومتر من سيغما-ألدريش. تم الحصول على المذيبات الأسيتون (99.5%) والكحول الإيزوبروبيلي (IPA) (99.5%) من سامتشون كيميكل لاستخدامها في الإجراءات التجريبية.
تم اختيار هذه المواد لخصائصها المحددة التي تساهم في الأهداف العامة للبحث، والتي من المحتمل أن تشمل تصنيع وتوصيف مواد أو أجهزة مركبة جديدة تستفيد من الخصائص الفريدة للمكونات المدرجة.
نتائج
يقدم قسم “النتائج” في ورقة البحث النتائج الرئيسية المستمدة من التجارب أو التحليلات التي تم إجراؤها. عادةً ما يتضمن بيانات كمية، وتحليلات إحصائية، وتمثيلات بيانية توضح نتائج الدراسة. غالبًا ما تتم مقارنة النتائج مع الفرضيات أو التوقعات الأولية، مما يبرز الاتجاهات المهمة، والارتباطات، أو الشذوذات التي لوحظت خلال البحث.
في هذا القسم، قد يناقش المؤلفون أيضًا تداعيات نتائجهم، مؤكدين كيف تساهم في المعرفة الموجودة في هذا المجال. من المحتمل أيضًا معالجة أي قيود واجهت خلال الدراسة، بالإضافة إلى الطرق المحتملة للبحث المستقبلي، لتوفير فهم شامل للنتائج وأهميتها.
مناقشة
في هذه الدراسة، قدمنا نظام واجهة وجه مدمجة في الجلد مخصصة (PSiFI)، مصممة للتعرف على المشاعر البشرية في الوقت الحقيقي من خلال مستشعرات كهربائية متعددة الوسائط (TES) ومصنف تعلم عميق. يتضمن نظام PSiFI عملية إعادة بناء وجه ثلاثية الأبعاد لإنشاء أجهزة مخصصة تناسب المستخدمين الأفراد، مما يعزز دقة التعرف على المشاعر. يلتقط النظام كل من التعبيرات اللفظية وغير اللفظية من خلال اكتشاف الإشارات الكهربائية من مناطق الوجه الرئيسية والأحبال الصوتية، والتي يتم نقلها لاسلكيًا للتصنيف باستخدام شبكة عصبية تلافيفية (CNN). أظهر TES، الذي تم بناؤه من هيكل مزدوج الطبقات من PDMS المغطى بـ PEDOT:PSS وPDMS نانوي الهيكل، أداءً متفوقًا من حيث الخصائص الميكانيكية والكهربائية مقارنةً بالأقطاب التقليدية.
تقوم وحدة استشعار الضغط بتحويل ضغوط جلد الوجه إلى إشارات كهربائية بفعالية، محققة حساسية عالية واستجابة في الوقت الحقيقي، بينما تلتقط وحدة استشعار الصوت الاهتزازات الصوتية مع إخراج معزز من خلال ثقوب صوتية مصممة بشكل استراتيجي. يسمح دمج هذه الوحدات الاستشعارية بالكشف الشامل عن المشاعر، حيث حقق النظام دقة تصنيف تبلغ 93.3% في سيناريوهات الوقت الحقيقي، حتى في ظل ظروف صعبة مثل ارتداء قناع الوجه. بالإضافة إلى ذلك، عرضنا تطبيق PSiFI في بيئة واقع افتراضي (VR)، مما يتيح خدمة كونسيرج رقمية تتكيف مع الحالات العاطفية للمستخدمين، مما يعزز تجربة المستخدم عبر تطبيقات عملية متنوعة. بشكل عام، يمثل PSiFI تقدمًا كبيرًا في تكنولوجيا التعرف على المشاعر القابلة للارتداء، مع تداعيات محتملة للتحول الرقمي في مجالات متعددة.
DOI: https://doi.org/10.1038/s41467-023-44673-2
PMID: https://pubmed.ncbi.nlm.nih.gov/38225246
Publication Date: 2024-01-15
Author(s): Jin Pyo Lee et al.
Primary Topic: Emotion and Mood Recognition
Overview
The section discusses the development of a multi-modal human emotion recognition system that integrates both verbal and non-verbal expression data to enhance human-machine interaction. This system employs a personalized skin-integrated facial interface (PSiFI), which is characterized by its self-powered, stretchable, and transparent design, featuring a bidirectional triboelectric strain and vibration sensor. This innovative sensor allows for the simultaneous capture of emotional data, facilitating real-time emotion recognition even in challenging conditions, such as when individuals are wearing masks. The integration of machine learning techniques enables accurate recognition of various human emotions, with potential applications across diverse fields including human-machine interfaces, robotics, marketing, healthcare, and education.
The text highlights the complexities involved in decoding emotional information due to its abstract and personalized nature. Traditional methods of emotion recognition often rely on facial expression analysis or speech, which can be hindered by environmental factors. In contrast, the proposed system aims to overcome these limitations by extracting meaningful patterns from combined data sources, such as speech, gestures, and physiological signals. This comprehensive approach not only improves the accuracy of emotion detection but also emphasizes the importance of encoding these patterns into interaction parameters tailored for specific applications, ultimately leading to more user-friendly and customized services.
Methods
In this study, the materials utilized included polydimethylsiloxane (PDMS) obtained from Dow Corning, which was prepared in a weight ratio of 10:1 for the elastomer base and curing agent. Additionally, aqueous dispersions of poly(3,4-ethylenedioxythiophene):poly(styrenesulfonate) (PEDOT:PSS) with a concentration exceeding 3%, ethylene glycol (99.8%), and gold nanoparticles (Au NPs) with an approximate size of 100 nm were sourced from Sigma-Aldrich. The solvents acetone (99.5%) and isopropyl alcohol (IPA) (99.5%) were acquired from Samchun Chemical for use in the experimental procedures.
These materials were selected for their specific properties that contribute to the overall objectives of the research, which likely involve the fabrication and characterization of novel composite materials or devices leveraging the unique characteristics of the components listed.
Results
The “Results” section of the research paper presents the key findings derived from the conducted experiments or analyses. It typically includes quantitative data, statistical analyses, and graphical representations that illustrate the outcomes of the study. The results are often compared against the initial hypotheses or expectations, highlighting significant trends, correlations, or anomalies observed during the research.
In this section, the authors may also discuss the implications of their findings, emphasizing how they contribute to the existing body of knowledge in the field. Any limitations encountered during the study, as well as potential avenues for future research, are also likely addressed to provide a comprehensive understanding of the results and their relevance.
Discussion
In this study, we introduced the Personalized Skin-Integrated Facial Interface (PSiFI) system, designed for real-time human emotion recognition through multimodal triboelectric sensors (TES) and a deep-learning classifier. The PSiFI incorporates a 3D face reconstruction process to create personalized devices that fit individual users, enhancing the accuracy of emotion recognition. The system captures both verbal and non-verbal expressions by detecting electrical signals from key facial regions and vocal cords, which are then wirelessly transmitted for classification using a convolutional neural network (CNN). The TES, constructed from a two-layer structure of PEDOT:PSS-coated polydimethylsiloxane (PDMS) and nanostructured PDMS, demonstrated superior performance in terms of mechanical and electrical properties compared to conventional electrodes.
The strain sensing unit effectively converts facial skin strains into electrical signals, achieving high sensitivity and real-time responsiveness, while the vocal sensing unit captures vocal vibrations with enhanced output through strategically designed acoustic holes. The integration of these sensing units allows for comprehensive emotion detection, with the system achieving a classification accuracy of 93.3% in real-time scenarios, even under challenging conditions such as wearing a facial mask. Additionally, we showcased the application of the PSiFI in a virtual reality (VR) environment, enabling a digital concierge service that adapts to users’ emotional states, thereby enhancing user experience across various practical applications. Overall, the PSiFI represents a significant advancement in wearable emotion recognition technology, with potential implications for digital transformation in multiple domains.