DOI: https://doi.org/10.1016/j.ijhcs.2026.103765
تاريخ النشر: 2026-02-20
المؤلف: Shu Zhong وآخرون
الموضوع الرئيسي: التفاعلات اللمسية والحسية
نظرة عامة
تبحث ورقة البحث في التوافق الإدراكي بين البشر والذكاء الاصطناعي، مع التركيز بشكل خاص على نماذج اللغة الكبيرة (LLMs) في سياق التجارب اللمسية مع الأنسجة. استخدمت الدراسة مهمة تفاعلية، “خمن ما هو النسيج”، بمشاركة 40 مشاركًا لتقييم مدى توافق LLMs مع إدراكات البشر لمختلف الأنسجة. تشير النتائج إلى وجود عدم توافق منهجي، حيث تظهر LLMs فهمًا متحيزًا للمس يختلف بشكل كبير عبر مواد مختلفة، مثل الساتان الحريري والدنيم القطني. تتجمع التمثيلات الداخلية لـ LLMs بناءً على التشابهات اللغوية أو الفئوية بدلاً من الخصائص الإدراكية، مما يشير إلى أنه لم يتم بعد إنشاء “فضاء اللمس” الشامل.
يؤكد المؤلفون على ضرورة وجود بيانات حسية أغنى لتعزيز توافق البشر والذكاء الاصطناعي، خاصة في تطبيقات الذكاء الاصطناعي المجسد مثل الروبوتات والأجهزة المساعدة. يجادلون بأن النماذج الحالية محدودة في قدراتها على الحكم الحسي، خاصة فيما يتعلق بالإدراك اللمسي، ويحذرون من إمكانية استمرار التحيزات في الأنظمة متعددة الوسائط. لمعالجة هذه التحديات، تدعو الورقة إلى دمج المدخلات الحسية متعددة الوسائط—البصرية، والسمعية، واللمسية—في النماذج المستقبلية. تهدف هذه المقاربة إلى تطوير تمثيلات علاقات التجارب اللمسية، مع تسليط الضوء على أهمية الاعتبارات الأخلاقية في تشكيل فهم الذكاء الاصطناعي للمس والتجارب المجسدة.
مقدمة
تتناول مقدمة هذه الورقة البحثية المجال الحرج لتوافق البشر والذكاء الاصطناعي، مع التأكيد على ضرورة توافق أنظمة الذكاء الاصطناعي مع أهداف وسلوكيات البشر. تسلط الضوء على أهمية القوة، وقابلية التفسير، وقابلية التحكم، والأخلاق في تطوير الذكاء الاصطناعي، خاصة مع تزايد تكامل تقنيات الذكاء الاصطناعي في الحياة اليومية. يركز جزء رئيسي من الدراسة على “التوافق الإدراكي”، الذي يُعرف بأنه الاتفاق بين تقييمات الذكاء الاصطناعي والأحكام الذاتية البشرية بشأن الأجسام المادية عبر مختلف الحواس. يجادل المؤلفون بأن تحقيق التوافق الإدراكي، خاصة في التجارب اللمسية، أمر ضروري لتفاعلات فعالة بين البشر والذكاء الاصطناعي.
تبحث الورقة بشكل خاص كيف يمكن لنماذج اللغة الكبيرة (LLMs) تحقيق التوافق الإدراكي في سياق الخصائص اللمسية للأقمشة، من خلال دراسة مستخدم تتضمن مهمة “خمن ما هو النسيج”. تكشف الدراسة أنه على الرغم من وجود بعض التوافق، تم ملاحظة تحيزات تجاه أقمشة معينة، مما يشير إلى درجات متفاوتة من التوافق مع إدراكات البشر. يساهم المؤلفون في هذا المجال من خلال معالجة الفجوة في التوافق الإدراكي بين لمسة البشر والذكاء الاصطناعي، ورسم المعلومات الحسية على فضاءات التضمين، وتصميم مهمة تفاعلية تعكس السيناريوهات الحياتية. كما يناقشون التحديات الكامنة في التقاط التجارب اللمسية بسبب تعقيد وغموض اللغة اللمسية، والتي غالبًا ما تكون ممثلة بشكل ناقص في البيانات النصية. تؤكد هذه الدراسة على أهمية سد الفجوة بين لغة الخبراء واللغة اليومية لتعزيز فعالية أنظمة الذكاء الاصطناعي في تفسير التجارب الحسية البشرية.
النتائج
في هذه الدراسة، قمنا بتحليل 80 مهمة “خمن ما هو النسيج؟”، مما أسفر عن إجمالي 362 محاولة، بمتوسط 4.53 محاولة لكل مهمة (الانحراف المعياري = 1.41)، أجراها 40 مشاركًا. تم تنظيم النتائج بناءً على ثلاثة قياسات رئيسية تقيم التوافق العام في أداء المهمة.
ستوفر الأقسام التالية فحصًا مفصلًا لمقارنات الأداء الخاصة بالنسيج، مع تسليط الضوء على الاختلافات في استجابات المشاركين وفعاليتهم عبر فئات الأنسجة المختلفة. تهدف هذه التحليل إلى توضيح العوامل التي تؤثر على نجاح المهمة ومشاركة المشاركين في سياق تحديد الأنسجة.
المناقشة
في قسم المناقشة من الورقة، يستكشف المؤلفون مفهوم توافق البشر والذكاء الاصطناعي، مع التركيز بشكل خاص على الإدراك اللمسي والتحديات المرتبطة به. يسلطون الضوء على أهمية توافق أنظمة الذكاء الاصطناعي مع التجارب الحسية البشرية، مؤكدين أنه على الرغم من تحقيق تقدم كبير في مجالات مثل اللغة والرؤية، لا يزال الفهم اللمسي غير مستكشف بشكل كاف. يشير المؤلفون إلى دراسات مختلفة حاولت سد هذه الفجوة، مثل عمل مارجيه وآخرين (2023)، الذي أظهر أن نماذج الذكاء الاصطناعي مثل GPT-4 يمكنها تفسير الأحكام الحسية البشرية، وفو وآخرين (2021)، الذين قدموا مجموعة بيانات لتوافق اللمس والرؤية واللغة. ومع ذلك، يلاحظون أن رسم اللغة اللمسية لا يزال في مراحله الأولى، حيث تتفوق النماذج الحالية بشكل أساسي في المهام البصرية.
يقترح المؤلفون مهمة تفاعلية جديدة، “خمن ما هو النسيج؟”، مصممة لتقييم التوافق بين أوصاف اللمس البشرية وتفسيرات الذكاء الاصطناعي. تستفيد هذه المهمة من مفهوم “يد النسيج”، الذي يشمل الخصائص اللمسية للأقمشة، مما يسمح للمشاركين بوصف تجاربهم الحسية بينما يحاول الذكاء الاصطناعي تحديد الأنسجة بناءً على هذه الأوصاف. تهدف الدراسة إلى تقييم مدى جودة ترميز نماذج اللغة الكبيرة (LLMs) للخصائص اللمسية وما إذا كانت تمثيلاتها تتوافق مع إدراكات البشر. يحدد المؤلفون منهجيتهم، التي تشمل قياس معدلات نجاح الذكاء الاصطناعي، وصحة التنبؤات، ودرجات التشابه بين تخمينات الذكاء الاصطناعي والأنسجة الفعلية، مما يوفر إطارًا شاملاً لتقييم التوافق الإدراكي بين البشر والذكاء الاصطناعي في السياقات اللمسية.
القيود
تسلط قيود هذه الدراسة الضوء على عدة مجالات حاسمة للبحث المستقبلي في فهم التجارب اللمسية من خلال نماذج اللغة. أولاً، لا تشمل التركيز على الأنسجة كحقل اختبار محكوم الطيف الكامل للتفاعلات اللمسية عبر مواد وسياقات متنوعة. يجب أن توسع التحقيقات المستقبلية نطاقها لتشمل أشياء متنوعة وأبعاد لمسية، مثل درجة الحرارة والامتثال، لتعزيز فهم كيفية تفسير نماذج اللغة للمس (Lim et al., 2025; حسن، 2023). بالإضافة إلى ذلك، تبرز حجم العينة المحدود وتنوع اللغة في أوصاف المشاركين، التي تم جمعها بشكل أساسي باللغة الإنجليزية، الحاجة إلى دراسات متعددة اللغات وعبر الثقافات لالتقاط التباين في اللغة اللمسية عبر ثقافات مختلفة.
علاوة على ذلك، تشير الدراسة إلى فجوة كبيرة في البيانات واسعة النطاق حول اللمس، حيث نادرًا ما يتم توثيق التجارب اللمسية في اللغة اليومية. يجب أن تعطي الجهود المستقبلية الأولوية لجمع مجموعات بيانات متنوعة تعكس كيفية وصف الأفراد للإحساسات اللمسية في السياقات الطبيعية، على غرار عمل سيفي على مكتبات الاهتزاز (Seifi et al., 2015). كما تشير الأبحاث إلى القيود المفروضة من قبل القيود الأمنية على النماذج التوليدية، والتي أعاقت التجارب والتقييم الشامل. سيكون من الضروري معالجة هذه الاعتبارات الأخلاقية مع تعزيز الحوار المفتوح بين مطوري الذكاء الاصطناعي، وباحثي التفاعل بين الإنسان والكمبيوتر، والأخلاقيين من أجل تعزيز نهج مسؤول في نمذجة التجارب الحسية. من خلال دمج التعلم متعدد الوسائط، ومجموعات البيانات الشاملة، والتصميم الأخلاقي، يمكن أن تعزز الأبحاث المستقبلية فهم أنظمة الذكاء الاصطناعي للإحساسات اللمسية.
DOI: https://doi.org/10.1016/j.ijhcs.2026.103765
Publication Date: 2026-02-20
Author(s): Shu Zhong et al.
Primary Topic: Tactile and Sensory Interactions
Overview
The research paper investigates the perceptual alignment between humans and AI, specifically focusing on large language models (LLMs) in the context of tactile experiences with textiles. The study employed an interactive task, “Guess What Textile,” involving 40 participants to assess how well LLMs align with human perceptions of various textiles. The findings indicate a systematic misalignment, with LLMs demonstrating a biased understanding of touch that varies significantly across different materials, such as silk satin and cotton denim. The internal representations of LLMs cluster based on linguistic or categorical similarities rather than perceptual attributes, suggesting that a comprehensive “touch space” has yet to be established.
The authors emphasize the necessity for richer sensory data to enhance human-AI alignment, particularly in embodied AI applications like robotics and assistive devices. They argue that current models are limited in their sensory judgment capabilities, particularly regarding tactile perception, and caution against the potential for perpetuating biases in multimodal systems. To address these challenges, the paper advocates for the integration of multimodal sensory inputs—visual, auditory, and haptic—into future models. This approach aims to develop relational representations of tactile experiences, highlighting the importance of ethical considerations in shaping AI’s understanding of touch and embodied experiences.
Introduction
The introduction of this research paper addresses the critical area of human-AI alignment, emphasizing the necessity for AI systems to align their goals and behaviors with human intentions. It highlights the importance of robustness, interpretability, controllability, and ethicality in AI development, particularly as AI technologies become increasingly integrated into daily life. A key focus of the study is “perceptual alignment,” defined as the agreement between AI assessments and human subjective judgments regarding physical objects across various sensory modalities. The authors argue that achieving perceptual alignment, especially in tactile experiences, is essential for effective human-AI interactions.
The paper specifically investigates how large language models (LLMs) can achieve perceptual alignment in the context of tactile properties of textiles, through a user study involving a “Guess What Textile” task. The study reveals that while some alignment exists, biases towards certain textiles were noted, indicating varying degrees of alignment with human perceptions. The authors contribute to the field by addressing the gap in perceptual alignment between human touch and AI, mapping sensory information onto embedding spaces, and designing an interactive task that reflects real-life scenarios. They also discuss the inherent challenges in capturing tactile experiences due to the complexity and ambiguity of tactile language, which is often underrepresented in textual data. This research underscores the importance of bridging the gap between expert and everyday language to enhance the effectiveness of AI systems in interpreting human sensory experiences.
Results
In this study, we analyzed 80 “Guess What Textile?” tasks, which resulted in a total of 362 attempts, averaging 4.53 attempts per task (standard deviation = 1.41), conducted by 40 participants. The findings are organized based on three key measurements that assess overall alignment in task performance.
Subsequent sections will provide a detailed examination of textile-specific performance comparisons, highlighting variations in participant responses and effectiveness across different textile categories. This analysis aims to elucidate the factors influencing task success and participant engagement within the context of textile identification.
Discussion
In the discussion section of the paper, the authors explore the concept of human-AI alignment, particularly focusing on tactile perception and the challenges associated with it. They highlight the importance of aligning AI systems with human sensory experiences, emphasizing that while significant progress has been made in areas like language and vision, tactile understanding remains underexplored. The authors reference various studies that have attempted to bridge this gap, such as the work by Marjieh et al. (2023), which demonstrated that AI models like GPT-4 can interpret human sensory judgments, and Fu et al. (2021), which introduced a dataset for tactile-vision-language alignment. However, they note that tactile-language mapping is still in its infancy, with existing models primarily excelling in visual tasks.
The authors propose a novel interactive task, “Guess What Textile?”, designed to evaluate the alignment between human tactile descriptions and AI interpretations. This task leverages the concept of “textile hand,” which encompasses the tactile qualities of textiles, allowing participants to describe their sensory experiences while the AI attempts to identify the textiles based on these descriptions. The study aims to assess how well large language models (LLMs) encode tactile attributes and whether their representations align with human perceptions. The authors outline their methodology, which includes measuring AI success rates, validity of predictions, and similarity scores between AI guesses and actual textiles, thereby providing a comprehensive framework for evaluating human-AI perceptual alignment in tactile contexts.
Limitations
The limitations of this study highlight several critical areas for future research in understanding tactile experiences through language models. Firstly, the focus on textiles as a controlled testbed does not encompass the full spectrum of touch interactions across various materials and contexts. Future investigations should broaden the scope to include diverse objects and tactile dimensions, such as temperature and compliance, to enhance the understanding of how language models interpret touch (Lim et al., 2025; Hassan, 2023). Additionally, the limited sample size and linguistic diversity of participant descriptions, primarily collected in English, underscore the need for multilingual and cross-cultural studies to capture the variability in tactile language across different cultures.
Moreover, the study points to a significant gap in large-scale data on touch, as tactile experiences are infrequently documented in everyday language. Future efforts should prioritize the collection of diverse datasets that reflect how individuals describe tactile sensations in natural contexts, akin to Seifi’s work on vibration libraries (Seifi et al., 2015). The research also notes the constraints imposed by safety restrictions on generative models, which hindered comprehensive experimentation and evaluation. Addressing these ethical considerations while fostering open dialogue among AI developers, HCI researchers, and ethicists will be essential for advancing responsible approaches to modeling sensory experiences. By integrating multimodal learning, inclusive datasets, and ethical design, future research can enhance AI systems’ understanding of tactile sensations.