إنشاء نقاط مرجعية لتقييم الوكلاء الاجتماعيين الاصطناعيين: مجموعة ASAQ التمثيلية 2025 Establishing reference points for artificial social agent evaluation: the ASAQ representative set 2025

شارك:
المجلة: Frontiers in Computer Science، المجلد: 7
DOI: https://doi.org/10.3389/fcomp.2025.1726078
تاريخ النشر: 2026-03-04
المؤلف: Siska Fitrianie وآخرون
الموضوع الرئيسي: تفاعل الروبوتات الاجتماعية والتفاعل بين الإنسان والروبوت

مقدمة

تناقش مقدمة ورقة البحث دور الوكلاء الاجتماعيين الاصطناعيين (ASAs) كفاعلين اجتماعيين قادرين على التفاعل مع البشر من خلال أشكال مختلفة من التواصل، بما في ذلك الإشارات اللفظية وغير اللفظية. وتبرز أن الأفراد يشكلون تصورات وتوقعات حول الوكلاء الاجتماعيين الاصطناعيين بناءً على تفاعلاتهم، على غرار التفاعلات بين البشر. إن فهم هذه التجارب أمر بالغ الأهمية لتقييم كيفية تأثير الوكلاء الاجتماعيين الاصطناعيين على أهداف المستخدمين المتعلقة بالمهام، مثل الدافع للنشاط البدني أو التفاعل مع المحتوى التعليمي.

يؤكد المؤلفون على أهمية قياس تجارب التفاعل لتسهيل التقدم في أبحاث وتطوير الوكلاء الاجتماعيين الاصطناعيين. يقترحون إنشاء مجموعة مرجعية لمرافقة استبيان الوكلاء الاجتماعيين الاصطناعيين (ASAQ)، الذي يقيم تجارب المستخدمين عبر 24 بُعدًا، بما في ذلك المصداقية والاجتماعية. تم نشر ASAQ جنبًا إلى جنب مع “مجموعة ASAQ التمثيلية 2024″، التي تتضمن بيانات من 1,066 فردًا يتفاعلون مع 29 وكيلًا، تم جمعها من خلال منظور شخص ثالث. يعترف المؤلفون بالقيود المحتملة في تعميم هذه النتائج على التفاعلات الفعلية ويحددون ضرورة تعريف تكوين المعايير، بما في ذلك اختيار المشاركين والوكلاء، باستخدام منصة Prolific لجمع البيانات على مستوى العالم.

مناقشة

في هذه الدراسة، تم تجنيد المشاركين عبر منصة التمويل الجماعي Prolific، مع الالتزام بمعايير إدراج محددة لضمان عينة متنوعة وتمثيلية. شملت البحث مرحلتين: الفحص للتأكد من الألفة مع الوكلاء الاجتماعيين الاصطناعيين المعاصرين (ASAs) وتأسيس مجموعة ASAQ التمثيلية 2025. تم تجنيد ما مجموعه 1,296 فردًا في البداية، حيث استوفى 1,253 منهم المعايير للمرحلة الثانية، مما أسفر في النهاية عن 666 مشاركًا قاموا بتقييم تفاعلاتهم مع مجموعة من 10 وكلاء اجتماعيين اصطناعيين، بما في ذلك وكلاء مشهورين مثل ChatGPT وGoogle Assistant، بالإضافة إلى كلب والدردشة الكلاسيكية Eliza. كانت الدراسة تهدف إلى تحقيق قوة إحصائية قدرها 0.80، مما يضمن مقارنات قوية عبر الوكلاء.

كشفت النتائج أن ChatGPT كان الوكيل الأكثر تفاعلًا (89.47%)، يليه عن كثب Google Assistant (85.08%) وSiri (71.51%). في المقابل، كانت الوكلاء مثل Replika وEliza لديها معدلات تفاعل أقل بكثير. كانت درجات ASAQ تتفاوت بشكل كبير بين الوكلاء، حيث حصل الكلب على أعلى درجة (+30) وEliza على أدنى درجة (-27)، مما يدل على تجارب مستخدمين مختلفة. لا تعزز هذه المجموعة البيانات الإطار الحالي لـ ASAQ فحسب، بل توفر أيضًا موردًا قيمًا للبحوث المستقبلية حول تفاعلات البشر مع الوكلاء، مما يسمح بمقارنات منهجية وتناسق منهجي. ومع ذلك، تم الإشارة إلى قيود تتعلق بتحيز الاسترجاع وتمثيلية العينة، مما يشير إلى الحاجة إلى تحديثات دورية لمعايير ASAQ مع استمرار تطور الوكلاء الاجتماعيين الاصطناعيين.

Journal: Frontiers in Computer Science, Volume: 7
DOI: https://doi.org/10.3389/fcomp.2025.1726078
Publication Date: 2026-03-04
Author(s): Siska Fitrianie et al.
Primary Topic: Social Robot Interaction and HRI

Introduction

The introduction of the research paper discusses the role of Artificial Social Agents (ASAs) as social actors capable of engaging with humans through various forms of communication, including verbal and non-verbal cues. It highlights that individuals form perceptions and expectations about ASAs based on their interactions, akin to human-to-human interactions. Understanding these experiences is crucial for assessing how ASAs can influence users’ task-related goals, such as motivation for physical activity or engagement with educational content.

The authors emphasize the importance of benchmarking interaction experiences to facilitate progress in ASA research and development. They propose the creation of a benchmark set to accompany the ASA Questionnaire (ASAQ), which evaluates user experiences across 24 constructs, including believability and sociability. The ASAQ has been published alongside the “ASAQ representative set 2024,” which comprises data from 1,066 individuals interacting with 29 agents, gathered through a third-person perspective. The authors acknowledge potential limitations in generalizing these findings to actual interactions and outline the necessity of defining the benchmark’s composition, including the selection of participants and agents, using the Prolific platform for global data collection.

Discussion

In this study, participants were recruited via the crowdsourcing platform Prolific, adhering to specific inclusion criteria to ensure a diverse and representative sample. The research involved two phases: screening for familiarity with contemporary Artificial Social Agents (ASAs) and establishing the ASAQ Representative Set 2025. A total of 1,296 individuals were initially recruited, with 1,253 meeting the criteria for the second phase, ultimately yielding 666 participants who evaluated their interactions with a selection of 10 ASAs, including popular agents like ChatGPT and Google Assistant, as well as a dog and the classic Eliza chatbot. The study aimed for a statistical power of 0.80, ensuring robust comparisons across agents.

The findings revealed that ChatGPT was the most frequently interacted with agent (89.47%), followed closely by Google Assistant (85.08%) and Siri (71.51%). In contrast, agents like Replika and Eliza had significantly lower engagement rates. The ASAQ scores varied widely among the agents, with the dog receiving the highest score (+30) and Eliza the lowest (-27), indicating differing user experiences. This dataset not only enhances the existing ASAQ framework but also provides a valuable resource for future research on human-agent interactions, allowing for systematic comparisons and methodological consistency. However, limitations regarding recall bias and the representativeness of the sample were noted, suggesting the need for periodic updates to the ASAQ norms as ASAs continue to evolve.