DOI: https://doi.org/10.1038/s44271-025-00262-1
PMID: https://pubmed.ncbi.nlm.nih.gov/40415069
تاريخ النشر: 2025-05-25
المؤلف: Clara Colombatto وآخرون
الموضوع الرئيسي: تفاعل الروبوتات الاجتماعية والتفاعل بين الإنسان والروبوت
نظرة عامة
تبحث الدراسة في العلاقة بين نسب المستخدمين للحالات العقلية إلى نماذج اللغة الكبيرة (LLMs) وثقتهم في هذه الأنظمة الذكية. على الرغم من المعتقدات الشائعة بأن LLMs تمتلك سمات مثل الوعي والعواطف، تكشف الدراسة عن انفصال بين هذه النسب النفسية الشعبية والتقييمات الخبراء. تم تقييم تصورات 410 مشاركًا حول وعي LLM وحالات عقلية أخرى من خلال تجربة مسجلة مسبقًا، تلتها مهمة اتخاذ قرار حيث يمكنهم تعديل الخيارات بناءً على نصائح LLM. أظهرت التحليلات البايزية وجود علاقة سلبية كبيرة بين نسب الوعي وأخذ النصيحة، بينما ارتبطت نسب الذكاء إيجابيًا بقبول النصيحة.
تشير النتائج إلى أن تفاعلات المستخدمين مع الذكاء الاصطناعي تتأثر بتصورات دقيقة لقدرات الذكاء الاصطناعي. على وجه الخصوص، تعزز النسب المتعلقة بالذكاء الثقة، بينما تقلل تلك المتعلقة بالسمات التجريبية منها. تؤكد هذه الدراسة على تعقيد العلاقات بين البشر والذكاء الاصطناعي وتقترح أن الدراسات المستقبلية يجب أن تستكشف كيف تؤثر الخصائص المحددة لأنظمة الذكاء الاصطناعي وسياقات التفاعل على هذه النسب ومستويات الثقة. في النهاية، الهدف هو تعزيز ثقة متوازنة في الذكاء الاصطناعي، وتجنب التطرف في عدم الثقة أو الاعتماد المفرط.
الطرق
استخدمت الدراسة منهجية مسجلة مسبقًا، مع بروتوكولات مفصلة متاحة عبر الروابط المقدمة. البيانات الخام المجهولة ورمز التحليل متاحة للجمهور على إطار العلوم المفتوحة (OSF)، مما يضمن الشفافية وقابلية إعادة إنتاج النتائج. حصلت الدراسة على موافقة أخلاقية من مجلس أخلاقيات البحث بجامعة واترلو (بروتوكول #46224)، وتم الحصول على موافقة مستنيرة من جميع المشاركين قبل مشاركتهم في البحث.
النتائج
في الدراسة، أظهر المشاركون أداءً فوق المستوى العشوائي في مهمة المعرفة العامة، حيث حققوا دقة متوسطة قدرها 62.70% قبل تلقي النصيحة. من الجدير بالذكر أنه في 38.57% من التجارب، واجه المشاركون نصائح تتعارض مع ردودهم الأولية، مما أدى إلى تغيير خياراتهم في 58.30% من هذه الحالات. كانت الدقة النهائية بعد النظر في النصيحة 63.08%، مما يشير إلى عدم وجود تحسين كبير عن الدقة الأولية (اختبار مزدوج الطرف الاستكشافي: $t(409) = -0.84$, $p = 0.404$, الفرق المتوسط = -0.00, CI = [-0.01, 0.01], $d$ لكوهين = 0.04, BF$_{10} = 0.08$).
يُنسب عدم وجود تحسين كبير في الدقة إلى أن النصيحة كانت مستمدة من مشاركين سابقين، الذين كانت دقتهم المتوسطة 62.48%. علاوة على ذلك، كانت الميل لأخذ النصيحة مرتبطًا إيجابيًا بثقة المشاركين في نظام الذكاء الاصطناعي، كما يتضح من التحليلات الاستكشافية التي تظهر ارتباطات مع ردود التقييم بشأن الثقة في نموذج اللغة الكبير (LLM). على وجه الخصوص، كانت العلاقة لأخذ النصيحة في المهمة الحالية $r(408) = 0.58$, $p < 0.001$, CI = [0.51, 0.64], BF$_{10} = 1.38 \times 10^{35}$، وللثقة العامة في LLM، $r(408) = 0.41$, $p < 0.001$, CI = [0.32, 0.49], BF$_{10} = 7.52 \times 10^{14}$.
المناقشة
في هذه الدراسة، استكشفنا العلاقة بين نسب الحالات العقلية، لا سيما فيما يتعلق بالوعي، وسلوك أخذ النصيحة في التفاعلات مع نموذج اللغة الكبير (LLM)، ChatGPT. تم تجنيد المشاركين، الذين تم اختيارهم من خلال Prolific Academic، وفقًا للعمر والجنس لضمان عينة تمثيلية. أكمل 500 مشاركًا مهامًا تقيم تصوراتهم حول ذكاء ChatGPT وتجربته، بالإضافة إلى استعدادهم لقبول النصائح التي يولدها النموذج. أشارت النتائج إلى أن المشاركين نسبوا سمات تتعلق بالذكاء (مثل الذاكرة) بشكل أكثر تكرارًا من تلك المتعلقة بالتجربة (مثل السعادة)، مع وجود علاقة إيجابية قوية بين نسب الذكاء وقبول النصيحة. على العكس، أظهرت النسب المتعلقة بالتجربة علاقة سلبية ضعيفة مع أخذ النصيحة، مما يشير إلى أن المستخدمين قد يرون السمات العاطفية أقل موثوقية في المهام الواقعية.
من المثير للاهتمام، أن الدراسة لم تجد علاقة إيجابية كبيرة بين نسب الوعي وأخذ النصيحة، مما يتحدى الافتراضات الشائعة حول تأثير الوعي المدرك على ثقة المستخدم. قد تنشأ هذه العلاقة الصفرية من التفاعل المعقد بين سمات الذكاء والتجربة في نسب الوعي. بالإضافة إلى ذلك، بينما أعرب المشاركون عن ثقة أكبر في ChatGPT بناءً على نسب الوعي، لم يتحول ذلك إلى سلوك فعلي في أخذ النصيحة، مما يبرز الفجوة بين الثقة المبلغ عنها ذاتيًا ونوايا السلوك. تؤكد النتائج على الحاجة إلى مزيد من البحث حول كيفية تأثير خصائص المستخدمين والتعرض لأنظمة الذكاء الاصطناعي المختلفة على نسب الحالات العقلية والثقة، بهدف الوصول إلى فهم متوازن للتفاعلات بين البشر والذكاء الاصطناعي.
القيود
تسلط قيود الدراسة الضوء على أن نسب المستخدمين للحالات العقلية تتأثر بمجموعة متنوعة من العوامل، بما في ذلك خصائص المستخدم والنظام بالإضافة إلى السياق التفاعلي. قد لا تعكس عملية أخذ النصيحة من خلال تغيير القرارات الأولية في مهمة المعرفة العامة تعقيدات الثقة بالكامل، لا سيما في السياقات الأكثر شخصية حيث يمكن أن تفوق الاعتبارات العاطفية العوامل المعرفية مثل الذكاء. يجب على الأبحاث المستقبلية التحقيق في كيفية تأثير نسب الحالات العقلية على الثقة عبر مجالات اتخاذ القرار المختلفة.
علاوة على ذلك، أدت المنهجية المستخدمة في هذه الدراسة، التي قيمت أداء ChatGPT بناءً على دقة المشاركين السابقين، إلى نصائح كانت أحيانًا غير صحيحة. قد يكون هذا التعرض للنصائح غير الدقيقة قد أثر على ثقة المشاركين وتصوراتهم حول ذكاء النظام. ومع ذلك، أظهرت التحليلات أن نسب المشاركين للذكاء والتجربة ظلت متسقة بغض النظر عن الوقت الذي قدموا فيه تقييماتهم، مما يشير إلى تأثير محدود من النصائح غير الصحيحة. قد يكون تصميم الدراسة، مع مدة مهمة قصيرة نسبيًا وغالبية التجارب التي تتميز بنصائح متوافقة، قد قيد اكتشاف آثار التعلم. يمكن أن تستفيد التحقيقات المستقبلية من استكشاف تفاعلات أطول أو تغيير دقة أنظمة الذكاء الاصطناعي لفهم ديناميات الثقة ونسب الحالات العقلية في سيناريوهات عالية المخاطر بشكل أفضل.
DOI: https://doi.org/10.1038/s44271-025-00262-1
PMID: https://pubmed.ncbi.nlm.nih.gov/40415069
Publication Date: 2025-05-25
Author(s): Clara Colombatto et al.
Primary Topic: Social Robot Interaction and HRI
Overview
The research investigates the relationship between user attributions of mental states to large language models (LLMs) and their trust in these AI systems. Despite common beliefs that LLMs possess attributes like consciousness and emotions, the study reveals a disconnect between these folk-psychological attributions and expert assessments. A preregistered experiment involving 410 participants assessed their perceptions of LLM consciousness and other mental states, followed by a decision-making task where they could revise choices based on LLM advice. Bayesian analyses indicated a significant negative correlation between attributions of consciousness and advice-taking, while attributions of intelligence positively correlated with advice acceptance.
The findings suggest that user interactions with AI are influenced by nuanced perceptions of AI capabilities. Specifically, attributions related to intelligence enhance trust, whereas those related to experiential traits diminish it. This research underscores the complexity of human-AI relationships and suggests that future studies should explore how specific characteristics of AI systems and interaction contexts influence these attributions and trust levels. Ultimately, the goal is to foster a balanced trust in AI, avoiding extremes of mistrust and over-reliance.
Methods
The research employed a preregistered methodology, with detailed protocols accessible via the provided links. Anonymized raw data and analysis code are publicly available on the Open Science Framework (OSF), ensuring transparency and reproducibility of the findings. The study received ethical approval from the University of Waterloo Research Ethics Board (Protocol #46224), and informed consent was obtained from all participants prior to their involvement in the research.
Results
In the study, participants demonstrated above-chance performance on a general knowledge task, achieving an average accuracy of 62.70% before receiving advice. Notably, on 38.57% of trials, participants encountered advice that conflicted with their initial responses, leading to a reversal of their choices in 58.30% of these cases. The final accuracy after considering the advice was 63.08%, indicating no significant improvement from the initial accuracy (exploratory two-tailed paired test: $t(409) = -0.84$, $p = 0.404$, mean difference = -0.00, CI = [-0.01, 0.01], Cohen’s $d = 0.04$, BF$_{10} = 0.08$).
The lack of significant improvement in accuracy is attributed to the advice being derived from previous participants, which had a mean accuracy of 62.48%. Furthermore, the tendency to take advice was positively correlated with participants’ trust in the AI system, as evidenced by exploratory analyses showing correlations with debriefing responses regarding trust in the large language model (LLM). Specifically, the correlation for advice-taking on the current task was $r(408) = 0.58$, $p < 0.001$, CI = [0.51, 0.64], BF$_{10} = 1.38 \times 10^{35}$, and for general trust in the LLM, $r(408) = 0.41$, $p < 0.001$, CI = [0.32, 0.49], BF$_{10} = 7.52 \times 10^{14}$.
Discussion
In this study, we explored the relationship between mental state attributions, particularly regarding consciousness, and advice-taking behavior in interactions with a large language model (LLM), ChatGPT. Participants, recruited through Prolific Academic, were stratified by age and gender to ensure a representative sample. A total of 500 participants completed tasks assessing their perceptions of ChatGPT’s intelligence and experience, as well as their willingness to accept advice generated by the model. Results indicated that participants attributed traits related to intelligence (e.g., memory) more frequently than those related to experience (e.g., happiness), with a strong positive correlation between intelligence attributions and advice acceptance. Conversely, experience-related attributions exhibited a weak negative correlation with advice-taking, suggesting that users may view emotional traits as less reliable for factual tasks.
Interestingly, the study found no significant positive relationship between consciousness attributions and advice-taking, challenging common assumptions about the impact of perceived consciousness on user trust. This null relationship may arise from the complex interplay between intelligence and experience traits in consciousness attributions. Additionally, while participants expressed higher trust in ChatGPT based on consciousness attributions, this did not translate into actual advice-taking behavior, highlighting a discrepancy between self-reported trust and behavioral intentions. The findings underscore the need for further research into how user characteristics and exposure to different AI systems influence mental state attributions and trust, ultimately aiming for a balanced understanding of human-AI interactions.
Limitations
The limitations of the study highlight that user attributions of mental states are influenced by a variety of factors, including user and system characteristics as well as the interactive context. The operationalization of advice-taking through reversals of initial decisions in a general knowledge task may not fully capture the complexities of trust, particularly in more personal contexts where emotional considerations could outweigh cognitive factors like intelligence. Future research should investigate how mental state attributions affect trust across different decision-making domains.
Additionally, the methodology employed in this study, which assessed ChatGPT’s performance based on the accuracy of prior participants, resulted in advice that was sometimes incorrect. This exposure to inaccurate advice could have affected participants’ trust and their perceptions of the system’s intelligence. However, the analysis indicated that participants’ attributions of intelligence and experience remained consistent regardless of when they provided their ratings, suggesting limited influence from incorrect advice. The study’s design, with a relatively short task duration and a majority of trials featuring congruent advice, may have constrained the detection of learning effects. Future investigations could benefit from exploring longer interactions or varying the accuracy of AI systems to better understand the dynamics of trust and mental state attributions in high-stakes scenarios.