DOI: https://doi.org/10.1073/pnas.2405460121
PMID: https://pubmed.ncbi.nlm.nih.gov/39471222
تاريخ النشر: 2024-10-29
المؤلف: Michał Kosiński
الموضوع الرئيسي: تطور التعلم لدى الأطفال والحيوانات
نظرة عامة
تسلط الأبحاث الضوء على أهمية “نظرية العقل” (ToM)، التي تمكن البشر من فهم الحالات العقلية غير المرئية للآخرين بشكل حدسي، مثل معتقداتهم ونواياهم. هذه القدرة حاسمة لمختلف جوانب التفاعل البشري، بما في ذلك التعاطف والتفكير الأخلاقي. تشير النتائج إلى أن نماذج اللغة الكبيرة (LLMs) الحديثة قادرة على حل مهام الاعتقاد الخاطئ التي تُستخدم تقليديًا لتقييم ToM لدى البشر، مما يشير إلى أن هذه الأنظمة الذكية قد تظهر مهارات اجتماعية متقدمة. يثير هذا التطور اعتبارات مهمة بشأن تداعيات قدرات الذكاء الاصطناعي، سواء الإيجابية أو السلبية.
في الختام، تؤكد الورقة على التمييز الفلسفي بين الآلات التي تمتلك حقًا ToM وتلك التي تحاكيها. ومع ذلك، تشير إلى وجهة نظر تورينغ بأن هذا التمييز قد يكون غير ذي صلة عمليًا، حيث تسير التفاعلات البشرية عادةً على افتراض أن جميع المشاركين يمتلكون التفكير. يؤكد تصريح تورينغ على تعقيد تقييم القدرات المعرفية للذكاء الاصطناعي في السياقات الاجتماعية، مما يشير إلى أن التركيز يجب أن يكون على النتائج الوظيفية لهذه التفاعلات بدلاً من الآليات الأساسية.
طرق
في هذا القسم، يوضح المؤلفون توفر البيانات والمواد والبرامج المستخدمة في أبحاثهم. لقد قاموا بإيداع كل من البيانات والرمز المقابل في إطار العلوم المفتوحة (OSF)، والذي يمكن الوصول إليه من خلال الرابط المقدم (https://osf.io/csdhb/). تعزز هذه الممارسة الشفافية وقابلية التكرار في البحث من خلال السماح للباحثين الآخرين بالوصول إلى نفس الموارد واستخدامها.
نقاش
في هذا القسم، يناقش المؤلفون تداعيات نتائجهم بشأن نماذج اللغة الكبيرة (LLMs) وإمكاناتها لإظهار قدرات نظرية العقل (ToM). إن ظهور ToM في LLMs ليس نتيجة لتصميم مقصود بل هو نتاج ثانوي لتدريبها على لغة تشبه البشر، والتي تتضمن بطبيعتها إشارات إلى الحالات العقلية والمعتقدات. يبرز المؤلفون أهمية ToM في تفسير الجمل المعقدة التي تتضمن عدة شخصيات رئيسية بمعتقدات مختلفة، مثل “تعتقد فيرجيني أن فلوريان تعتقد أن أكاشا سعيدة.” يشيرون إلى أن العلاقة بين القدرة اللغوية وToM لدى البشر تقترح أن LLMs، التي تم تدريبها على توليد وتفسير اللغة، قد تطور أيضًا قدرات مشابهة لـ ToM.
تقيّم الأبحاث أداء نماذج LLMs المختلفة في مهام الاعتقاد الخاطئ، والتي تعتبر مقياسًا قياسيًا لتقييم ToM لدى البشر. تم إجراء نوعين من المهام—المحتويات غير المتوقعة والنقل غير المتوقع—على أحد عشر LLM، بما في ذلك ChatGPT-4، الذي أظهر تحسنًا ملحوظًا في الأداء، حيث حل 75% من المهام. يؤكد المؤلفون أنه بينما لا يهدفون إلى حل الجدل حول ما إذا كان بإمكان الذكاء الاصطناعي امتلاك قدرات معرفية تشبه البشر، فإن قدرة LLMs على التصرف كما لو كانت تمتلك ToM لها أهمية عملية. كما يتناولون الاعتبارات المنهجية، مما يضمن أن المهام لم يتم مواجهتها خلال تدريب LLMs، وبالتالي التحقق من قوة نتائجهم.
DOI: https://doi.org/10.1073/pnas.2405460121
PMID: https://pubmed.ncbi.nlm.nih.gov/39471222
Publication Date: 2024-10-29
Author(s): Michał Kosiński
Primary Topic: Child and Animal Learning Development
Overview
The research highlights the significance of “theory of mind” (ToM), which enables humans to intuitively understand the unobservable mental states of others, such as their beliefs and intentions. This capacity is crucial for various aspects of human interaction, including empathy and moral reasoning. The findings indicate that recent large language models (LLMs) are capable of solving false-belief tasks traditionally used to assess ToM in humans, suggesting that these AI systems may exhibit advanced social skills. This development raises important considerations regarding the implications of AI’s capabilities, both positive and negative.
In conclusion, the paper emphasizes the philosophical distinction between machines that genuinely possess ToM and those that simulate it. However, it references Turing’s perspective that this distinction may be practically irrelevant, as human interactions typically proceed under the assumption that all participants possess thought. Turing’s assertion underscores the complexity of evaluating AI’s cognitive abilities in social contexts, suggesting that the focus should be on the functional outcomes of these interactions rather than the underlying mechanisms.
Methods
In this section, the authors detail the availability of data, materials, and software utilized in their research. They have deposited both the data and the corresponding code in the Open Science Framework (OSF), which can be accessed at the provided URL (https://osf.io/csdhb/). This practice promotes transparency and reproducibility in research by allowing other researchers to access and utilize the same resources.
Discussion
In this section, the authors discuss the implications of their findings regarding large language models (LLMs) and their potential to exhibit theory of mind (ToM) capabilities. The emergence of ToM in LLMs is not a result of intentional design but rather a by-product of their training on human-like language, which inherently includes references to mental states and beliefs. The authors highlight the significance of ToM in interpreting complex sentences that involve multiple protagonists with differing beliefs, such as “Virginie believes that Floriane thinks that Akasha is happy.” They note that the correlation between language ability and ToM in humans suggests that LLMs, which are trained to generate and interpret language, may similarly develop ToM-like capabilities.
The research evaluates the performance of various LLMs on false-belief tasks, which are considered a standard measure for assessing ToM in humans. Two types of tasks—Unexpected Contents and Unexpected Transfer—were administered to eleven LLMs, including ChatGPT-4, which demonstrated a notable improvement in performance, solving 75% of the tasks. The authors emphasize that while they do not aim to resolve the debate on whether AI can possess human-like cognitive abilities, the ability of LLMs to behave as if they have ToM is practically significant. They also address methodological considerations, ensuring that the tasks were not encountered during the LLMs’ training, thus validating the robustness of their findings.