DOI: https://doi.org/10.1038/s42256-025-01049-z
تاريخ النشر: 2025-06-09
المؤلف: Changde Du وآخرون
الموضوع الرئيسي: تطبيقات تعلم الآلة متعددة الوسائط
نظرة عامة
تدرس هذه الدراسة قدرة النماذج اللغوية الكبيرة (LLMs) على تشكيل تمثيلات شبيهة بالبشر للأشياء الطبيعية من خلال البيانات اللغوية ومتعددة الوسائط. من خلال تحليل 4.7 مليون حكم ثلاثي من LLMs وMLLMs، استخلص الباحثون تمثيلات بُعدية ذات 66 بُعدًا تلتقط بفعالية هيكل التشابه لـ 1,854 شيئًا طبيعيًا. أظهرت هذه التمثيلات استقرارًا وقوة تنبؤية وتجمعًا دلاليًا مشابهًا للتمثيلات الذهنية البشرية، مما يشير إلى أن LLMs وMLLMs يمكن أن تطور تمثيلات مفاهيمية مشابهة لتلك الخاصة بالبشر.
علاوة على ذلك، كشفت الدراسة عن ارتباط قوي بين تمثيلات النموذج وأنماط النشاط العصبي في مناطق الدماغ الحرجة، بما في ذلك منطقة الجسم الإضافية (EBA) ومنطقة المكان الحُصين (PPA) والقشرة الخلفية (RSC) ومنطقة الوجه الفصية (FFA). تشير هذه المحاذاة إلى أنه بينما التمثيلات التي تولدها LLMs ليست مطابقة للتمثيلات البشرية، إلا أنها تشترك في تشابهات أساسية تعكس جوانب أساسية من المعرفة المفاهيمية البشرية. تعزز هذه النتائج فهمنا للذكاء الآلي وتساهم في تقدم الأنظمة المعرفية الاصطناعية التي تشبه بشكل أكبر الإدراك البشري.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على الدور الأساسي للتصنيف والتصور في الإدراك البشري، وتأثيره على الإدراك واتخاذ القرار. تؤكد على أهمية المقارنات المنظمة بين الأشياء المتنوعة، مما يساعد في مهام مثل التواصل وحل المشكلات. تناقش الورقة أهمية فهم التمثيلات الذهنية في علم الأعصاب المعرفي وعلم النفس، مشيرة إلى أن دراسات متنوعة قد حددت أبعادًا تنظم هذه التمثيلات، مثل التمييز بين الحيوانات وغير الحيوانات أو الأشياء الطبيعية والأشياء من صنع الإنسان.
تدرس الدراسة ما إذا كانت النماذج اللغوية الكبيرة (LLMs)، تحديدًا ChatGPT-3.5 وGemini Pro Vision 1.0، يمكن أن تطور تمثيلات مفاهيمية شبيهة بالبشر للأشياء الطبيعية دون تدريب محدد على مهام معينة. باستخدام نهج مدفوع بالبيانات، استخدم المؤلفون مهمة ثلاثية لاختيار الشيء المختلف لجمع 4.7 مليون حكم تشابه من النماذج بناءً على أوصاف نصية للصور المرئية. كشفت التحليلات عن 66 بُعدًا قابلاً للتفسير تحت حكم التشابه لـ LLMs، والتي تتماشى بشكل وثيق مع الأبعاد المعرفية البشرية وأنماط النشاط العصبي في مناطق الدماغ المختارة حسب الفئة. يشير هذا إلى أنه بينما التمثيلات الخاصة بـ LLM ليست مطابقة للتمثيلات البشرية، إلا أنها تشترك في تشابهات أساسية تعكس جوانب رئيسية من المعرفة المفاهيمية البشرية، مما يساهم في فهم الخصائص الناشئة لـ LLMs فيما يتعلق بالإدراك البشري.
الطرق
في هذه الدراسة، استخدم المؤلفون مهمة ثلاثية لاختيار الشيء المختلف لتقييم التشابه المدرك بين الأشياء من قاعدة بيانات THINGS، التي تشمل 1,854 عنصرًا حيًا وغير حي بناءً على استخدامهم العملي. تم تقديم ثلاثة أشياء للمشاركين، الذين يتكونون من البشر ونماذج لغوية كبيرة (LLMs)، وتم تكليفهم بتحديد الشيء الأكثر اختلافًا. يسمح هذا النهج بتقييم التشابه بطريقة حساسة للسياق مع تقليل التحيز في الاستجابة من خلال التحكم المنهجي في التأثيرات السياقية. كما تسمح المنهجية بفحص التشابه ضمن فئات أعلى محددة، مثل الحيوانات أو المركبات.
تم اشتقاق مجموعة البيانات السلوكية البشرية من دراسة سابقة شملت 5,517,400 حكم تشابه تم جمعها عبر Amazon Mechanical Turk. بعد تنفيذ تدابير مراقبة الجودة التي استبعدت 818,240 تجربة (14.83%) لأسباب مثل الاستجابات السريعة للغاية والتقارير الديموغرافية غير المتسقة، كانت مجموعة البيانات النهائية تتكون من 4,699,160 تجربة صالحة من 12,340 مشاركًا. شمل التحليل الديموغرافي 6,619 أنثى، 4,400 ذكر، و56 فردًا يحددون كآخر/غير محدد، بمتوسط عمر 36.71 عامًا (SD = 11.87). تم تعويض المشاركين عن مشاركتهم، وحصل بروتوكول الدراسة على موافقة من مجلس مراجعة المؤسسات التابع للمعاهد الوطنية للصحة. بينما قد تظهر العينة تحيزًا ذاتيًا وقيودًا بسبب استبعاد اليد، من المتوقع أن يخفف التركيز على أحكام التشابه النسبي من التأثيرات الخاصة بالسكان.
النتائج
في هذه الدراسة، قمنا بتحليل مجموعة متنوعة من 1,854 عنصرًا شائعًا من قاعدة بيانات THINGS للتحقيق في التمثيلات الذهنية للنماذج اللغوية الكبيرة (LLMs) مقارنة بالإدراك البشري. باستخدام مهمة ثلاثية لاختيار الشيء المختلف، التي تمثل بفعالية الأبعاد الذهنية البشرية، قمنا بتقريب مصفوفة التشابه بناءً على 0.44% فقط من إجمالي الأحكام الثلاثية الممكنة بسبب عدم جدوى إجراء 1.06 مليار تقييم. تم جمع أحكام التشابه البشرية من 4.7 مليون تجربة عبر Amazon Mechanical Turk، ووجد أن البيانات السلوكية من LLMs، تحديدًا GPT-3.5-Turbo وGemini Pro Vision، تعكس عن كثب هذه الأحكام البشرية.
لاشتقاق تمثيلات ذات أبعاد منخفضة من LLMs، استخدمنا طريقة التضمين الإيجابي النادر (SPoSE)، مع تحسين أوزان الأشياء للتنبؤ بالنتائج السلوكية. تم التحقق من تعميم تمثيلات LLM باستخدام مجموعة بيانات المشاهد الطبيعية (NSD)، وأجرينا تحليل التشابه التمثيلي (RSA) لتقييم الارتباطات بين هذه التمثيلات والنشاط العصبي. تشير النتائج إلى وجود أوجه تشابه كبيرة بين التمثيلات الذهنية لـ LLMs والعمليات المعرفية البشرية، كما هو موضح في الأشكال المرفقة.
المناقشة
تسلط قسم المناقشة في الورقة البحثية الضوء على الاستقرار والقدرات التنبؤية للتمثيلات ذات الأبعاد المنخفضة المستمدة من النماذج اللغوية الكبيرة (LLMs) والنماذج اللغوية متعددة الوسائط (MLLMs). أكدت عدة إعادة تشغيل لنموذج SPoSE، التي تضمنت تهيئات عشوائية مختلفة، أن التمثيلات ظلت متسقة عبر التجارب، مع تقليم الأبعاد للحد من التكرار. تم تقييم الأداء التنبؤي لهذه التمثيلات باستخدام أحكام ثلاثية من 48 عنصرًا، مما يكشف أن دقة التنبؤ استقرت عند 60 بُعدًا لـ LLMs وMLLMs، مما يتماشى عن كثب مع أحكام التشابه البشرية. تؤكد الارتباطات القوية بين مصفوفات التشابه التمثيلي المتوقعة من النموذج والمقاسة سلوكيًا (0.71 لـ LLM، 0.85 لـ MLLM، و0.9 للبشر) فعالية هذه التمثيلات في التقاط الهيكل التمثيلي لتشابه الأشياء.
علاوة على ذلك، أظهرت التمثيلات درجات عالية من القابلية للتكرار، حيث تجاوزت العديد من الأبعاد 0.90، مما يدل على قوتها. استكشفت الدراسة أيضًا الهياكل الفئوية الناشئة ضمن التمثيلات، كاشفة أن LLMs وMLLMs تلتقط بفعالية فئات الأشياء الطبيعية، محققة معدلات دقة من الدرجة الأولى تبلغ 83.4% و78.3% على التوالي. تم التأكيد على قابلية تفسير أبعاد التضمين، مع أبعاد تعكس كل من الخصائص الدلالية والإدراكية، وتم تعيين تسميات بديهية لها. بشكل عام، تشير النتائج إلى أن LLMs وMLLMs تظهر أحكامًا منظمة ومبدئية بشأن الأشياء الطبيعية، مع تداعيات لفهم توافقها مع العمليات المعرفية البشرية.
القيود
تعترف الدراسة بعدة قيود قد تؤثر على تعميم نتائجها. أولاً، قد لا يمثل التركيز على نماذج محددة، وهي ChatGPT-3.5 وGemini Pro Vision (v1.0)، النطاق الكامل للنماذج اللغوية الكبيرة المتاحة (LLMs). ومع ذلك، يقترح المؤلفون أن المنهجية يمكن أن تتكيف مع نماذج LLM المتقدمة الأخرى، مثل GPT-4V، والتي قد توفر رؤى حول تعميم الأبعاد المحددة والخصائص الفريدة لهياكل الذكاء الاصطناعي المختلفة.
بالإضافة إلى ذلك، قد يحد اعتماد الدراسة على مطالبات لغوية مصممة بعناية من استكشاف كيفية تأثير التغيرات في المطالبات على استجابات LLM. بينما يعتقد المؤلفون أن تأثير هذا العامل ضئيل على الاستنتاجات العامة، إلا أنهم يشيرون إلى أن استخدام التعليقات التوضيحية على مستوى الشيء في المطالبات قد لا يلتقط الطيف الكامل للخصائص المرئية. قد يعزز دمج التعليقات التوضيحية على مستوى الصورة، التي يمكن أن توفر معلومات بصرية أكثر تفصيلًا، توافق مخرجات LLM مع الأحكام البشرية. يُشجع البحث المستقبلي على استكشاف تحسين التعليمات على أزواج الأسئلة والأجوبة الثلاثية على نطاق واسع، مع دمج كل من اختيارات البشر وأبعاد التفكير لتحسين توافق النموذج مع البشر بشكل أكبر.
DOI: https://doi.org/10.1038/s42256-025-01049-z
Publication Date: 2025-06-09
Author(s): Changde Du et al.
Primary Topic: Multimodal Machine Learning Applications
Overview
This study investigates the capacity of Large Language Models (LLMs) to form human-like representations of natural objects through linguistic and multimodal data. By analyzing 4.7 million triplet judgments from LLMs and Multimodal LLMs (MLLMs), the researchers derived 66-dimensional embeddings that effectively capture the similarity structure of 1,854 natural objects. These embeddings demonstrated stability, predictive power, and semantic clustering akin to human mental representations, indicating that LLMs and MLLMs can develop conceptual representations similar to those of humans.
Furthermore, the study revealed a strong correlation between the model embeddings and neural activity patterns in critical brain regions, including the Extrastriate Body Area (EBA), Parahippocampal Place Area (PPA), Retrosplenial Cortex (RSC), and Fusiform Face Area (FFA). This alignment suggests that while the object representations generated by LLMs are not identical to human representations, they share fundamental similarities that reflect essential aspects of human conceptual knowledge. These findings enhance our understanding of machine intelligence and contribute to the advancement of artificial cognitive systems that more closely resemble human cognition.
Introduction
The introduction of this research paper highlights the foundational role of categorization and conceptualization in human cognition, impacting perception and decision-making. It emphasizes the importance of structured comparisons among diverse objects, which aids in tasks such as communication and problem-solving. The paper discusses the significance of understanding mental representations in cognitive neuroscience and psychology, noting that various studies have identified dimensions that organize these representations, such as distinctions between animals and non-animals or natural and human-made objects.
The study investigates whether large language models (LLMs), specifically ChatGPT-3.5 and Gemini Pro Vision 1.0, can develop human-like conceptual representations of natural objects without explicit task-specific training. Utilizing a data-driven approach, the authors employed a triplet odd-one-out task to collect 4.7 million similarity judgments from the models based on textual descriptions of visual images. The analysis revealed 66 interpretable dimensions underlying the LLMs’ similarity judgments, which align closely with human cognitive dimensions and neural activity patterns in category-selective brain regions. This suggests that while LLM representations are not identical to human representations, they share fundamental similarities that reflect key aspects of human conceptual knowledge, thereby contributing to the understanding of LLMs’ emergent characteristics in relation to human cognition.
Methods
In this study, the authors employed a triplet odd-one-out task to assess perceived similarity among objects from the THINGS database, which includes 1,854 living and non-living items based on their practical usage. Participants, comprising both humans and large language models (LLMs), were presented with three objects and tasked with identifying the one that was most dissimilar. This approach allows for the evaluation of similarity in a context-sensitive manner while minimizing response bias by systematically controlling for contextual influences. The methodology also permits the examination of similarity within specific higher-level categories, such as animals or vehicles.
The human behavioral dataset was derived from a previous study involving 5,517,400 similarity judgments collected via Amazon Mechanical Turk. After implementing quality control measures that excluded 818,240 trials (14.83%) for reasons such as overly rapid responses and inconsistent demographic reporting, the final dataset consisted of 4,699,160 valid trials from 12,340 participants. The demographic breakdown included 6,619 females, 4,400 males, and 56 individuals identifying as other/unspecified, with a mean age of 36.71 years (SD = 11.87). Participants were compensated for their involvement, and the study protocol received approval from the NIH Institutional Review Board. While the sample may exhibit self-selection bias and limitations due to handedness exclusion, the focus on relative similarity judgments is expected to mitigate population-specific effects.
Results
In this study, we analyzed a diverse selection of 1,854 common objects from the THINGS database to investigate the mental representations of large language models (LLMs) in comparison to human cognition. Utilizing the triplet odd-one-out task, which effectively models human mental dimensions, we approximated the similarity matrix based on only 0.44% of the total possible triplet judgments due to the impracticality of conducting 1.06 billion assessments. Human similarity judgments were gathered from 4.7 million trials via Amazon Mechanical Turk, and the behavioral data from LLMs, specifically GPT-3.5-Turbo and Gemini Pro Vision, were found to closely mirror these human judgments.
To derive low-dimensional representations of the LLMs, we employed the Sparse Positive Similarity Embedding (SPoSE) method, optimizing object weights to predict behavioral outcomes. The generalization of the LLM embeddings was validated using the Natural Scenes Dataset (NSD), and we conducted Representational Similarity Analysis (RSA) to evaluate the correlations between these embeddings and neural activity. The findings suggest significant parallels between LLMs’ mental representations and human cognitive processes, as illustrated in the accompanying figures.
Discussion
The discussion section of the research paper highlights the stability and predictive capabilities of low-dimensional embeddings derived from large language models (LLMs) and multimodal language models (MLLMs). Multiple reruns of the SPoSE modeling, which involved varying random initializations, confirmed that the embeddings remained consistent across trials, with dimensions being pruned for redundancy. The predictive performance of these embeddings was evaluated using triplet judgments from 48 objects, revealing that the predictive accuracy stabilized at 60 dimensions for LLMs and MLLMs, aligning closely with human similarity judgments. The strong correlations between model-predicted and behaviorally-measured Representational Similarity Matrices (RSMs) (0.71 for LLM, 0.85 for MLLM, and 0.9 for humans) validate the effectiveness of these embeddings in capturing the representational structure of object similarities.
Furthermore, the embeddings demonstrated high reproducibility scores, with many dimensions exceeding 0.90, indicating their robustness. The study also explored the emergent category structures within the embeddings, revealing that LLMs and MLLMs effectively capture natural object categories, achieving top-1 accuracy rates of 83.4% and 78.3%, respectively. The interpretability of the embedding dimensions was emphasized, with dimensions reflecting both semantic and perceptual traits, and intuitive labels assigned to them. Overall, the findings suggest that LLMs and MLLMs exhibit structured and principled judgments regarding natural objects, with implications for understanding their alignment with human cognitive processes.
Limitations
The study acknowledges several limitations that could affect the generalizability of its findings. Firstly, the focus on specific models, namely ChatGPT-3.5 and Gemini Pro Vision (v1.0), may not represent the full range of available large language models (LLMs). However, the authors suggest that the methodology could be adapted to other advanced LLMs, such as GPT-4V, which may provide insights into the generalization of the identified dimensions and the unique characteristics of different AI architectures.
Additionally, the study’s reliance on carefully designed language prompts may limit the exploration of how variations in prompts influence LLM responses. While the authors believe that the impact of this factor is minimal on the overall conclusions, they note that the use of object-level annotations in prompts may not capture the full spectrum of visual attributes. Incorporating image-level annotations, which can provide more detailed visual information, could enhance the alignment of LLM outputs with human judgments. Future research is encouraged to explore instruction fine-tuning on large-scale triplet odd-one-out question-answer pairs, integrating both human choices and reasoning dimensions to further improve model-human alignment.