DOI: https://doi.org/10.33735/phimisci.2026.12091
تاريخ النشر: 2026-02-27
المؤلف: Fintan Mallory
الموضوع الرئيسي: الإدراك المتجسد والممتد
نظرة عامة
تدعو هذه الورقة إلى نهج تعددي في التمثيل في نماذج اللغة الكبيرة، وبشكل خاص نماذج المحولات. تقدم الورقة جانبين رئيسيين من هذا التعددية. الجانب الأول، الذي يُطلق عليه “تعدد المركبات”، يفترض أن التمثيل لا ينبغي أن يقتصر على مكون واحد، مثل الخلايا العصبية الفردية أو أنماط التنشيط المحددة. بدلاً من ذلك، يبرز وجود أنظمة متعددة من التمثيل داخل الشبكة، كل منها يستخدم مركبات مختلفة.
الجانب الثاني يسلط الضوء على تنوع تنسيقات التمثيل في نماذج المحولات، حيث يجادل بأن هذه النماذج لا تلتزم بهندسة تناظرية أو هيكلية أو رمزية صارمة. بل، تعمل كنظام هجين يدمج تنسيقات تمثيلية متنوعة. تختتم الورقة بربط هذه الرؤى بالافتراضات الجارية في مجال التفسير الميكانيكي، مقترحة أن فهمًا دقيقًا للتمثيل يمكن أن يعزز فهمنا لنماذج المحولات.
نقاش
في هذا القسم، تناقش الورقة الإطار المفاهيمي لفهم أنظمة التمثيل، خاصة في سياق نماذج اللغة. تعرف نظام التمثيل على أنه ثلاثي مرتب يتكون من دالة تفسير، مجموعة من المركبات، ومجموعة من العلاقات، والتي معًا تُحدد مجال المحتويات. يؤكد المؤلف على أهمية التمييز بين تنسيقات التمثيل المختلفة—الاسمية، التناظرية، والهيكلية—استنادًا إلى خصائص دالة التفسير والعلاقات المعنية. تهدف الورقة إلى توضيح كيفية تحديد هذه التنسيقات وكيف تساهم في فعالية التمثيل في أنظمة مختلفة، بما في ذلك الشبكات العصبية الاصطناعية (ANNs).
كما تنتقد المناقشة النظريات الحالية للتمثيل، خاصة التمييز بين السببية والتمثيل، داعية إلى فهم أكثر دقة يتجنب التعيينات التافهة. يفترض المؤلف أن مركبات التمثيل يجب أن تُستخدم بنشاط من قبل نظام لتُعتبر تمثيلات، وأن طبيعة هذه المركبات يمكن أن تختلف بشكل كبير عبر هياكل مختلفة، مثل نماذج اللغة المعتمدة على المحولات. تقدم الورقة موقفين فلسفيين بارزين بشأن مركبات التمثيل في ANNs: فرضية التنشيط، التي تحدد التنشيطات الفردية كمركبات، وفرضية البوليتوب، التي تعتبر مجموعات من التنشيطات كالوحدات ذات الصلة. في النهاية، يقترح المؤلف أن الحساب الشامل للتمثيل في نماذج اللغة يجب أن يأخذ في الاعتبار تنسيقات متعددة وتأثيراتها على فهم كيفية عمل هذه النماذج وتمثيل المحتوى.
DOI: https://doi.org/10.33735/phimisci.2026.12091
Publication Date: 2026-02-27
Author(s): Fintan Mallory
Primary Topic: Embodied and Extended Cognition
Overview
This paper advocates for a pluralist approach to representation in large language models, specifically transformer models. It introduces two key aspects of this pluralism. The first aspect, termed “vehicle pluralism,” posits that representation should not be confined to a single component, such as individual neurons or specific activation patterns. Instead, it emphasizes the existence of multiple systems of representation within a network, each utilizing different vehicles.
The second aspect highlights the diversity of representation formats in transformer models, arguing that these models do not adhere to a strictly analogue, structural, or symbolic architecture. Rather, they function as a hybrid system that incorporates various representational formats. The paper concludes by connecting these insights to ongoing hypotheses in the field of mechanistic interpretability, suggesting that a nuanced understanding of representation can enhance our comprehension of transformer models.
Discussion
In this section, the paper discusses the conceptual framework for understanding systems of representation, particularly in the context of language models. It defines a system of representation as an ordered triple comprising an interpretation function, a set of vehicles, and a set of relations, which together map onto a domain of contents. The author emphasizes the importance of distinguishing between different formats of representation—nominal, analogue, and structural—based on the properties of the interpretation function and the relations involved. The paper aims to clarify how these formats can be identified and how they contribute to the effectiveness of representation in various systems, including artificial neural networks (ANNs).
The discussion also critiques existing theories of representation, particularly the distinction between causation and representation, arguing for a more nuanced understanding that avoids trivial mappings. The author posits that vehicles of representation must be actively utilized by a system to count as representations, and that the nature of these vehicles can vary significantly across different architectures, such as transformer-based language models. The paper introduces two dominant philosophical positions regarding vehicles of representation in ANNs: the Activation Hypothesis, which identifies individual activations as vehicles, and the Polytope Hypothesis, which considers clusters of activations as the relevant units. Ultimately, the author suggests that a comprehensive account of representation in language models must consider multiple formats and their implications for understanding how these models operate and represent content.