DOI: https://doi.org/10.1016/j.jml.2026.104784
تاريخ النشر: 2026-07-15
المؤلف: David A. Vogelsang وآخرون
الموضوع الرئيسي: عمليات الذاكرة وتأثيراتها
نظرة عامة
تستكشف هذه القسم من ورقة البحث مفهوم “الذاكرة” وخصائصه القابلة للقياس عبر مختلف المحفزات. يبرز اكتشافًا مهمًا أن حجم استجابات السكان في الشبكات العصبية التلافيفية (CNNs) يرتبط بذاكرة الصورة، مما يثير تساؤلات حول ما إذا كان هذا المبدأ الهندسي يمتد إلى ما وراء المحفزات البصرية. يوضح المؤلفون أن تأثير حجم التمثيل هذا ليس فقط قابلًا للتكرار للصور ولكن أيضًا يتعمم على ذاكرة الكلمات، كما يتضح من تحليلهم لثلاث مجموعات بيانات لغوية كبيرة. وجدوا أن معيار L2 (حجم المتجه) لتضمينات الكلمات يتنبأ بدقة بذاكرة التعرف، بغض النظر عن عوامل مثل تكرار الكلمة أو القيمة أو الطول.
علاوة على ذلك، تشير الدراسة إلى أن هذه الاتساق يدل على خاصية عامة للتمثيلات الموزعة، حيث قد يعكس حجم التمثيل قوة إسقاط المحفز على ميزات مفاهيمية أو دلالية هامة داخل مساحة تضمين الشبكة. ومع ذلك، يشير المؤلفون إلى أن هذا التأثير لا يمتد إلى جميع المجالات، حيث كشفت تحقيقاتهم في مجموعة بيانات جديدة لذاكرة الصوت عن عدم وجود ارتباط بين حجم التمثيل والذاكرة. بشكل عام، تؤكد هذه النتائج على فائدة دراسة هندسة التمثيلات الموزعة لتعزيز فهمنا للذاكرة عبر الأنظمة الاصطناعية والبيولوجية.
مقدمة
تستكشف مقدمة ورقة البحث العوامل التي تؤثر على الاحتفاظ بالذاكرة، مشددة على أنه بينما تلعب العمليات المعرفية الفردية دورًا، فإن بعض المحفزات تكون بطبيعتها أكثر قابلية للتذكر عبر المشاركين المتنوعين. تم قياس تأثير الذاكرة هذا من خلال درجات المهام المجمعة، مما يكشف عن أنماط متسقة عبر أنواع مختلفة من المحفزات، بما في ذلك الصور والكلمات والأصوات وحتى حركات الرقص. من الجدير بالذكر أن شبكة عصبية عميقة مدربة مسبقًا، ResMem، أظهرت القدرة على التنبؤ بالذاكرة بناءً فقط على الميزات الإدراكية، مما يشير إلى أن الذاكرة هي خاصية جوهرية للمحفزات.
تستكشف الورقة أيضًا نظام الترميز المزدوج المقترح من قبل Jaegle وآخرون (2019)، الذي يفترض أن زاوية متجه الاستجابة بين الصور تشير إلى القابلية للتمييز، بينما يتنبأ طول متجه الاستجابة (معيار L2) بالذاكرة الجوهرية. يهدف المؤلفون إلى تكرار هذه النتائج باستخدام مجموعة بيانات كبيرة من صور الكائنات الطبيعية وتوسيع الاستفسار إلى ذاكرة الكلمات. تؤكد نتائجهم على قوة تأثير معيار L2 لكل من الصور والكلمات، مما يشير إلى أن هذه الظاهرة ليست محدودة بالمحفزات البصرية ولكن قد تمثل مبدأ أوسع لترميز المحفزات عبر طرق مختلفة. ومع ذلك، لم يتم ملاحظة نفس التأثير في ذاكرة الصوت، مما يشير إلى قيود محتملة في تعميم النتائج.
طرق
تحدد قسم “الطرق” الإجراءات التجريبية والتحليلية المستخدمة في الدراسة. يوضح اختيار المشاركين، وتصميم التجارب، والتقنيات الإحصائية المستخدمة لتحليل البيانات. تم تجنيد المشاركين بناءً على معايير إدراج محددة، مما يضمن عينة تمثيلية لأهداف البحث. تم إجراء التجارب في ظروف محكومة لتقليل المتغيرات الخارجية، وتم اتخاذ قياسات مختلفة لتقييم النتائج ذات الأهمية.
تم إجراء التحليلات الإحصائية باستخدام برامج مناسبة، مع تحديد مستويات الدلالة عند p < 0.05. شملت الطرق إحصاءات وصفية لتلخيص البيانات، بالإضافة إلى إحصاءات استنتاجية لاختبار الفرضيات. تم استخدام اختبارات محددة، مثل اختبارات t أو ANOVA، اعتمادًا على توزيع البيانات وعدد المجموعات التي تتم مقارنتها. يبرز القسم صرامة وقابلية تكرار الطرق لدعم صلاحية النتائج.
نتائج
في هذا القسم، يستكشف المؤلفون تأثير حجم التمثيل على ذاكرة التعرف، مكررين النتائج من Jaegle وآخرون (2019) عبر أربع مجموعات بيانات مستقلة. باستخدام مجموعة بيانات THINGS-memorability، حسبوا معيار L2 لكل طبقة في AlexNet وارتبطوه مع درجات الذاكرة لـ 26,107 صورة. كشفت التحليلات أن الطبقات المبكرة لم تظهر ارتباطًا كبيرًا مع الذاكرة (على سبيل المثال، الطبقة 1: $r = -0.018$, $p = 0.004$)، بينما أظهرت الطبقات اللاحقة زيادة كبيرة في الارتباط (على سبيل المثال، الطبقة 7: $r = 0.057$, $p = 2.7 \times 10^{-20}$). على الرغم من أن هذه الارتباطات كانت أقل من تلك التي أبلغ عنها Jaegle وآخرون (2019)، فإن نمط النتائج يدعم النتائج الأصلية.
علاوة على ذلك، قام المؤلفون بتوسيع تحليلهم إلى ذاكرة التعرف اللفظي، حيث فحصوا ثلاث مجموعات بيانات مع إجمالي 8,500 درجة ذاكرة. حسبوا معيار L2 لتضمينات الكلمات الثابتة من word2vec ووجدوا ارتباطات قوية مع ذاكرة التعرف عبر جميع مجموعات البيانات (على سبيل المثال، Dymarska وآخرون: $r = 0.47$, $p = 1.5 \times 10^{-293}$). تشير هذه النتائج إلى أن تأثير معيار L2 الملحوظ قد يمثل مبدأ أوسع لترميز المحفزات في التمثيلات الموزعة، قابل للتطبيق خارج ذاكرة التعرف البصرية إلى مجالات أخرى مثل الذاكرة اللفظية والسمعية.
مناقشة
في هذه الدراسة، استكشفنا العلاقة بين حجم تمثيلات الشبكة العصبية العميقة (DNN) ودرجات الذاكرة عبر مختلف المحفزات، بما في ذلك الصور والكلمات والأصوات. استخدم تحليلنا ست مجموعات بيانات كبيرة، تضم أكثر من 35,000 تقييم للذاكرة. أكدنا نتائج Jaegle وآخرون (2019) أن معيار L2 للتمثيلات من AlexNet يرتبط إيجابيًا بذاكرة الصورة، حتى بعد التحكم في عوامل التداخل مثل نمط الصورة. عند توسيع هذا التحقيق إلى المجال اللغوي، وجدنا ارتباطًا إيجابيًا مشابهًا بين معيار L2 لتضمينات الكلمات وذاكرة التعرف عبر ثلاث مجموعات بيانات مستقلة. ومع ذلك، لم يتم الحفاظ على هذا الارتباط في المجال السمعي عند تحليل بيانات ذاكرة الصوت باستخدام تضمينات wav2vec.
تشير النتائج إلى أن تأثير معيار L2 ليس محدودًا بالمحفزات البصرية ولكن قد يعكس نظام ترميز تمثيلي أوسع قابل للتطبيق على المحفزات اللغوية. يشير هذا التعميم إلى أن هندسة التمثيلات الموزعة يمكن أن تكون أداة قيمة لفهم الذاكرة عبر طرق الحواس. نقترح أن حجم التمثيل في هذه النماذج قد يدل على غنى أو تميز الميزات المشفرة بواسطة DNNs، والتي يمكن أن تؤثر على الذاكرة. في الأنظمة البيولوجية، ترتبط السعات العصبية الأعلى أثناء ترميز المحفزات بأثر ذاكرة أقوى، مما يتوازى مع المعايير الأعلى لـ L2 التي لوحظت في DNNs للمحفزات الأكثر تميزًا. تسلط نتائجنا الضوء على أهمية تميز الميزات في كل من المجالات البصرية واللغوية، مما يشير إلى أن المحفزات ذات التمثيلات الأكثر وضوحًا وأقل غموضًا تؤدي إلى ذاكرة أعلى.
DOI: https://doi.org/10.1016/j.jml.2026.104784
Publication Date: 2026-07-15
Author(s): David A. Vogelsang et al.
Primary Topic: Memory Processes and Influences
Overview
This section of the research paper explores the concept of “memorability” and its quantifiable properties across different stimuli. It highlights a significant finding that the magnitude of population responses in convolutional neural networks (CNNs) correlates with image memorability, raising questions about whether this geometric principle extends beyond visual stimuli. The authors demonstrate that this representational magnitude effect is not only replicable for images but also generalizes to lexical memorability, as evidenced by their analysis of three large-scale lexical datasets. They found that the L2 norm (vector magnitude) of word embeddings reliably predicts recognition memorability, independent of factors such as word frequency, valence, or length.
Moreover, the study suggests that this consistency indicates a general characteristic of distributed representations, where representational magnitude may reflect the strength of a stimulus’s projection onto significant conceptual or semantic features within a network’s embedding space. However, the authors note that this effect does not extend to all domains, as their investigation of a novel voice memorability dataset revealed no correlation between representational magnitude and memorability. Overall, these findings underscore the utility of examining the geometry of distributed representations to enhance our understanding of memorability across both artificial and biological systems.
Introduction
The introduction of the research paper explores the factors influencing memory retention, emphasizing that while individual cognitive processes play a role, certain stimuli are inherently more memorable across diverse participants. This memorability effect has been quantified through aggregated task scores, revealing consistent patterns across various types of stimuli, including images, words, voices, and even dance moves. Notably, a pretrained deep neural network, ResMem, has demonstrated the ability to predict memorability based solely on perceptual features, suggesting that memorability is an intrinsic property of stimuli.
The paper further investigates the dual coding scheme proposed by Jaegle et al. (2019), which posits that the angle of the response vector between images indicates discriminability, while the length of the response vector (L2 norm) predicts inherent memorability. The authors aim to replicate these findings using a large dataset of naturalistic object images and extend the inquiry to word memorability. Their results confirm the robustness of the L2 norm effect for both images and words, indicating that this phenomenon is not limited to visual stimuli but may represent a broader principle of stimulus encoding across different modalities. However, the same effect was not observed in voice memorability, suggesting potential limitations in the generalizability of the findings.
Methods
The “Methods” section outlines the experimental and analytical procedures employed in the study. It details the selection of participants, the design of the experiments, and the statistical techniques used for data analysis. Participants were recruited based on specific inclusion criteria, ensuring a representative sample for the research objectives. The experiments were conducted under controlled conditions to minimize external variables, and various measurements were taken to assess the outcomes of interest.
Statistical analyses were performed using appropriate software, with significance levels set at p < 0.05. The methods included descriptive statistics to summarize the data, as well as inferential statistics to test the hypotheses. Specific tests, such as t-tests or ANOVA, were employed depending on the data distribution and the number of groups being compared. The section emphasizes the rigor and reproducibility of the methods to support the validity of the findings.
Results
In this section, the authors investigate the impact of representational magnitude on recognition memory, replicating findings from Jaegle et al. (2019) across four independent datasets. Using the THINGS-memorability dataset, they computed the L2 norm of each layer in AlexNet and correlated it with memorability scores of 26,107 images. The analysis revealed that early layers exhibited no significant correlation with memorability (e.g., Layer 1: $r = -0.018$, $p = 0.004$), while later layers showed a significant increase in correlation (e.g., Layer 7: $r = 0.057$, $p = 2.7 \times 10^{-20}$). Although these correlations were lower than those reported by Jaegle et al. (2019), the pattern of results supports the original findings.
Furthermore, the authors extended their analysis to verbal recognition memory, examining three datasets with a total of 8,500 memorability scores. They computed the L2 norm of static word embeddings from word2vec and found strong correlations with recognition memorability across all datasets (e.g., Dymarska et al.: $r = 0.47$, $p = 1.5 \times 10^{-293}$). These results suggest that the observed L2 norm effect may represent a broader principle of stimulus encoding in distributed representations, applicable beyond visual recognition memory to other domains such as verbal and auditory memory.
Discussion
In this study, we explored the relationship between the magnitude of deep neural network (DNN) representations and memorability scores across various stimuli, including images, words, and voices. Our analysis utilized six large-scale datasets, encompassing over 35,000 memorability ratings. We confirmed the findings of Jaegle et al. (2019) that the L2 norm of representations from AlexNet positively correlates with image memorability, even after controlling for confounding factors such as image typicality. Extending this investigation to the linguistic domain, we found a similar positive correlation between the L2 norm of word embeddings and recognition memorability across three independent datasets. However, this correlation did not hold in the auditory domain when analyzing voice memorability data using wav2vec embeddings.
The results suggest that the L2 norm effect is not limited to visual stimuli but may reflect a broader representational coding scheme applicable to lexical stimuli. This generalizability indicates that the geometry of distributed representations can serve as a valuable tool for understanding memorability across sensory modalities. We propose that the representational magnitude in these models may signify the richness or distinctiveness of features encoded by DNNs, which could influence memorability. In biological systems, higher neuronal amplitudes during stimulus encoding correlate with stronger memory traces, paralleling the higher L2 norms observed in DNNs for more distinctive stimuli. Our findings highlight the significance of feature distinctiveness in both visual and lexical domains, suggesting that stimuli with clearer, less ambiguous representations yield higher memorability.