DOI: https://doi.org/10.1371/journal.pcbi.1014093
PMID: https://pubmed.ncbi.nlm.nih.gov/41860944
تاريخ النشر: 2026-03-20
المؤلف: Jessica Passlack وآخرون
الموضوع الرئيسي: الذاكرة والآليات العصبية
نظرة عامة
تبحث هذه الدراسة في الآليات الكامنة وراء الاستدلال السياقي في اتخاذ القرار، مع التركيز على التفاعل بين القشرة الجبهية (PFC) و الحصين (HPC). تكشف الدراسة أن النماذج التي تعتمد على الميزات البيئية، على غرار وظائف الحصيني، يمكن أن تدعم السلوك المحدد بالسياق بشكل فعال ولكنها تكافح مع السياقات الغامضة أثناء التعلم. على العكس من ذلك، يمكن للنماذج المستندة إلى النتائج السلوكية، والتي تعكس وظائف PFC، أن تميز السياقات بشكل موثوق أثناء التعلم ولكنها تفشل في توجيه السلوك المحدد بالسياق. من خلال دمج استراتيجيات قائمة على الميزات وأخرى قائمة على النتائج، تُظهر الأبحاث أن هذه الأساليب المدمجة يمكن أن تتغلب على قيود كل منها، مما يسهل تشكيل تمثيلات سياقية متميزة تعزز الاستدلال السياقي.
توفر النتائج إطارًا حسابيًا لفهم كيفية ظهور الاستدلال السياقي من تفاعل التنبؤات القائمة على الميزات والتقديرات القائمة على النتائج، خاصة في السيناريوهات التي يتم فيها إزاحة المعلومات الحسية زمنيًا أو تكون جزئيًا معلوماتية. يوضح النموذج الظروف التي تصبح فيها الآليات القائمة على الميزات غير موثوقة وكيف يمكن أن تستقر المعلومات القائمة على النتائج تشكيل التمثيلات المحددة بالسياق وسط تداخل حسي مرتفع. تقدم هذه الفجوة بين الاستدلال القائم على الميزات والاستدلال القائم على النتائج رؤى حول الأدوار التكميلية لـ الحصيني والدورات الجبهية أثناء التعلم، خاصة في السياقات المؤقتة أو المنفصلة. بشكل عام، تسلط الأبحاث الضوء على إمكانية دمج التخطيط التنبؤي مع التعلم القائم على النتائج لإنشاء حل مرن للاستدلال السياقي، مما يساهم في فهم أوسع لكيفية تكامل الشبكات البيولوجية لمصادر المعلومات المتنوعة لتوجيه السلوك في بيئات جزئية الملاحظة.
مقدمة
تناقش مقدمة ورقة البحث قدرة البشر والحيوانات على تعلم واسترجاع السلوكيات المثلى بناءً على سياقات متميزة، والتي يمكن تحديدها من خلال ميزات أو توزيعات نتائج مختلفة. يعد هذا الاستدلال السياقي أمرًا أساسيًا لاتخاذ القرارات، خاصة في ظل ظروف الملاحظة الجزئية، حيث قد تكون المعلومات غير موثوقة أو غير مكتملة. تسلط الورقة الضوء على تعقيد الآليات العصبية المعنية، وخاصة أدوار القشرة الجبهية (PFC) و الحصين (HPC)، في تسهيل التعلم السياقي. بينما أظهرت النماذج الحسابية، مثل الشبكات العصبية المتكررة (RNNs) ونماذج الاستدلال بايزي، وعدًا في الحفاظ على تمثيلات تعتمد على السياق، إلا أنها غالبًا ما تكافح مع نسب الإشارة إلى الضوضاء المنخفضة (SNR) في البيئات المعقدة.
يقترح المؤلفون أن دمج استراتيجيات التعلم القائمة على الميزات وتلك القائمة على النتائج يمكن أن يعزز التمايز السياقي، خاصة عندما تشترك السياقات في ميزات متداخلة. يفترضون أن خوارزمية قائمة على النتائج يمكن أن تعمل كـ “معلم” مستقر لدعم النماذج القائمة على الميزات أثناء التعلم. تهدف الدراسة إلى تقييم أداء الوكلاء الذين يستخدمون هذه الاستراتيجيات في مهمة تعتمد على السياق، وتقييم مرونتهم تجاه انخفاض SNR السياقي، واستكشاف إمكانية تعميم هذه النتائج عبر مهام سلوكية مختلفة ذات صلة بعلم الأعصاب.
الطرق
في هذه الدراسة، استخدم المؤلفون متاهة T مع إشارات لاستكشاف أداء الخوارزميات القائمة على الميزات وتلك القائمة على النتائج، بالإضافة إلى نموذج مشترك يدمج كلا النوعين من المعلومات، في مهام تتطلب الاستدلال السياقي. تتكون متاهة T من جذع مركزي مع إشارة تشير إلى أي من الذراعين يتم مكافأته، مما يتطلب استدلالًا سياقيًا بسبب المعلومات غير المكتملة عند نقطة القرار. قام الباحثون بتعديل نسبة الإشارة إلى الضوضاء (SNR) للإشارة السياقية عن طريق تغيير المسافة بين الإشارة ونقطة القرار وإدخال إشارات مشتتة، مما أدى إلى فحص كيف أثرت هذه التغييرات على الاستدلال القائم على الميزات والنتائج.
تشير التنبؤات التجريبية إلى أن تمثيلات الحصيني تعتمد على المدخلات القائمة على النتائج من القشرة الجبهية تحت ظروف معينة: عندما يكون سياق المهمة قابلًا للملاحظة جزئيًا ويمكن استنتاجه بشكل تنبؤي من الميزات الحسية. من المتوقع أن يؤدي تعطيل المدخلات الجبهية إلى إضعاف السلوك فقط عندما تتحقق هذه الظروف. على العكس من ذلك، إذا كان السياق قابلًا للملاحظة بالكامل أو لا يمكن استنتاجه من الميزات الحسية، يمكن أن يحدث التعلم الحصيني بشكل مستقل عن المدخلات الجبهية. يتنبأ النموذج بأنه أثناء التعلم، سيعيق تعطيل المدخلات الجبهية الأداء وتطوير خرائط الحصيني المعتمدة على السياق، مع ارتباط مدى الإعاقة بدرجة الملاحظة الجزئية. بعد التعلم، من المتوقع أن يعزز التعطيل الأداء من خلال تقليل التداخل الناتج عن الاستراتيجيات القائمة على النتائج. لا يوضح هذا الإطار فقط الظروف التي تتطلب فيها تمثيلات الحصيني دعمًا قائمًا على النتائج، بل يقترح أيضًا تفاعلات متبادلة حيث يمكن أن يستقر الاستدلال القائم على الميزات التعلم القائم على النتائج في بيئات متغيرة.
النتائج
في هذا القسم، يستكشف المؤلفون الآليات وراء العجز في تعلم الاستدلال السياقي مع انخفاض نسبة الإشارة إلى الضوضاء (SNR) السياقية، وما إذا كان يمكن التخفيف من هذه العجز من خلال الاستدلال القائم على النتائج أثناء التعلم. باستخدام نموذج متاهة T مع إشارات، والذي يتطلب استدلالًا سياقيًا بسبب غياب الإشارات عند نقاط الاختيار، تستخدم الدراسة نهجين قائمين على نموذج بايزي: الاستدلال القائم على الميزات (FI) والاستدلال القائم على النتائج (OI). يستخدم FI تمثيلات الخلفاء المحددة بالسياق (SRs) للتنبؤ بالسلوك الأمثل بناءً على الميزات البيئية، بينما يركز OI على تعلم خرائط الحالة-النتيجة لتحديد السياقات، مفترضًا أنه قد يعزز تعلم SRs المحددة بالسياق.
يتضمن التصميم التجريبي تمثيل أذرع المتاهة وإشاراتها كمواقع وميزات منفصلة، مما يسمح للوكلاء بالانتقال بين هذه الحالات أثناء تعلم استنتاج السياق الحالي بناءً على ملاحظاتهم. يتعلم كل من FI و OI خرائط تعتمد على السياق لتوجيه السلوك، حيث يتلقى FI متجهات ميزات كاملة ويتلقى OI معلومات الموقع فقط. يستخدم الوكلاء خرائط الفرق الزمني (TD) لاختيار الإجراءات، والتي تتعلم تدرجات القيمة عبر البيئة بناءً على أخطاء التنبؤ. تهدف الدراسة إلى إثبات أن التمثيلات السياقية الدقيقة تمكن FI من التنبؤ بالسياقات بناءً على الإشارات، بينما يمكن لـ OI استنتاج السياقات من غياب المكافآت المتوقعة، مما يبرز الأدوار المتميزة للاستدلال القائم على الميزات والاستدلال القائم على النتائج في التعلم السياقي.
المناقشة
في قسم المناقشة من ورقة البحث، يوضح المؤلفون تصميم وتدريب مهام سلوكية متنوعة، مع التركيز بشكل خاص على متاهة T مع إشارات وتكيفاتها لمهام عدم المطابقة للعينة والتمييز الهيكلي. يتم نمذجة متاهة T باستخدام مواقع مكانية منفصلة تمثل كمتجهات واحدة، مع زيادة تمثيل الإشارات التنبؤية لتعزيز التعلم. يتم تدريب الوكلاء من خلال سلسلة من التجارب، حيث تؤدي إجراءات معينة إلى مكافآت بناءً على تنقلهم عبر المتاهة. تم تصميم المهام لتقييم قدرة الوكلاء على استنتاج المعلومات السياقية واتخاذ القرارات بناءً على نماذج الاستدلال القائمة على الميزات والنتائج.
يبرز المؤلفون أن كل من نماذج الاستدلال القائم على الميزات (FI) والاستدلال القائم على النتائج (OI) تتفوق على الخوارزميات الأبسط التي لا تستخدم الاستدلال بايزي، خاصة في السيناريوهات التي تتطلب تكيفًا سريعًا مع التغييرات في أنواع التجارب. من الجدير بالذكر أن وكلاء FI يتفوقون في الاستدلال التنبؤي داخل التجربة، حيث يحققون دقة تصل إلى حوالي 80% في التنبؤ بمواقع المكافآت بناءً على الإشارات، بينما يكافح وكلاء OI في هذا السياق. يبرز هذا التمييز أهمية الاستدلال التنبؤي في حل المهام السياقية، مما يشير إلى أن القدرة على الاستفادة من الملاحظات السابقة والإشارات تعزز بشكل كبير الأداء في بيئات اتخاذ القرار المعقدة. تتماشى النتائج مع الأدبيات الحالية حول تنقل القوارض، مما يعزز أهمية هذه النماذج في فهم العمليات المعرفية المتعلقة بالاستدلال السياقي.
القيود
الإطار الذي تم مناقشته في ورقة البحث هذه هو تجريدي عمدًا، يركز على الجوانب الحسابية للاستدلال السياقي بدلاً من الآليات العصبية المحددة المعنية. يعمل تحت افتراض تمثيل مكاني متقطع واستدلال مستمر بينما ينتقل الوكلاء بين الحالات. تتجنب هذه التبسيط الالتزامات التفصيلية بشأن توقيت القرار، والاحتفاظ بالمعلومات الحسية، والانتقالات البيولوجية. يفترض النموذج أن السياق يتم تحديثه باستمرار طوال التجارب، مما قد لا يعكس بدقة العمليات البيولوجية التي قد تكون أكثر اعتمادًا على الأحداث، مثل بدء الإشارة أو التغذية الراجعة. بينما يهدف الإطار إلى توضيح كيفية الحفاظ على المعلومات السياقية الكامنة وسط الغموض الحسي، فإنه يوفر تمثيلًا خشنًا لنشر السياق ويجب أن يُنظر إليه كحساب حسابي تخطيطي بدلاً من نموذج عصبي دقيق.
علاوة على ذلك، فإن معلمات النموذج، التي تؤثر على كيفية تعلم الوكلاء وتحديد السياقات، هي حاسمة لتطبيقه عبر مهام سلوكية متنوعة. تحدد تهيئة هذه المعلمات، مثل طول الفلتر للاستدلال القائم على النتائج، تميز مواقع المكافآت المعترف بها كسياقات منفصلة. على الرغم من أن معلمات النموذج أقل من تلك المطلوبة لنهج الشبكة العصبية، إلا أنها لا تزال تسلط الضوء على القيود في فهم كيفية تكيف الأنظمة البيولوجية لاستراتيجيات الاستدلال السياقي الخاصة بها لمهام مختلفة. قد تتطلب الأبحاث المستقبلية تطوير نماذج هرمية أو تمثيلات تنبؤية متقدمة لالتقاط مرونة دوائر الحصيني-الجبهية بالكامل. بالإضافة إلى ذلك، يعتمد التنفيذ الحالي على تعريفات يدوية حول متى يجب استخدام الاستدلال القائم على النتائج لدعم الاستدلال القائم على الميزات، مما يشير إلى منطقة محتملة للتلقائية بناءً على التباينات التنبؤية بين النماذج. تشير النتائج الأولية إلى أن مستويات الثقة في التقديرات السياقية يمكن أن توجه عملية اتخاذ القرار بشأن استخدام الاستدلال المشترك، مما يوفر رؤى حول آليات الدماغ لدمج المعلومات القائمة على الميزات وتلك القائمة على النتائج.
DOI: https://doi.org/10.1371/journal.pcbi.1014093
PMID: https://pubmed.ncbi.nlm.nih.gov/41860944
Publication Date: 2026-03-20
Author(s): Jessica Passlack et al.
Primary Topic: Memory and Neural Mechanisms
Overview
This research investigates the mechanisms underlying contextual inference in decision-making, emphasizing the interaction between the prefrontal cortex (PFC) and hippocampus (HPC). The study reveals that models relying on environmental features, akin to hippocampal functions, can effectively support context-specific behavior but struggle with ambiguous contexts during learning. Conversely, models based on behavioral outcomes, reflective of PFC functions, can differentiate contexts reliably during learning but fail to guide context-specific behavior. By integrating feature-based and outcome-based strategies, the research demonstrates that these combined approaches can overcome the limitations of each, facilitating the formation of distinct contextual representations that enhance contextual inference.
The findings provide a computational framework for understanding how contextual inference arises from the interplay of feature-based predictions and outcome-based estimates, particularly in scenarios where sensory information is temporally displaced or partially informative. The model elucidates the conditions under which feature-based mechanisms become unreliable and how outcome-based information can stabilize context-specific representation formation amidst high sensory overlap. This division between feature- and outcome-based inference offers insights into the complementary roles of hippocampal and prefrontal circuits during learning, especially in transient or separated cue contexts. Overall, the research highlights the potential of combining predictive mapping with outcome-based learning to create a flexible solution for contextual inference, contributing to a broader understanding of how biological networks integrate diverse information sources to guide behavior in partially observable environments.
Introduction
The introduction of the research paper discusses the ability of humans and animals to learn and recall optimal behaviors based on distinct contexts, which can be identified through various features or distributions of outcomes. This contextual inference is essential for making decisions, especially under conditions of partial observability, where information may be unreliable or incomplete. The paper highlights the complexity of the neural mechanisms involved, particularly the roles of the prefrontal cortex (PFC) and hippocampus (HPC), in facilitating contextual learning. While computational models, such as recurrent neural networks (RNNs) and Bayesian inference approaches, have shown promise in maintaining context-dependent representations, they often struggle with low signal-to-noise ratios (SNR) in complex environments.
The authors propose that integrating feature-based and outcome-based learning strategies could enhance contextual differentiation, particularly when contexts share overlapping features. They hypothesize that an outcome-based algorithm could serve as a stable “teacher” to support feature-based models during learning. The study aims to evaluate the performance of agents employing these strategies in a context-dependent task, assess their resilience to decreasing contextual SNR, and explore the generalizability of these findings across various behavioral tasks relevant to neuroscience.
Methods
In this study, the authors employed a cued T-maze to explore the performance of feature- and outcome-based algorithms, as well as a joint model that integrates both types of information, in tasks requiring contextual inference. The cued T-maze consists of a central stem with a cue indicating which of two arms is rewarded, necessitating contextual inference due to incomplete information at the decision point. The researchers manipulated the signal-to-noise ratio (SNR) of the contextual cue by altering the distance between the cue and the decision point and introducing distractor cues, thereby examining how these changes affected feature and outcome inference.
The experimental predictions suggest that hippocampal representations rely on outcome-based input from the prefrontal cortex under specific conditions: when the task context is partially observable and predictively inferable from sensory features. Disruption of prefrontal input is expected to impair behavior only when these conditions are met. Conversely, if the context is fully observable or cannot be inferred from sensory features, hippocampal learning can occur independently of prefrontal input. The model predicts that during learning, disrupting prefrontal input will hinder performance and the development of context-dependent hippocampal maps, with the extent of impairment correlating with the degree of partial observability. Post-learning, the disruption is anticipated to enhance performance by reducing interference from outcome-based strategies. This framework not only clarifies the conditions under which hippocampal representations require outcome-based support but also suggests reciprocal interactions where feature-based inference can stabilize outcome-based learning in variable environments.
Results
In this section, the authors investigate the mechanisms behind deficits in contextual inference learning as contextual signal-to-noise ratio (SNR) decreases, and whether these deficits can be mitigated through outcome-based inference during learning. Utilizing a cued T-maze paradigm, which necessitates contextual inference due to the absence of cues at choice points, the study employs two Bayesian model-based approaches: feature inference (FI) and outcome inference (OI). FI utilizes context-specific successor representations (SRs) to predict optimal behavior based on environmental features, while OI focuses on learning state-outcome maps to identify contexts, hypothesizing that it may enhance the learning of context-specific SRs.
The experimental design involves representing the T-maze’s arms and cues as discrete locations and features, respectively, allowing agents to transition between these states while learning to infer the current context based on their observations. Both FI and OI learn context-dependent maps to guide behavior, with FI receiving full feature vectors and OI receiving only location information. The agents employ temporal difference (TD) maps for action selection, which learn value gradients across the environment based on prediction errors. The study aims to demonstrate that accurate contextual representations enable FI to predict contexts based on cues, while OI can infer contexts from the absence of expected rewards, thus highlighting the distinct roles of feature and outcome-based inference in contextual learning.
Discussion
In the discussion section of the research paper, the authors detail the design and training of various behavioral tasks, particularly focusing on a cued T-maze and its adaptations for non-match to sample and structural discrimination tasks. The T-maze is modeled using discrete spatial locations represented as one-hot vectors, with predictive cues overrepresented to enhance learning. Agents are trained through a series of trials, with specific actions leading to rewards based on their navigation through the maze. The tasks are designed to assess the agents’ ability to infer contextual information and make decisions based on both feature and outcome inference models.
The authors highlight that both feature inference (FI) and outcome inference (OI) models outperform simpler algorithms that do not utilize Bayesian inference, particularly in scenarios requiring rapid adaptation to changes in trial types. Notably, FI agents excel in within-trial predictive inference, achieving around 80% accuracy in predicting reward locations based on cues, while OI agents struggle in this context. This distinction emphasizes the importance of predictive inference in solving contextual tasks, suggesting that the ability to leverage past observations and cues significantly enhances performance in complex decision-making environments. The findings align with existing literature on rodent navigation, reinforcing the relevance of these models in understanding cognitive processes related to contextual inference.
Limitations
The framework discussed in this research paper is intentionally abstract, focusing on the computational aspects of contextual inference rather than the specific neural mechanisms involved. It operates under the assumption of a discretized spatial representation and continuous inference as agents transition between states. This simplification avoids detailed commitments regarding decision timing, sensory information retention, and biological state transitions. The model presumes that context is continuously updated throughout trials, which may not accurately reflect biological processes that could be more event-driven, such as cue onset or feedback. While the framework aims to elucidate how latent contextual information is maintained amidst sensory ambiguity, it provides a coarse representation of contextual propagation and should be viewed as a schematic computational account rather than a precise neural model.
Furthermore, the model’s parameters, which influence how agents learn and identify contexts, are crucial for its application across various behavioral tasks. The initialization of these parameters, such as filter length for outcome inference, determines the distinctiveness of reward locations recognized as separate contexts. Although the model’s parameters are fewer than those required for a neural network approach, they still highlight the limitations in understanding how biological systems adapt their contextual inference strategies for different tasks. Future research may necessitate the development of hierarchical models or advanced predictive representations to fully capture the flexibility of hippocampal-prefrontal circuits. Additionally, the current implementation relies on manual definitions for when to utilize outcome inference to support feature inference, suggesting a potential area for automation based on predictive discrepancies between models. Preliminary findings indicate that confidence levels in contextual estimates could guide the decision-making process regarding the use of joint inference, offering insights into the brain’s mechanisms for integrating feature-based and outcome-based information.