DOI: https://doi.org/10.1523/eneuro.0355-25.2026
PMID: https://pubmed.ncbi.nlm.nih.gov/41714142
تاريخ النشر: 2026-02-19
المؤلف: Zhigang Shang وآخرون
الموضوع الرئيسي: تأثير مستقبلات الناقلات العصبية على السلوك
نظرة عامة
تستكشف هذه القسم من ورقة البحث الديناميات لنشاط المنطقة التاجية البطنية (VTA) في الحمام خلال مهمة تشغيلية موجهة بواسطة إشارة، مع التركيز على أخطاء توقع المكافأة (RPEs) التي تُعلم التعلم من خلال مقارنة النتائج المتوقعة والنتائج الفعلية. شملت الدراسة تسجيل نشاط VTA من ثلاثة حمام أثناء استجابتهم لإشارة خضراء (إشارة +) التي توقعت مكافأة مرتبطة بنقر المفتاح، بينما أشارت إشارة حمراء (إشارة -) إلى عدم وجود مكافأة.
باستخدام مجموعة أسلاك ميكروية مكونة من 16 قناة، قام الباحثون بتحليل النشاط المتعدد الوحدات (MUA) المتجمع المتماشي مع أحداث المهمة. كشفت النتائج عن تحول مرتبط بالتعلم في تعديل النشاط المرتبط بالحدث عبر جلسات التدريب: في بداية التدريب، كان النشاط المرتبط بالنتيجة أكثر وضوحًا، بينما زاد تعديل النشاط المرتبط بالإشارة مع استقرار الأداء. تشير هذه النمط إلى تطور يشبه فرق الزمن للإشارات المتعلقة بالتوقع في VTA. بالإضافة إلى ذلك، كانت تجارب الإشارة – نادرة وأظهرت تعديلًا ضئيلًا مرتبطًا بالإشارة. بشكل عام، توفر النتائج دليلًا أوليًا على أن نشاط VTA في الحمام يعكس ديناميات مرتبطة بالتعلم تشبه معالجة RPE، مما يساهم في المقارنات عبر الأنواع لآليات التعلم الدوبامينية.
مقدمة
تستعرض مقدمة هذه الورقة البحثية الأعمال الأساسية حول النشاط الفاسيك المرتبط بالمكافأة في خلايا الدوبامين في الدماغ الأوسط، التي تم إثباتها في البداية من قبل شولتز وزملائه في الرئيسيات غير البشرية. أدى هذا البحث إلى صياغة فرضية خطأ توقع المكافأة (RPE)، التي تفترض أن إطلاق الخلايا الدوبامينية يعكس الفرق بين المكافآت المتوقعة والمستلمة. تعزز RPEs الإيجابية النشاط العصبي عندما تتجاوز النتائج التوقعات، بينما تقمع RPEs السلبية ذلك، مما يلعب دورًا حاسمًا في تحديث استراتيجيات السلوك خلال التعلم المعزز. أكدت الدراسات اللاحقة على مشاركة خلايا الدوبامين في المنطقة التاجية البطنية (VTA) في هذه الحسابات عبر أنواع الثدييات المختلفة، مما أسس أساسًا عصبيًا للتعلم الموجه بالمكافأة.
تستكشف الورقة أيضًا إشارات RPE في الأنواع الطيور، وخاصة الحمام، التي تختلف بشكل كبير عن الثدييات وطيور الغناء في بنية الدماغ. بينما حددت الأبحاث السابقة إشارات RPE في النيدوباليوم الكودولاتيرالي للحمام، لا يزال ترميز إشارات RPE في VTA غير موصوف بشكل جيد. تهدف هذه الدراسة إلى سد هذه الفجوة من خلال استخدام نموذج شرط التشغيل مع إشارات بصرية للتحقيق في نشاط VTA في الحمام خلال اتخاذ القرار. من خلال دمج تسجيلات النشاط المتعدد الوحدات مع التحليل السلوكي، تقدم البحث أول دليل كهربائي فيزيولوجي مباشر على ترميز إشارة RPE في VTA الحمام، مما يساهم في فهم آليات التعلم المعزز عبر الأنواع.
طرق
في هذه الدراسة، استخدم المؤلفون نموذج شرط التشغيل للتحقيق في التعلم المعزز في الحمام. في البداية، خضع الحمام لمرحلة تدريب مسبق حيث تعلموا ربط نقر المفتاح بالمكافآت الغذائية. بعد ذلك، شاركوا في مهمة رسمية للتعلم المعزز تتضمن مفتاحين للنقر، كل منهما مرتبط بإشارات بصرية مميزة: ضوء أخضر يشير إلى مكافأة (إشارة +) وضوء أحمر يشير إلى عدم وجود مكافأة (إشارة -). تم عشوائية ترتيب الإشارات عبر التجارب لتخفيف التحيز الجانبي، مما يسمح بتقييم قوي لقدرة الحمام على تعلم الروابط بين المحفزات البصرية، والاستجابات السلوكية، والنتائج.
خلال الجلسات التجريبية، التي استمرت حوالي 25-30 دقيقة وشملت 100 تجربة، كان مطلوبًا من الحمام الاستجابة للإشارات البصرية ضمن نافذة زمنية مدتها ثانيتان. أدى النقر الناجح على المفتاح الأخضر إلى مكافأة غذائية، بينما أدى النقر على المفتاح الأحمر أو الفشل في الاستجابة إلى عدم وجود مكافأة. اعتُبر الحمام قد أتقن المهمة عندما تجاوزت استجاباته الصحيحة للمفتاح الأخضر 85% في جلسة. تم تسجيل النشاط العصبي في المنطقة التاجية البطنية (VTA) طوال المهمة لاستكشاف الآليات الأساسية للتعلم المعزز.
نتائج
في قسم النتائج، تفيد الدراسة بتقدم سلوكي ملحوظ في التعلم بين الحمام، كما يتضح من زيادة دقة النقر على إشارة + (المفتاح الأخضر) طوال جلسات التدريب. وصلت هذه الدقة إلى مستوى عالٍ مستقر مع اكتساب الحمام للمهمة، مع تسليط الضوء على نقاط بيانات محددة للمواضيع الفردية (P109 و P121 خلال الجلسات 1-5؛ P117 خلال الجلسات 1-3).
بالإضافة إلى ذلك، تم تقييم جودة النشاط المسجل، مع تقديم عينات تمثيلية لموجات النبض من المنطقة التاجية البطنية (VTA) لتوضيح فعالية طرق المعالجة المسبقة المطبقة على البيانات. بعد التحسينات السلوكية ونظرة عامة على إشارات النبض، انتقلت الدراسة لتحليل ديناميات النشاط المتعدد الوحدات (MUA) المتماشي مع الحدث في VTA خلال تجارب الإشارة + عبر جلسات التدريب.
مناقشة
في هذه الدراسة، بحث المؤلفون التغيرات المرتبطة بالتعلم في النشاط المتماشي مع الحدث داخل المنطقة التاجية البطنية (VTA) للحمام خلال مهمة التعلم المعزز. باستخدام مجموعة من ثلاثة حمام بالغين أصحاء، سجل الباحثون النشاط المتعدد الوحدات (MUA) من مجموعة أسلاك ميكروية مكونة من 16 قناة مزروعة في VTA. كشفت التحليلات عن إعادة توزيع زمنية كبيرة لنشاط VTA من فترات مرتبطة بالنتيجة إلى فترات مرتبطة بالإشارة مع تقدم التعلم، متوافقة مع التوقعات من نموذج التعلم بفروق الزمن. على وجه الخصوص، خلال التدريب المبكر، كان النشاط النبضي متماشيًا بشكل أساسي مع تسليم المكافأة، بينما أظهرت الجلسات اللاحقة زيادة في تعديل النشاط المرتبط بالإشارة، مما يشير إلى تحول في التمثيل العصبي لأخطاء توقع المكافأة (RPEs) مع استقرار الأداء.
تشير النتائج إلى أن دور VTA في تحديث توقعات المكافأة يكون بارزًا بشكل خاص خلال مراحل التعلم الأولية، مع انخفاض معدل تعديل الإشارة مع اكتساب المهمة. ومع ذلك، تشمل قيود الدراسة حجم العينة الصغيرة والتركيز على نشاط VTA دون فحص التفاعلات مع مناطق الدماغ الأخرى، التي قد تساهم أيضًا في إشارات RPE. بالإضافة إلى ذلك، يحد غياب نماذج حذف المكافأة أو الانقراض من القدرة على فصل إشارات RPE الحقيقية عن الروابط المستقرة بين المحفزات والمكافآت. يجب أن تتناول الأبحاث المستقبلية هذه القيود من خلال توسيع أحجام العينات ودمج تصميمات مهام أكثر تعقيدًا لتوضيح ديناميات التعلم بالمكافأة في الأنواع الطيور.
DOI: https://doi.org/10.1523/eneuro.0355-25.2026
PMID: https://pubmed.ncbi.nlm.nih.gov/41714142
Publication Date: 2026-02-19
Author(s): Zhigang Shang et al.
Primary Topic: Neurotransmitter Receptor Influence on Behavior
Overview
This section of the research paper investigates the dynamics of ventral tegmental area (VTA) activity in pigeons during a cue-guided operant task, focusing on reward prediction errors (RPEs) that inform learning by comparing expected and actual outcomes. The study involved recording VTA spiking activity from three pigeons as they responded to a green cue (cue +) that predicted a reward contingent on a key peck, while a red cue (cue -) indicated no reward.
Using a 16-channel microwire array, the researchers analyzed pooled multiunit activity (MUA) aligned with task events. The findings revealed a learning-related shift in event-locked modulation across training sessions: early in training, outcome-locked activity was more pronounced, whereas cue-locked modulation increased as performance stabilized. This pattern suggests a temporal-difference-like evolution of prediction-related signals in the VTA. Additionally, cue – trials were infrequent and exhibited minimal cue-locked modulation. Overall, the results provide preliminary evidence that VTA activity in pigeons reflects learning-related dynamics akin to RPE processing, contributing to cross-species comparisons of dopaminergic learning mechanisms.
Introduction
The introduction of this research paper outlines the foundational work on reward-related phasic activity in midbrain dopamine neurons, initially demonstrated by Schultz and colleagues in nonhuman primates. This research led to the formulation of the reward prediction error (RPE) hypothesis, which posits that dopaminergic neuronal firing reflects the difference between expected and received rewards. Positive RPEs enhance neuronal activity when outcomes exceed expectations, while negative RPEs suppress it, playing a crucial role in updating behavioral strategies during reinforcement learning. Subsequent studies have confirmed the involvement of dopaminergic neurons in the ventral tegmental area (VTA) in these computations across various mammalian species, establishing a neurobiological basis for reward-guided learning.
The paper further explores RPE signaling in avian species, particularly pigeons, which differ significantly from mammals and songbirds in brain architecture. While previous research has identified RPE signals in the nidopallium caudolaterale of pigeons, the encoding of RPE signals in the VTA remains poorly characterized. This study aims to fill that gap by employing an operant conditioning paradigm with visual cues to investigate VTA activity in pigeons during decision-making. By integrating multiunit activity recordings with behavioral analysis, the research provides the first direct electrophysiological evidence of RPE signal encoding in the pigeon VTA, contributing to the understanding of reinforcement learning mechanisms across species.
Methods
In this study, the authors employed an operant conditioning paradigm to investigate reinforcement learning in pigeons. Initially, pigeons underwent a pretraining phase where they learned to associate key pecking with food rewards. Following this, they participated in a formal reinforcement learning task involving two pecking keys, each associated with distinct visual cues: a green light indicating a reward (cue +) and a red light indicating no reward (cue -). The spatial arrangement of the cues was randomized across trials to mitigate side bias, allowing for a robust assessment of the pigeons’ ability to learn the associations between visual stimuli, behavioral responses, and outcomes.
During the experimental sessions, which lasted approximately 25-30 minutes and included 100 trials, the pigeons were required to respond to the visual cues within a 2-second window. Successful pecking of the green key resulted in a food reward, while pecking the red key or failing to respond led to no reward. The pigeons were considered to have mastered the task when their correct responses to the green key exceeded 85% in a session. Neural activity in the ventral tegmental area (VTA) was recorded throughout the task to explore the underlying mechanisms of reinforcement learning.
Results
In the results section, the study reports significant behavioral learning progress among pigeons, evidenced by an increase in cue + (green-key) pecking accuracy throughout the training sessions. This accuracy reached a stable high level as the pigeons acquired the task, with specific data points highlighted for individual subjects (P109 and P121 during Sessions 1-5; P117 during Sessions 1-3).
Additionally, the quality of the recorded spiking activity was assessed, with representative spike waveform samples from the ventral tegmental area (VTA) presented to illustrate the effectiveness of the preprocessing methods applied to the data. Following the behavioral improvements and the overview of spiking signals, the study proceeded to analyze the event-aligned multi-unit activity (MUA) dynamics in the VTA during cue + trials across the training sessions.
Discussion
In this study, the authors investigated learning-related changes in event-aligned activity within the ventral tegmental area (VTA) of pigeons during a reinforcement learning task. Using a cohort of three healthy adult pigeons, the researchers recorded multi-unit activity (MUA) from a 16-channel microwire array implanted in the VTA. The analysis revealed a significant temporal redistribution of VTA activity from outcome-locked to cue-locked epochs as learning progressed, consistent with predictions from the temporal difference learning model. Specifically, during early training, spiking activity was predominantly aligned with reward delivery, while later sessions showed increased cue-aligned modulation, indicating a shift in the neural representation of reward prediction errors (RPEs) as performance stabilized.
The findings suggest that the VTA’s role in updating reward predictions is particularly pronounced during the initial learning phases, with the rate of signal adjustment decreasing as the task is acquired. However, the study’s limitations include a small sample size and a focus on VTA activity without examining interactions with other brain regions, which may also contribute to RPE signaling. Additionally, the absence of reward omission or extinction paradigms restricts the ability to fully dissociate genuine RPE signals from stable stimulus-reward associations. Future research should address these limitations by expanding sample sizes and incorporating more complex task designs to further elucidate the dynamics of reward learning in avian species.