DOI: https://doi.org/10.3390/e28030269
PMID: https://pubmed.ncbi.nlm.nih.gov/41899921
تاريخ النشر: 2026-02-28
المؤلف: Markus Klar وآخرون
الموضوع الرئيسي: الإدراك المتجسد والممتد
نظرة عامة
يقدم هذا القسم مفهوم الاستدلال النشط المتقطع (IAIF)، وهو امتداد لإطار الاستدلال النشط التقليدي الذي يبرز أهمية التخطيط المتقطع في عمليات اتخاذ القرار للوكيل. بينما يفترض الاستدلال النشط القياسي الاستدلال المستمر والتحكم، يسمح IAIF بالتحديثات المتقطعة للإحساس، والاستدلال، والتخطيط، أو التصرف، مما يقلل من المتطلبات الحاسوبية ويقلل من انتشار الضوضاء المرتبطة في حلقات التغذية الراجعة. تبحث الدراسة بشكل خاص في التخطيط المتقطع، حيث يعيد الوكلاء التخطيط فقط عندما يتجاوز خطأ التوقع عتبة معينة أو عندما يتجاوز الطاقة الحرة المتوقعة المرتبطة بالخطة الحالية التقديرات السابقة.
تظهر تقييمات IAIF في مهمة توجيه الفأر أحادي البعد أن هذا النهج لا يقلل فقط من وقت الحساب ولكن أيضًا يحافظ على أداء المهمة، خاصة عندما يتم زيادة عدد الخطط المأخوذة أثناء التخطيط. تقدم الأبحاث آليتين لتحفيز إعادة التخطيط: محفز تباين الاعتقاد ومحفز خطأ الطاقة الحرة المتوقعة. تشير النتائج إلى أنه بينما لا يغير التخطيط المتقطع بشكل كبير أداء المهمة، فإنه يقدم تباينًا سلوكيًا مشابهًا للتحكم الحركي البشري. بشكل عام، يتم وضع IAIF كأداة عملية لتحسين وتطوير النماذج، مما يوفر فوائد فورية في الكفاءة الحاسوبية ويتماشى مع خصائص الوكلاء الطبيعيين.
مقدمة
في مقدمة هذه الورقة البحثية، يناقش المؤلفون قيود عمليات اتخاذ القرار ماركوف التقليدية (MDPs) في نمذجة السلوك الوكالي، خاصة فيما يتعلق بالمدة الثابتة للفترات الزمنية المنفصلة لتحديثات العمل والملاحظة. يبرزون دور وكلاء الاستدلال النشط (AIF)، الذين يستخدمون العمليات المعرفية الداخلية للتخطيط للأفعال المستقبلية من خلال تحديث المعتقدات حول البيئة وحالاتهم الخاصة. ومع ذلك، يشير المؤلفون إلى أن الصيغ القياسية لـ AIF تفترض تردد زمني موحد لهذه العمليات، مما يثير تساؤلات حول التوازنات في تحديد النظام، والكفاءة الحاسوبية، وأداء السلوك.
لمعالجة هذه المخاوف، يقدم المؤلفون الاستدلال النشط المتقطع (IAIF)، المستوحى من نماذج التحكم المتقطع التي لوحظت في التحكم الحركي البشري. يقترحون نهجًا يعتمد على الأحداث للإدراك، والاستدلال، وتحديد النظام، والتخطيط، مما قد يعزز الكفاءة الحاسوبية وأداء المهمة. من خلال المحاكاة الحاسوبية لمهمة توجيه الفأر، يظهرون أن IAIF يحقق أداءً متسقًا في المهمة مع تقليل التكاليف الحاسوبية مقارنة بإعادة التخطيط المستمرة. تشير النتائج إلى أنه يمكن بدء مراحل التخطيط بناءً على أداء الخطط الحالية، مما يسمح بتخصيص الموارد بشكل أكثر كفاءة، خاصة للأهداف الأكبر. كما تقدم الورقة تنفيذًا قائمًا على JAX لـ IAIF ورمز محاكاة متاح على GitHub.
طرق
في قسم الطرق، يحدد المؤلفون الإطار المنهجي لدراستهم حول الاستدلال النشط المتقطع (IAIF) ضمن مهمة توجيه الفأر أحادي البعد. يقدم القسم 3.1 المفاهيم الأساسية لإطار الاستدلال النشط القائم على العينة، مع التركيز على حلقة التفاعل بين وكيل AIF وبيئته. بالنسبة للقراء المألوفين بـ AIF، يتناول القسم 3.2 تفاصيل تنفيذ الاستدلال والتخطيط المتقطع، موضحًا نهجين لبدء مراحل التخطيط بناءً على تباين الاعتقاد (القسم 3.2.1) وخطأ الطاقة الحرة المتوقعة (القسم 3.2.2).
يركز التصميم التجريبي على تقييم تأثير التقطع على نموذج مستخدم بشري لتوجيه الفأر، مبسطًا النموذج الأصلي عن طريق إزالة آلية النقر لتعزيز القابلية للتفسير. يتم قياس الأداء من خلال النسبة المئوية للوقت الذي يبقى فيه المؤشر داخل منطقة الهدف، والتي تم نمذجتها كنظام تأخير من الدرجة الثانية مع معامل تخميد \( d > 0 \). تتضمن الدراسة ضوضاء غاوسية وتأخير إدراكي ثابت قدره 100 مللي ثانية لمحاكاة الإدراك البشري. يتم هيكلة تفضيل الوكيل لصالح التواجد داخل وقريب من الهدف، مع تطبيق معدل تعلم أعلى على موضع الهدف عند الملاحظة الأولية. يجري المؤلفون محاكاة عبر مواقع وأبعاد أهداف مختلفة، مع تحليل تأثيرات عتبات مختلفة لمحفز تباين الاعتقاد وعدد الخطط المأخوذة خلال مرحلة التخطيط، مع مقارنة النتائج أيضًا بقاعدة AIF غير المتقطعة الكلاسيكية.
نتائج
في هذا القسم، يتم تقديم نتائج دراسة المحاكاة، موضحة المنهجية والمعلمات المستخدمة. تم أخذ عينة من 1000 خطة مختلفة لكل مرحلة تخطيط، مع أفق محاكاة يتكون من اثني عشر خطوة زمنية. استمرت كل تجربة محاكاة لمدة مئة خطوة زمنية، مما يعادل مدة إجمالية قدرها ثانيتين، حيث ظلت الأهداف ثابتة. تضمنت الشروط الأولية لكل تجربة موضع بدء ثابت مع سرعة صفر وعدم يقين أولي ثابت. من الجدير بالذكر أن قيم الموضع والسرعة تم تقليصها بمقدار 1000 لزيادة الكفاءة الحاسوبية، ولكن تم الإبلاغ عن النتائج بوحدات بكسل.
شملت الدراسة عشرة تجارب لكل من الأهداف الاثني عشر، مما أدى إلى 120 تشغيلًا لكل وكيل. لتقييم دلالة النتائج، تم استخدام اختبارات مان-ويتني-ويلكوكسي ذات الجانبين. استخدمت تصور البيانات مخططات الصندوق، حيث احتوى كل مخطط على 120 نقطة بيانات، مع الإشارة إلى الوسيط بخط، وتمثل النطاق بين الربعين بواسطة الصندوق، وتمتد الشعيرات إلى 1.5 مرة من النطاق بين الربعين، مع تحديد القيم الشاذة بواسطة دوائر. تم إجراء المحاكاة على جهاز عالي الأداء مزود بمعالج AMD Ryzen Threadripper PRO 3975WX ذو 32 نواة وبطاقة NVIDIA GeForce RTX 3090، مع تحسين الكود الرئيسي باستخدام النسخة المعجلة بالعتاد من JAX.
مناقشة
تناقش الورقة البحثية تقديم الاستدلال النشط المتقطع (IAIF) كنهج جديد لتقليل التكاليف الحاسوبية في إطار الاستدلال النشط (AIF) للوكلاء، خاصة في سياقات التفاعل بين الإنسان والكمبيوتر. تقوم وكلاء AIF التقليديون بأداء الإحساس، والاستدلال، والتخطيط، والعمل في كل خطوة زمنية، مما يمكن أن يكون مكلفًا من الناحية الحاسوبية، خاصة عند التعامل مع أهداف أكبر. يقترح نموذج IAIF أن الوكلاء يمكنهم العمل باستمرار في الإحساس، والاستدلال، والعمل بينما يخططون بشكل متقطع. يتم تحفيز هذا التخطيط المتقطع من خلال الفجوات الكبيرة بين الحالات المتوقعة والملاحظة، مما يسمح للوكيل بتكييف استراتيجيته دون العبء الحاسوبي المستمر للتخطيط الكامل في كل خطوة زمنية.
تسلط الورقة الضوء أيضًا على أهمية النماذج الحالية في التحكم الحركي البشري والتفاعل بين الإنسان والكمبيوتر، مما يبرز أهمية فهم الحركة كسلسلة من الحركات الفرعية ودور التغذية الراجعة في تحسين الأداء. من خلال دمج المفاهيم من مجالات ذات صلة، مثل التعلم المعزز والتحكم التنبؤي للنماذج، يجادل المؤلفون بأن IAIF يمكن أن يعزز كفاءة وواقعية تفاعلات الوكلاء في البيئات الديناميكية. تم تصميم الآليات المقترحة لتحفيز إعادة التخطيط، مثل محفز تباين الاعتقاد ومحفز خطأ الطاقة الحرة المتوقعة، لضمان بقاء الوكلاء مستجيبين للتغيرات مع تقليل الجهود الحاسوبية غير الضرورية. بشكل عام، تسهم هذه العمل في فهم كيفية تكيف AIF لتشغيل أكثر كفاءة في التطبيقات الواقعية.
DOI: https://doi.org/10.3390/e28030269
PMID: https://pubmed.ncbi.nlm.nih.gov/41899921
Publication Date: 2026-02-28
Author(s): Markus Klar et al.
Primary Topic: Embodied and Extended Cognition
Overview
The section presents the concept of Intermittent Active Inference (IAIF), an extension of the traditional Active Inference framework that emphasizes the importance of intermittent planning in agents’ decision-making processes. While standard Active Inference assumes continuous inference and control, IAIF allows for intermittent updates to sensing, inference, planning, or acting, thereby reducing computational demands and minimizing the propagation of correlated noise in feedback loops. The study specifically investigates intermittent planning, where agents re-plan only when the prediction error exceeds a certain threshold or when the Expected Free Energy associated with the current plan surpasses prior estimates.
The evaluation of IAIF in a 1D mouse pointing task reveals that this approach not only decreases computation time but also maintains task performance, particularly when the number of sampled plans during planning is increased. The research introduces two mechanisms for triggering re-planning: the Belief Divergence Trigger and the Expected Free Energy Error Trigger. The findings suggest that while intermittent planning does not significantly alter task performance, it introduces behavioral variability akin to human motor control. Overall, IAIF is positioned as a practical tool for model refinement and development, offering immediate benefits in computational efficiency and aligning with the characteristics of natural agents.
Introduction
In the introduction of this research paper, the authors discuss the limitations of traditional Markov Decision Processes (MDPs) in modeling agentic behavior, particularly regarding the constant duration of discrete time intervals for action and observation updates. They highlight the role of Active Inference (AIF) agents, which utilize internal cognitive processes to plan future actions by updating beliefs about the environment and their own states. However, the authors note that standard AIF formulations assume uniform temporal frequency for these processes, raising questions about the trade-offs in system identification, computational efficiency, and behavioral performance.
To address these concerns, the authors introduce Intermittent Active Inference (IAIF), inspired by intermittent control models observed in human motor control. They propose an event-triggered approach to perception, inference, system identification, and planning, which could enhance computational efficiency and task performance. Through computational simulations of a mouse pointing task, they demonstrate that IAIF achieves consistent task performance with reduced computational costs compared to continuous re-planning. The findings suggest that planning phases can be initiated based on the performance of current plans, allowing for more efficient resource allocation, particularly for larger targets. The paper also provides a JAX-based implementation of IAIF and simulation code available on GitHub.
Methods
In the Methods section, the authors outline the methodological framework for their study on Intermittent Active Inference (IAIF) within a 1D mouse pointing task. Section 3.1 introduces the foundational concepts of continuous, sample-based Active Inference Framework (AIF), emphasizing the interaction loop between the AIF agent and its environment. For readers familiar with AIF, Section 3.2 delves into the specifics of implementing intermittent inference and planning, detailing two approaches for initiating planning phases based on belief divergence (Section 3.2.1) and Expected Free Energy error (Section 3.2.2).
The experimental design focuses on assessing the impact of intermittency on a human user model for mouse pointing, simplifying the original model by removing the click mechanic to enhance interpretability. The performance is measured by the percentage of time the cursor remains within a target area, modeled as a second-order lag system with a damping parameter \( d > 0 \). The study incorporates Gaussian noise and a fixed perceptual delay of 100 ms to simulate human perception. The agent’s preference is structured to favor being inside and close to the target, with a higher learning rate applied to the target position upon initial observation. The authors conduct simulations across various target locations and widths, analyzing the effects of different thresholds for the Belief Divergence Trigger and the number of sampled plans during the planning phase, while also comparing results to a classic non-intermittent AIF baseline.
Results
In this section, the results of the simulation study are presented, detailing the methodology and parameters used. A total of 1000 different plans were sampled for each planning phase, with a simulation horizon of twelve time steps. Each simulation trial lasted for one hundred time steps, equating to a total duration of two seconds, during which targets remained static. The initial conditions for each trial included a fixed starting position with zero velocity and a constant initial uncertainty. Notably, position and velocity values were scaled down by a factor of 1000 for computational efficiency, but results are reported in pixel units.
The study involved ten trials for each of the twelve targets, culminating in 120 runs per agent. To assess the significance of the results, two-sided Mann-Whitney-Wilcoxon tests were employed. The data visualization utilized box plots, where each plot comprised 120 data points, with the median indicated by a line, the interquartile range represented by the box, and whiskers extending to 1.5 times the interquartile range, with outliers marked by circles. Simulations were conducted on a high-performance machine equipped with a 32-Core AMD Ryzen Threadripper PRO 3975WX CPU and an NVIDIA GeForce RTX 3090, with the main code optimized using the hardware-accelerated version of JAX.
Discussion
The research paper discusses the introduction of Intermittent Active Inference (IAIF) as a novel approach to reduce computational costs in Active Inference Framework (AIF) agents, particularly in human-computer interaction contexts. Traditional AIF agents perform sensing, inference, planning, and action at every time step, which can be computationally expensive, especially when dealing with larger targets. The IAIF model proposes that agents can operate continuously in sensing, inference, and action while planning intermittently. This intermittent planning is triggered by significant discrepancies between predicted and observed states, allowing the agent to adapt its strategy without the constant computational burden of full planning at each time step.
The paper also highlights the relevance of existing models in human motor control and human-computer interaction, emphasizing the importance of understanding movement as a series of submovements and the role of feedback in optimizing performance. By integrating concepts from related fields, such as reinforcement learning and model predictive control, the authors argue that IAIF can enhance the efficiency and realism of agent interactions in dynamic environments. The proposed mechanisms for triggering re-planning, such as the Belief Divergence Trigger and Expected Free Energy Error Trigger, are designed to ensure that agents remain responsive to changes while minimizing unnecessary computational efforts. Overall, this work contributes to the understanding of how AIF can be adapted for more efficient operation in real-world applications.