DOI: https://doi.org/10.1093/tse/tdag005
تاريخ النشر: 2026-01-01
المؤلف: Yifan Zhang وآخرون
الموضوع الرئيسي: تخطيط النقل وتحسينه
نظرة عامة
تتناول هذه الورقة البحثية القضية المستمرة لتجمع الحافلات في أنظمة النقل الحضري، والتي تتفاقم بسبب الظروف المرورية المتغيرة وطلب الركاب. يقترح المؤلفون إطار عمل جديد للتعلم المعزز (RL) لوحدات التحكم في احتجاز الحافلات في خطوط الحافلات ذات الجدول الزمني ثنائي الاتجاه، بهدف التغلب على قيود أساليب التعلم المعزز متعدد الوكلاء (MARL) التي غالبًا ما تعاني من تكاليف حسابية عالية وعدم كفاءة في العينة. من خلال تحويل المشكلة متعددة الوكلاء إلى صيغة لوكيل واحد، يتضمن الإطار معرّفات فئوية—مثل معرفات المركبات، والمحطات، والرحلات—إلى جانب الميزات العددية التقليدية (مثل الفترات الزمنية، والاشغال، وسرعة المقطع) لتعزيز تمثيل الحالة. يسمح هذا التعزيز للوكيل الواحد بالتنقل في فضاء عالي الأبعاد بشكل فعال، على غرار تحقيق القابلية للفصل في المدخلات غير القابلة للفصل خطيًا.
تظهر خوارزمية التعلم المعزز المقترحة، التي تتميز بدالة مكافأة “على شكل حافة” منظمة تعزز الفترات الزمنية الموحدة والالتزام بالمغادرات المجدولة، أداءً متفوقًا مقارنة بثلاث طرق مرجعية. على وجه التحديد، تحقق مكافأة متوسطة تراكمية أعلى بشكل ملحوظ (-430k مقابل -530k) في ظل ظروف عشوائية. تشير النتائج إلى أن هذا النهج القائم على وكيل واحد، المدعوم بالتضمينات الفئوية وبنية مكافأة واقعية، يمكن أن يخفف بشكل فعال من تجمع الحافلات في البيئات غير الدائرية. كما تؤكد الدراسة الإطار من خلال محاكاة واسعة النطاق تقضي على جميع أحداث التجمع، مما يبرز إمكاناته كبديل قوي لأنظمة التحكم التقليدية القائمة على MARL. تشمل اتجاهات البحث المستقبلية تكييف الإطار لاستيعاب توزيعات الطلب غير الثابتة واستكشاف تقنيات النمذجة المتقدمة لفهم ديناميات الحافلات بشكل أفضل.
مقدمة
تتناول مقدمة الورقة القضية المستمرة لتجمع الحافلات في أنظمة النقل العام الحضري، حيث تتجمع الحافلات على نفس المسار معًا، مما يؤدي إلى خدمة غير موثوقة وزيادة أوقات انتظار الركاب. لا تنشأ هذه الظاهرة فقط بسبب انحرافات الجدول الزمني؛ بل تنشأ من التفاعلات المعقدة بين ظروف المرور وطلب الركاب، خاصة خلال الفترات الانتقالية قبل ساعات الذروة. تسلط الورقة الضوء على دورة تعزز ذاتيًا حيث تبطئ حافلة رائدة بسبب زيادة الطلب أو الازدحام، مما يسمح لحافلة تالية باللحاق بها وفي النهاية وراثة الطلب المتزايد، مما يؤدي إلى تجمع مستقر من الحافلات. تتطلب هذه اللامستقرارية في ديناميات الفترات الزمنية تطوير استراتيجيات تحكم تكيفية يمكن أن تستجيب في الوقت الفعلي للطلب المتقلب وظروف السرعة.
لمعالجة هذه التحديات، يقترح المؤلفون إطار عمل جديد للتعلم العميق المعزز (RL) لوكيل واحد مصمم لعمليات الحافلات الواقعية المعتمدة على الجدول الزمني. يعيد هذا النهج صياغة المشكلة متعددة الوكلاء إلى مهمة لوكيل واحد من خلال دمج المعرفات الفئوية، مما يقلل من المشكلات المتعلقة بعدم توازن البيانات وتقارب السياسات النموذجية لإطارات التعلم المعزز متعدد الوكلاء (MARL). توضح الورقة أربع مساهمات رئيسية: إنشاء بيئة محاكاة حافلات ثنائية الاتجاه واقعية، وتطوير إطار عمل للتعلم المعزز لوكيل واحد يعمم عبر حافلات غير متجانسة، وتصميم دالة مكافأة منظمة تعزز الفترات الزمنية الموحدة والالتزام بالجداول الزمنية، وإظهار قوة طريقة الممثل الناعم-الناقد (SAC) في البيئات الديناميكية. تشير النتائج التجريبية إلى أن النهج القائم على SAC يتفوق على طرق MARL التقليدية، خاصة تحت ضغط فترات الذروة، مما يقدم حلاً واعدًا لمشكلة تجمع الحافلات.
طرق
في هذا القسم، يقدم المؤلفون إطار عمل منهجي يعيد صياغة مشكلة احتجاز الحافلات متعددة الوكلاء إلى مهمة تعلم معزز (RL) لوكيل واحد. يستخدمون طبقات تضمين فئوية لتحويل المعرفات المنفصلة، مثل معرفات الحافلات والمحطات، إلى تمثيلات كثيفة كامنة، مما يمكّن وكيل واحد من نوع Soft Actor-Critic (SAC) من إدارة أسطول الحافلات بالكامل عبر سياقات مكانية زمنية متنوعة. تكون منطق التحكم مدفوعة بالأحداث، حيث يتم تحفيز الإجراءات والمكافآت من خلال أحداث وصول الحافلات غير المتزامنة بدلاً من الفترات الزمنية الثابتة. يحتفظ المؤلفون بقاموسين مفهرسين حسب معرف الحافلة لتخزين أزواج الحالة-الإجراء وتتبع الحالات القابلة للملاحظة، ملتزمين بانتقالات التوابل في ذاكرة التكرار فقط عندما تصل مركبة إلى محطتها التالية، مما يضمن أن تعكس المكافآت بدقة انتظام الفترات الزمنية.
لتقييم فعالية طريقة التحكم في الاحتجاز الخاصة بهم، طور المؤلفون بيئة محاكاة مخصصة للأحداث المنفصلة تحاكي عمليات الحافلات ثنائية الاتجاه تحت ظروف طلب وحركة مرور متغيرة. تم تصميم هذا الإعداد التجريبي لتقييم الأداء والموثوقية للطريقة المقترحة في سيناريوهات النقل الواقعية، مع توفير الشيفرة المصدرية لمزيد من الاستكشاف.
نقاش
تتناول قسم النقاش في الورقة البحثية التقدم في استراتيجيات التخفيف من تجمع الحافلات، مع التركيز على قيود الطرق التقليدية وإمكانات أساليب التعلم المعزز (RL). تصنف الاستراتيجيات الحالية إلى تحكم قائم على المحطات وتحكم بين المحطات، مع تسليط الضوء على الأنظمة المتكاملة الحديثة التي تجمع بين هذه الأساليب. ومع ذلك، غالبًا ما تواجه هذه الأنظمة صعوبات في عدم استقرار التدريب والافتراضات التشغيلية المبسطة. يقترح المؤلفون بنية تعلم جديدة تستوعب الجدولة المرنة وأحجام الأسطول الديناميكية، مما يعالج عدم اليقين في أنظمة النقل الحضري مثل تقلبات طلب الركاب وأوقات السفر.
تستعرض الورقة أيضًا تطبيق التعلم المعزز متعدد الوكلاء (MARL) في أنظمة النقل، مشيرة إلى التحديات المتعلقة بالقدرة على التوسع وعدم توازن البيانات، خاصة خلال الجداول الزمنية للخدمة غير المنتظمة. بالمقابل، يقدم المؤلفون إطار عمل لوكيل واحد من نوع الممثل الناعم-الناقد (SAC) يستخدم ترميز الميزات الفئوية لتعزيز تعلم السياسة عبر سياقات تشغيلية متنوعة. يهدف هذا النهج إلى تحسين الموثوقية ضد الاضطرابات العشوائية في بيئات الحافلات ثنائية الاتجاه مع مواءمة القرارات التشغيلية مع أهداف جودة الخدمة. تم تصميم دالة المكافأة لتعزيز انتظام الفترات الزمنية والالتزام بالجداول الزمنية، مما يضمن أن يتمكن وكيل التعلم المعزز من إدارة عمليات الحافلات بشكل فعال تحت ظروف العالم الحقيقي.
DOI: https://doi.org/10.1093/tse/tdag005
Publication Date: 2026-01-01
Author(s): Yifan Zhang et al.
Primary Topic: Transportation Planning and Optimization
Overview
This research paper addresses the persistent issue of bus bunching in urban transit systems, which is exacerbated by variable traffic conditions and passenger demand. The authors propose a novel single-agent reinforcement learning (RL) framework for bus holding control in bidirectional timetabled bus lines, aiming to overcome the limitations of multi-agent reinforcement learning (MARL) approaches that often struggle with high computational costs and sample inefficiency. By transforming the multi-agent problem into a single-agent formulation, the framework incorporates categorical identifiers—such as vehicle, station, and trip IDs—alongside traditional numerical features (e.g., headway, occupancy, and segment velocity) to enhance state representation. This augmentation allows the single-agent to navigate a higher-dimensional space effectively, akin to achieving separability in linearly inseparable inputs.
The proposed RL algorithm, characterized by a structured “ridge-shaped” reward function that promotes uniform headways and adherence to scheduled departures, demonstrates superior performance compared to three benchmark methods. Specifically, it achieves a significantly higher cumulative mean reward (-430k versus -530k) under stochastic conditions. The results indicate that this single-agent approach, informed by categorical embeddings and a realistic reward structure, can effectively mitigate bus bunching in non-loop environments. The study further validates the framework through extensive simulations that eliminate all bunching events, showcasing its potential as a robust alternative to conventional MARL-based control systems. Future research directions include adapting the framework to accommodate non-stationary demand distributions and exploring advanced modeling techniques to better understand bus dynamics.
Introduction
The introduction of the paper addresses the persistent issue of bus bunching in urban public transportation systems, where buses on the same route cluster together, leading to unreliable service and increased passenger wait times. This phenomenon is not solely due to schedule deviations; rather, it arises from the complex interactions between traffic conditions and passenger demand, particularly during transitional periods before peak hours. The paper highlights a self-reinforcing cycle where a leading bus slows down due to increased demand or congestion, allowing a trailing bus to catch up and eventually inherit the heightened demand, resulting in a stable cluster of buses. This instability in headway dynamics necessitates the development of adaptive control strategies that can respond in real-time to fluctuating demand and speed conditions.
To address these challenges, the authors propose a novel single-agent deep reinforcement learning (RL) framework tailored for realistic, timetable-based bus operations. This approach reformulates the multi-agent problem into a single-agent task by incorporating categorical identifiers, thus mitigating issues related to data imbalance and policy convergence typical of multi-agent reinforcement learning (MARL) frameworks. The paper outlines four key contributions: the creation of a realistic bidirectional bus simulation environment, the development of a single-agent RL framework that generalizes across heterogeneous buses, the design of a structured reward function that promotes uniform headways and adherence to schedules, and the demonstration of the robustness of the soft actor-critic (SAC) method in dynamic environments. Empirical results indicate that the SAC-based approach outperforms traditional MARL methods, particularly under peak-period stress, thereby offering a promising solution to the bus bunching problem.
Methods
In this section, the authors present a methodology framework that reformulates the multi-agent bus holding problem into a single-agent reinforcement learning (RL) task. They utilize categorical embedding layers to convert discrete identifiers, such as bus and stop IDs, into dense latent representations, enabling a single Soft Actor-Critic (SAC) agent to manage the entire bus fleet across diverse spatio-temporal contexts. The control logic is event-driven, where actions and rewards are triggered by asynchronous bus-arrival events rather than fixed time intervals. The authors maintain two dictionaries indexed by bus ID to store state-action pairs and track observable states, committing transition tuples to the replay buffer only when a vehicle reaches its next stop, thereby ensuring that rewards accurately reflect headway regularity.
To assess the effectiveness of their holding control method, the authors developed a custom discrete-event simulation environment that simulates bidirectional bus operations under varying demand and traffic conditions. This experimental setup is designed to evaluate the performance and robustness of the proposed method in realistic transit scenarios, with the source code made available for further exploration.
Discussion
The discussion section of the research paper outlines advancements in bus bunching mitigation strategies, emphasizing the limitations of traditional methods and the potential of reinforcement learning (RL) approaches. It categorizes existing strategies into station-based and inter-station control, highlighting recent integrated systems that combine these approaches. However, these systems often struggle with training instability and oversimplified operational assumptions. The authors propose a novel learning architecture that accommodates flexible scheduling and dynamic fleet sizes, addressing uncertainties in urban transit systems such as fluctuating passenger demand and travel times.
The paper also reviews the application of multi-agent reinforcement learning (MARL) in transit systems, noting challenges related to scalability and data imbalance, particularly during irregular service schedules. In contrast, the authors introduce a single-agent soft actor-critic (SAC) framework that utilizes categorical feature encoding to enhance policy learning across varying operational contexts. This approach aims to improve robustness against stochastic disturbances in bidirectional bus environments while aligning operational decisions with service quality objectives. The reward function is designed to promote headway regularity and schedule adherence, ensuring that the RL agent can effectively manage bus operations under real-world conditions.