DOI: https://doi.org/10.1109/tccn.2026.3670137
تاريخ النشر: 2026-01-01
المؤلف: Jiaming Yu وآخرون
الموضوع الرئيسي: الشبكات اللاسلكية والبروتوكولات
نظرة عامة
تستكشف هذه الورقة البحثية تطبيق التعلم المعزز متعدد الوكلاء (MARL) لتحسين الوصول الموزع للقنوات في الشبكات المحلية اللاسلكية (WLANs). يقدم المؤلفون إطار عمل جديد، QPMIX، الذي يسهل التعاون بين الوكلاء الذين يستخدمون خوارزميات التعلم المعزز القائمة على القيمة والسياسة المتنوعة. يستخدم الإطار نهج التدريب المركزي مع التنفيذ الموزع (CTDE)، مما يضمن التقارب عند استخدام تقريب دالة القيمة الخطية. تشير النتائج إلى أن QPMIX يعزز بشكل كبير من إنتاجية الشبكة والعدالة بين المحطات، متفوقًا على آلية الوصول المتعدد مع تجنب التصادم التقليدية (CSMA/CA) من حيث الإنتاجية، ومتوسط التأخير، وتذبذب التأخير، ومعدلات التصادم، خاصة في سيناريوهات حركة المرور المشبعة.
تظهر النتائج أيضًا قوة QPMIX في ظروف حركة المرور غير المشبعة والحساسة للتأخير، مما يبرز قدرته على التعايش مع CSMA/CA وتعزيز التعاون بين الوكلاء المتنوعين. تختتم الورقة باقتراح اتجاهات البحث المستقبلية، بما في ذلك تطوير خوارزميات MARL متنوعة لسيناريوهات العقد المخفية وتوسيع إطار عمل QPMIX لمجموعات الخدمة الأساسية المتداخلة (BSSs).
نقاش
في هذا القسم، يتناول المؤلفون مشكلة الوصول إلى قناة الرفع في مجموعة الخدمة الأساسية (BSS) ذات الفترات الزمنية حيث تتواصل عدة وكلاء محطة (STA) مع نقطة الوصول (AP). يركز النقاش على تطوير خوارزمية تعلم معزز متعددة الوكلاء (MARL) متنوعة لتحسين الوصول إلى القناة مع ضمان العدالة بين STAs. تم صياغة المشكلة كعملية قرار ماركوف جزئية قابلة للملاحظة غير مركزية (Dec-POMDP)، حيث يعمل كل من الوكلاء القائمين على القيمة والوكلاء القائمين على السياسة. تدمج خوارزمية QPMIX المقترحة نقاط القوة لكلا النوعين من الوكلاء، مستخدمة مرحلة تدريب مركزية لتعزيز التعاون وزيادة إنتاجية الشبكة.
يستعرض المؤلفون إطار التعلم المعزز (RL)، مع التركيز على الفروقات بين السيناريوهات ذات الوكيل الواحد والعديد من الوكلاء. في سياق MARL، تتخذ الوكلاء قرارات بناءً على الملاحظات المحلية، مما يقدم تحديات مثل عدم الثبات والجزئية في الملاحظة. يجمع هيكل QPMIX بين DQN للوكلاء القائمين على القيمة وProximal Policy Optimization (PPO) للوكلاء القائمين على السياسة، مستخدمًا شبكة خلط لتجميع قيم Q الفردية في قيمة Q إجمالية. تم تصميم هيكل المكافآت لتعزيز العدالة من خلال تحفيز الوكلاء الذين لديهم تأخيرات أعلى على الإرسال، مما يوازن بين الإنتاجية والعدالة.
تم تقديم تحليل التقارب النظري لخوارزمية QPMIX، مما يوضح أن معلمات كل من الوكلاء القائمين على القيمة والوكلاء القائمين على السياسة تتقارب إلى نقطة مشتركة مع مرور الوقت، مما يضمن التعاون الفعال. يختتم المؤلفون بتقييمات الأداء عبر سيناريوهات حركة المرور المختلفة، مقيسين مقاييس مثل الإنتاجية، ومتوسط التأخير، ومعدل التصادم، والعدالة، والتي تؤكد فعالية الخوارزمية المقترحة في تحسين الوصول إلى القناة في البيئات المتنوعة.
DOI: https://doi.org/10.1109/tccn.2026.3670137
Publication Date: 2026-01-01
Author(s): Jiaming Yu et al.
Primary Topic: Wireless Networks and Protocols
Overview
This research paper explores the application of multi-agent reinforcement learning (MARL) to improve distributed channel access in wireless local area networks (WLANs). The authors introduce a novel framework, QPMIX, which facilitates collaboration among agents that utilize heterogeneous value-based and policy-based reinforcement learning algorithms. The framework employs a centralized training with distributed execution (CTDE) approach, ensuring convergence when using linear value function approximation. The findings indicate that QPMIX significantly enhances network throughput and fairness among stations, outperforming the conventional carrier-sense multiple access with collision avoidance (CSMA/CA) mechanism in terms of throughput, mean delay, delay jitter, and collision rates, particularly in saturated traffic scenarios.
The results also demonstrate QPMIX’s robustness in unsaturated and delay-sensitive traffic conditions, highlighting its ability to coexist with CSMA/CA and promote cooperation among heterogeneous agents. The paper concludes by suggesting future research directions, including the development of heterogeneous MARL algorithms for hidden node scenarios and the extension of the QPMIX framework to overlapping basic service sets (BSSs).
Discussion
In this section, the authors address the uplink channel access problem in a time-slotted Basic Service Set (BSS) where multiple Station (STA) agents communicate with an Access Point (AP). The focus is on developing a heterogeneous Multi-Agent Reinforcement Learning (MARL) algorithm to optimize channel access while ensuring fairness among STAs. The problem is framed as a decentralized partially observable Markov decision process (Dec-POMDP), where both value-based and policy-based agents operate. The proposed QPMIX algorithm integrates the strengths of both types of agents, utilizing a centralized training phase to enhance cooperation and maximize network throughput.
The authors detail the reinforcement learning (RL) framework, emphasizing the differences between single-agent and multi-agent scenarios. In the MARL context, agents make decisions based on local observations, which introduces challenges such as non-stationarity and partial observability. The QPMIX architecture combines DQN for value-based agents and Proximal Policy Optimization (PPO) for policy-based agents, employing a mixing network to aggregate individual Q-values into a total Q-value. The reward structure is designed to promote fairness by incentivizing agents with higher delays to transmit, thereby balancing throughput and fairness.
Theoretical convergence analysis of the QPMIX algorithm is provided, demonstrating that both value-based and policy-based agents’ parameters converge to a common point over time, ensuring effective cooperation. The authors conclude with performance evaluations across various traffic scenarios, measuring metrics such as throughput, mean delay, collision rate, and fairness, which validate the efficacy of the proposed algorithm in optimizing channel access in heterogeneous environments.