DOI: https://doi.org/10.1016/j.sysarc.2026.103874
تاريخ النشر: 2026-06-13
المؤلف: Hamza Kheddar
الموضوع الرئيسي: تقنيات تصميم الأنظمة المدمجة
نظرة عامة
تقدم هذه المراجعة تحليلًا شاملاً لتنفيذات التعلم التعزيزي (RL) على مصفوفات البوابات القابلة للبرمجة في الميدان (FPGAs) والدارات المتكاملة (ICs)، مع تسليط الضوء على مزاياها مثل انخفاض زمن الاستجابة وكفاءة الطاقة، إلى جانب التحديات التصميمية الفريدة التي تقدمها مقارنةً بمنصات المعالجة المركزية (CPU) ووحدات معالجة الرسوميات (GPU) التقليدية. من خلال تنظيم أكثر من مئة دراسة عبر عائلات مختلفة من التعلم التعزيزي – بما في ذلك الطرق المعتمدة على النماذج، والتعلم العميق، والنهج متعددة الوكلاء – توضح المراجعة تصميم العمارة، ومقاييس الأداء، واستراتيجيات التصميم المشترك بين الأجهزة والخوارزميات التي تسهل نشر التعلم التعزيزي بشكل فعال على هذه الركائز الصلبة.
تشير النتائج الرئيسية إلى أن تصميمات التعلم التعزيزي الناجحة تستفيد من أنماط معمارية مثل التوازي الدقيق، ومسارات البيانات المتسلسلة، والحساب الكمي، بينما تكشف أيضًا عن تباين في التركيز بين حلول FPGA، التي تؤكد على المرونة والنمذجة السريعة، وتنفيذات IC التي تعطي الأولوية للحتمية وانخفاض استهلاك الطاقة. تؤكد المراجعة أنه لا يوجد نموذج واحد للتعلم التعزيزي يتفوق عالميًا؛ بل يجب أن يتم اختيار الخوارزمية بناءً على متطلبات المهمة المحددة والقيود المتعلقة بالأجهزة. علاوة على ذلك، تحدد المراجعة القيود المستمرة في هذا المجال، مثل القضايا المتعلقة بالدقة العددية وقابلية التوسع، وتقترح اتجاهات البحث المستقبلية، بما في ذلك تطوير معايير موحدة ودمج التعلم التعزيزي مع تقنيات الأجهزة الناشئة. بشكل عام، تعتبر هذه العمل مرجعًا حيويًا للباحثين والممارسين عند تقاطع التعلم التعزيزي ومنصات الأجهزة، موضحة التأثيرات الملموسة للتعلم التعزيزي في مجالات تطبيق متنوعة.
مقدمة
تسلط مقدمة الورقة الضوء على الأهمية المتزايدة للأنظمة الذكية المستقلة في اتخاذ القرار في مجالات الحوسبة المختلفة، خاصة مع تزايد ديناميكية وتنوع الأحمال. تكافح تقنيات التحكم والتحسين التقليدية للتكيف مع تباين التطبيقات الحديثة، مما يجعل التعلم التعزيزي (RL) بديلاً واعدًا نظرًا لقدرته على التعلم والتكيف في الوقت الحقيقي من خلال التفاعل مع بيئته. ومع ذلك، فإن انتقال التعلم التعزيزي من منصات البرمجيات إلى منصات الأجهزة يقدم تحديات كبيرة، خاصة فيما يتعلق باستهلاك الطاقة، وتوقيت التنفيذ، وقابلية التوسع، وهي أمور حاسمة للتطبيقات في الوقت الحقيقي.
تقدم مصفوفات البوابات القابلة للبرمجة في الميدان (FPGAs) والدارات المتكاملة (ICs) حلولًا محتملة من خلال تمكين تنفيذات قابلة للتخصيص وفعالة لخوارزميات التعلم التعزيزي. تسمح هذه المنصات الصلبة بالتوازي الدقيق والتنفيذ الحتمي، مما يمكن أن يعزز الأداء مع معالجة قيود الطاقة. تؤكد الورقة على الدور المزدوج للتعلم التعزيزي في هذا السياق: يمكن أن يكون عبئًا يجب تسريعه وآلية تحكم لمهام إدارة الأجهزة. تهدف المراجعة إلى توحيد الأدبيات الموجودة حول تنفيذات التعلم التعزيزي في بيئات FPGA وIC، مع التركيز على أنظمة اتخاذ القرار في الوقت الحقيقي حيث تؤثر قيود الأجهزة بشكل كبير على كفاءة التعلم وإمكانية النشر. من خلال اعتماد منظور يركز على الأجهزة، تسعى الورقة إلى توضيح خيارات التصميم وآثارها، مما يوجه في النهاية البحث المستقبلي في هذا المجال متعدد التخصصات.
الطرق
تؤكد منهجية المراجعة المستخدمة في هذه الدراسة على الدقة النظامية، والشفافية، وإمكانية التكرار في فحص تنفيذ التعلم التعزيزي (RL) على منصات FPGA والدارات المتكاملة (IC). تم إجراء بحث شامل في الأدبيات باستخدام Scopus، الذي يشمل مجموعة واسعة من الناشرين العلميين والمكتبات الرقمية، بما في ذلك IEEE Xplore وElsevier ScienceDirect. تم صياغة استعلام بولياني منظم لاسترجاع الدراسات ذات الصلة من خلال استهداف حقول العنوان، والملخص، والكلمات الرئيسية، مع التركيز بشكل خاص على التنفيذات الموجهة نحو الأجهزة لكل من الطرق التقليدية والعميقة للتعلم التعزيزي. تم تصميم الاستعلام لتصفية النتائج بناءً على اللغة، وسنة النشر (2015-2026)، ونوع الوثيقة، مما يضمن تضمين الأعمال المهمة التي تجمع بين التعلم التعزيزي مع الأجهزة FPGA أو IC.
للحفاظ على توازن بين الشمولية والتركيز الفني، خضعت الدراسات المسترجعة لمزيد من الفحص بناءً على معايير الصلة والجودة. تم الاحتفاظ بالأعمال الأساسية التي ساهمت في تصنيف FPGA/IC، والنقاشات المعمارية، ومقارنات الأداء، أو التحليلات على مستوى التطبيقات، بينما تم استبعاد الدراسات الزائدة وتلك التي تفتقر إلى تفاصيل كافية حول تنفيذ الأجهزة. أولت المراجعة الأولوية للمساهمات الحديثة التي تقدم رؤى واضحة حول التنفيذ وتعالج الاتجاهات الناشئة مثل تسريع التعلم التعزيزي الفعال من حيث الطاقة، والأجهزة الكمية للتعلم التعزيزي، وأجهزة التعلم التعزيزي متعددة الوكلاء (MARL)، مما يضمن استكشافًا شاملاً ولكنه مركزًا في هذا المجال.
المناقشة
في قسم المناقشة من الورقة، يبرز المؤلفون الفجوات الكبيرة في الاستطلاعات الحالية التي تستكشف تقاطع التعلم التعزيزي (RL) والأجهزة، مع التركيز بشكل خاص على المنصات القابلة لإعادة التكوين والمتنوعة مثل FPGAs والدارات المتكاملة (ICs). ركزت الأعمال السابقة بشكل كبير على جوانب معينة، مثل المعماريات المعتمدة على FPGA أو تطبيقات التعلم الآلي في أتمتة التصميم الإلكتروني، لكنها فشلت في تقديم نظرة شاملة تدمج بين عائلات خوارزميات التعلم التعزيزي المختلفة (مثل SARSA، مونت كارلو، الممثل-الناقد، وتحسين السياسة القريب) وآثارها على تحقيق الأجهزة. يؤكد المؤلفون أن مراجعتهم تعالج هذه النواقص من خلال تجميع أكثر من 120 دراسة ذات صلة، وتقديم منظور موحد يشمل كل من تنفيذات FPGA وIC، وتصنيف الأدبيات بشكل منهجي بناءً على أنواع التعلم التعزيزي، والاعتبارات المعمارية، ومجالات التطبيق.
تشمل المساهمات الرئيسية للمراجعة مقارنة مفصلة لتنفيذات التعلم التعزيزي عبر المنصات، وتغطية شاملة لعائلات التعلم التعزيزي، وتحليل منظم للأدبيات بناءً على مستويات تجريد الأجهزة وتدفقات التصميم. كما يؤكد المؤلفون على أهمية المقارنات المدفوعة بالمعايير لتقييم الأداء من حيث زمن الاستجابة، ومعدل النقل، واستخدام الموارد، وكفاءة الطاقة. علاوة على ذلك، يحددون القيود المعمارية والمنهجية المتكررة، مما يوفر رؤى قابلة للتنفيذ للبحث المستقبلي في أنظمة الأجهزة الذكية المدعومة بالتعلم التعزيزي. تم تنظيم المراجعة في أقسام تغطي الخلفية الأساسية، وتصنيف تقنيات التعلم التعزيزي، والمجالات البحثية الرئيسية، ومجالات التطبيق، والتحديات التي تعيق قابلية التوسع والنشر، مما culminates في خارطة طريق لتعزيز أنظمة الأجهزة الذكية القابلة لإعادة الاستخدام والموثوقة.
القيود
تسلط الأبحاث الضوء على عدة قيود أساسية تعيق الاعتماد الأوسع وقابلية التوسع على المدى الطويل لمسرعات FPGA وIC المعتمدة على التعلم التعزيزي (RL)، على الرغم من التقدم الملحوظ في زمن الاستجابة، وكفاءة الطاقة، والقدرات في الوقت الحقيقي. يتم تصنيف هذه القيود إلى أبعاد خوارزمية ومعمارية ونظامية ومنهجية، مما يشير إلى أن التحديات لا تزال قائمة عبر جوانب مختلفة من التكنولوجيا. تشير النتائج إلى أن معالجة هذه القيود أمر حاسم لتعزيز جدوى وفعالية الحلول المعتمدة على التعلم التعزيزي في التطبيقات العملية.
DOI: https://doi.org/10.1016/j.sysarc.2026.103874
Publication Date: 2026-06-13
Author(s): Hamza Kheddar
Primary Topic: Embedded Systems Design Techniques
Overview
This review provides a comprehensive analysis of reinforcement learning (RL) implementations on field-programmable gate arrays (FPGAs) and integrated circuits (ICs), highlighting their advantages such as low latency and energy efficiency, alongside the unique design challenges they present compared to traditional CPU and GPU platforms. By systematically organizing over one hundred studies across various RL families—including model-based methods, deep RL, and multi-agent approaches—the review elucidates the architectural design, performance metrics, and hardware-algorithm co-design strategies that facilitate effective RL deployment on these hardware substrates.
Key findings indicate that successful RL designs leverage architectural patterns such as fine-grained parallelism, pipelined datapaths, and quantized arithmetic, while also revealing a divergence in focus between FPGA solutions, which emphasize flexibility and rapid prototyping, and IC implementations that prioritize determinism and low power consumption. The survey underscores that no single RL paradigm is universally superior; rather, algorithm selection should be informed by specific task requirements and hardware constraints. Furthermore, the review identifies persistent limitations in the field, such as issues with numerical precision and scalability, and suggests future research directions, including the development of standardized benchmarks and the integration of RL with emerging hardware technologies. Overall, this work serves as a vital reference for researchers and practitioners at the intersection of RL and hardware platforms, illustrating the tangible impacts of RL in diverse application domains.
Introduction
The introduction of the paper highlights the increasing importance of intelligent, autonomous decision-making systems in various computing domains, particularly as workloads become more dynamic and heterogeneous. Traditional control and optimization techniques struggle to adapt to the variability of modern applications, making reinforcement learning (RL) a promising alternative due to its ability to learn and adapt in real-time through interaction with its environment. However, the transition of RL from software to hardware platforms presents significant challenges, particularly concerning energy consumption, execution timing, and scalability, which are critical for real-time applications.
Field-programmable gate arrays (FPGAs) and integrated circuits (ICs) offer potential solutions by enabling customizable and efficient implementations of RL algorithms. These hardware platforms allow for fine-grained parallelism and deterministic execution, which can enhance performance while addressing power constraints. The paper emphasizes the dual role of RL in this context: it can be both a workload to be accelerated and a control mechanism for hardware management tasks. The review aims to consolidate existing literature on RL implementations in FPGA and IC environments, focusing on real-time decision-making systems where hardware constraints significantly impact learning efficiency and deployment feasibility. By adopting a hardware-centric perspective, the paper seeks to clarify design choices and their implications, ultimately guiding future research in this multidisciplinary area.
Methods
The review methodology employed in this study emphasizes systematic rigor, transparency, and reproducibility in examining the implementation of Reinforcement Learning (RL) on FPGA and Integrated Circuit (IC) platforms. A comprehensive literature search was conducted using Scopus, which encompasses a wide array of scientific publishers and digital libraries, including IEEE Xplore and Elsevier ScienceDirect. A structured Boolean query was formulated to retrieve relevant studies by targeting title, abstract, and keyword fields, specifically focusing on hardware-oriented implementations of both classical and deep RL methods. The query was designed to filter results based on language, publication year (2015-2026), and document type, ensuring the inclusion of significant works that combine RL with FPGA or IC hardware.
To maintain a balance between completeness and technical focus, the retrieved studies underwent further screening based on relevance and quality criteria. Seminal works that contributed to the FPGA/IC-centered taxonomy, architectural discussions, performance comparisons, or application-level analyses were retained, while redundant studies and those lacking sufficient hardware implementation details were excluded. The review prioritized recent contributions that provide clear implementation insights and address emerging trends such as energy-efficient RL acceleration, quantized RL hardware, and multi-agent reinforcement learning (MARL) hardware, thereby ensuring a comprehensive yet focused exploration of the field.
Discussion
In the discussion section of the paper, the authors highlight significant gaps in existing surveys that explore the intersection of reinforcement learning (RL) and hardware, particularly focusing on reconfigurable and heterogeneous platforms like FPGAs and integrated circuits (ICs). Previous works have largely concentrated on specific aspects, such as FPGA-based architectures or machine learning applications in electronic design automation, but have failed to provide a comprehensive overview that integrates various RL algorithm families (e.g., SARSA, Monte-Carlo, actor-critic, and proximal policy optimization) and their implications for hardware realization. The authors assert that their review addresses these deficiencies by synthesizing over 120 relevant studies, offering a unified perspective that encompasses both FPGA and IC implementations, and systematically categorizing the literature based on RL types, architectural considerations, and application domains.
Key contributions of the review include a detailed comparison of RL implementations across platforms, a comprehensive coverage of RL families, and a structured analysis of literature based on hardware abstraction levels and design flows. The authors also emphasize the importance of metrics-driven comparisons to evaluate performance in terms of latency, throughput, resource utilization, and energy efficiency. Furthermore, they identify recurring architectural and methodological limitations, providing actionable insights for future research in RL-enabled intelligent hardware systems. The review is organized into sections that cover essential background, a taxonomy of RL techniques, major research areas, application domains, and challenges that hinder scalability and deployment, culminating in a roadmap for advancing robust and reusable intelligent hardware systems.
Limitations
The research highlights several fundamental limitations that impede the broader adoption and long-term scalability of reinforcement learning (RL)-based FPGA and IC accelerators, despite notable advancements in latency, energy efficiency, and real-time capabilities. These limitations are categorized into algorithmic, architectural, system-level, and methodological dimensions, indicating that challenges persist across various aspects of the technology. The findings suggest that addressing these limitations is crucial for enhancing the viability and effectiveness of RL-based solutions in practical applications.