DOI: https://doi.org/10.1038/s42005-025-02475-6
تاريخ النشر: 2026-01-03
المؤلف: Akash Kundu وآخرون
الموضوع الرئيسي: خوارزميات وهندسة الحوسبة الكمومية
نظرة عامة
تناقش هذه الفقرة التحديات المتعلقة بتصميم الدوائر الكمية في سياق الحوسبة الكمومية، خاصة بسبب ضوضاء الأجهزة والاتصال المحدود. تسلط الضوء على قيود طرق التعلم المعزز الحالية، التي تكافح من أجل الدقة عندما تكون مقيدة بالأبواب الأصلية للأجهزة وتجميع المستوى الجهاز.
لمعالجة هذه القضايا، يقترح المؤلفون نهجًا جديدًا يسمى التعلم المعزز للأدوات (GRL)، والذي يدمج التعلم مع تركيب البرامج لإنشاء أبواب مركبة. يوسع هذا الأسلوب مساحة العمل مع الالتزام بالقيود المادية، مما يؤدي إلى تحسين الدقة، والتوافق مع الأجهزة، وقابلية التوسع لمشكلات مثل نموذج إيسينغ في الحقل العرضي وكيمياء الكم. يتعامل الإطار بنجاح مع أنظمة تصل إلى عشرة كيوبتات ضمن ميزانيات حسابية واقعية، مما يوضح إمكانية مكونات الدوائر المتعلمة والقابلة لإعادة الاستخدام لتعزيز التصميم المشترك للخوارزميات الكمومية والأجهزة.
مقدمة
تناقش مقدمة الورقة التقدمات الكبيرة في الحوسبة الكمومية، وخاصة تطوير الخوارزميات الأساسية مثل خوارزمية شور وخوارزمية غروفر، التي تعد بحل مشكلات تعتبر حاليًا غير قابلة للحل بالنسبة لأجهزة الكمبيوتر الكلاسيكية. على الرغم من هذه الاختراقات النظرية، فإن التنفيذ العملي يعوقه قيود في الأجهزة الكمومية، بما في ذلك انخفاض عدد الكيوبتات، وارتفاع مستويات الضوضاء، والاتصال المقيد. لمعالجة هذه التحديات، تم اقتراح خوارزميات كمومية-كلاسيكية هجينة، خاصة الخوارزميات الكمومية التقديرية (VQAs). تستخدم VQAs دائرة كمومية معلمة (PQC) لإعداد الحالة الكمومية، والقياس، والتحسين الكلاسيكي، ومع ذلك، فإن تصميم PQCs فعالة لا يزال معقدًا بسبب قيود الأجهزة.
تقدم الورقة نهجًا جديدًا يسمى التعلم المعزز للأدوات (GRL)، والذي يدمج التعلم المعزز (RL) مع تركيب البرامج لتعزيز قابلية التكيف وكفاءة تصميم الدوائر الكمومية. يقوم GRL بتركيب أبواب مركبة على مستوى أعلى، أو “أدوات”، من حالات المشكلة الأبسط، مما يوسع مساحة العمل للوكيل ويحسن قدرته على التعميم عبر المهام. يتم إثبات فعالية GRL من خلال تطبيقه على نموذج إيسينغ في الحقل العرضي (TFIM)، حيث يتعلم بنجاح الأدوات من حالات أبسط لحل مشكلات أكثر تعقيدًا، محققًا أداءً أفضل ضمن ميزانيات حسابية ثابتة. تشير النتائج إلى أن GRL لا يعزز فقط الكفاءة الحسابية وقابلية التوسع، بل ينتج أيضًا PQCs متوافقة مع الأجهزة تم تحسينها للتنفيذ في العالم الحقيقي.
طرق
في هذا القسم، يحدد المؤلفون منهجية لبناء دوائر كمومية معلمة (PQCs) تهدف إلى معالجة مشكلات تحسين كمومية متنوعة بكفاءة. يستفيد النهج من وكيل تعلم معزز (RL) يتنقل في مساحة تصميم PQC، بينما تحدد روتين تركيب البرامج وتستخلص أنماط الأبواب المستخدمة بشكل متكرر إلى عمليات مركبة قابلة لإعادة الاستخدام، تُسمى “أدوات”. من خلال دمج هذه الأدوات في مساحة العمل، يمكن لوكيل RL العمل مع هياكل على مستوى أعلى، مما يسهل البحث الأكثر كفاءة عن دوائر فعالة، خاصة في حالات المشكلة المعقدة.
يتناول القسم ثلاثة مكونات رئيسية من الإطار المقترح. أولاً، يقدم خوارزمية التعلم المعزز للأدوات (GRL)، موضحًا كيف يقوم وكيل RL بتشكيل PQCs، وترميز الدوائر كموترات، واستخدام آليات المكافأة لتوجيه الوكيل نحو حلول منخفضة الطاقة ضمن سياق خوارزمية كمومية تقديرية (VQA). ثانيًا، يصف وحدة بناء المكتبة، التي تستخدم تركيب البرامج لتحليل الدوائر الناجحة وتجميع مكتبة من الأدوات التي تعزز مجموعة الأبواب الأصلية الموجودة. أخيرًا، يتم توضيح المنهجية من خلال تطبيقها على نموذج إيسينغ في الحقل العرضي (TFIM)، مما يوضح أن الأدوات المطورة في أنظمة المعلمات الأبسط يمكن إعادة استخدامها بفعالية لمعالجة حالات أكثر تعقيدًا، مما يحسن كفاءة العينة وضيق الدائرة.
النتائج
في هذا القسم، يقدم المؤلفون أداء التعلم المعزز للأدوات (GRL) في معالجة مشكلتين هامتين: نموذج إيسينغ في الحقل العرضي (TFIM) وإعداد الحالة الأساسية لجزيء H₂. تشير النتائج إلى أن GRL يلتقط بفعالية الديناميات المعقدة لـ TFIM، مما يظهر قدرته على تحسين المعلمات وتحقيق توقعات دقيقة لسلوك النظام تحت ظروف متغيرة.
علاوة على ذلك، يظهر تطبيق GRL على إعداد الحالة الأساسية لجزيء H₂ نتائج واعدة، مما يبرز إمكانيته في تطبيقات كيمياء الكم. تشير النتائج إلى أن GRL لا يعزز فقط الكفاءة الحسابية، بل يحسن أيضًا دقة تقديرات طاقة الحالة الأساسية، مما يسهم في التقدم في تقنيات المحاكاة الكمومية. بشكل عام، تؤكد النتائج فعالية GRL في حل المشكلات الكمومية المعقدة.
نقاش
في هذا القسم، يناقش المؤلفون خوارزمية التعلم المعزز للأدوات (GRL)، التي تم تصميمها لبناء دوائر كمومية معلمة (PQCs) لخوارزميات كمومية تقديرية (VQAs). تبدأ خوارزمية GRL بدائرة كمومية فارغة وتستخدم وكيل تعلم معزز (RL) يستفيد من شبكة Q عميقة مزدوجة وسياسة $\epsilon$-جشعة لإضافة الأبواب بشكل متسلسل من مساحة العمل المحددة مسبقًا، والتي تشمل الأبواب الأصلية لمعالج IBM Heron. يتم تحديث مساحة العمل مع “الأدوات” المستخرجة – الأبواب المركبة التي تعزز كفاءة بناء الدوائر – بناءً على فعاليتها في تقدير الحلول لمشكلات الكم، خاصة نموذج إيسينغ في الحقل العرضي (TFIM). يؤكد المؤلفون على أهمية هذه الأدوات في تحسين أداء الوكيل من خلال تمكينه من معالجة حالات أكثر تعقيدًا من المشكلة بشكل تكراري.
تظهر النتائج أن GRL يتفوق على طرق RL التقليدية، خاصة في الأنظمة الصعبة، من خلال الاستفادة من المكونات القابلة لإعادة الاستخدام المستمدة من حالات المشكلة الأبسط. يبرز المؤلفون أن تضمين الأدوات يؤدي إلى تحسينات كبيرة في دقة وكفاءة وكيل RL، كما يتضح من انخفاض معدلات الخطأ وعدد الأبواب المطلوبة لتحقيق الدقة المطلوبة. بالإضافة إلى ذلك، يظهر إطار GRL وعدًا من حيث قابلية التوسع، حيث يمكن تطبيق الأدوات المستخرجة من الأنظمة الأصغر بفعالية على دوائر كمومية أكبر، مما يعزز الأداء العام لتركيب الدوائر الكمومية. تشير النتائج إلى أن GRL لا يسهل فقط بناء دوائر مدمجة مناسبة للأجهزة الكمومية الحقيقية، بل يقدم أيضًا نهجًا قويًا لحل مجموعة متنوعة من المشكلات الكمومية بخلاف TFIM.
DOI: https://doi.org/10.1038/s42005-025-02475-6
Publication Date: 2026-01-03
Author(s): Akash Kundu et al.
Primary Topic: Quantum Computing Algorithms and Architecture
Overview
The section discusses the challenges of quantum circuit design in the context of quantum computing, particularly due to device noise and limited connectivity. It highlights the limitations of existing reinforcement learning methods, which struggle with accuracy when constrained to hardware-native gates and device-level compilation.
To address these issues, the authors propose a novel approach called gadget reinforcement learning (GRL), which integrates learning with program synthesis to create composite gates. This method expands the action space while adhering to hardware constraints, resulting in improved accuracy, compatibility with hardware, and scalability for problems such as the transverse field Ising model and quantum chemistry. The framework successfully handles systems of up to ten qubits within realistic computational budgets, illustrating the potential of learned, reusable circuit components to enhance the co-design of quantum algorithms and hardware.
Introduction
The introduction of the paper discusses significant advancements in quantum computing, particularly the development of foundational algorithms such as Shor’s and Grover’s, which promise to tackle problems that are currently intractable for classical computers. Despite these theoretical breakthroughs, practical implementation is hindered by limitations in quantum hardware, including low qubit counts, high noise levels, and restricted connectivity. To address these challenges, hybrid quantum-classical algorithms, especially variational quantum algorithms (VQAs), have been proposed. VQAs utilize a parameterized quantum circuit (PQC) for quantum state preparation, measurement, and classical optimization, yet designing effective PQCs remains complex due to hardware constraints.
The paper introduces a novel approach called gadget reinforcement learning (GRL), which integrates reinforcement learning (RL) with program synthesis to enhance the adaptability and efficiency of quantum circuit design. GRL synthesizes higher-level composite gates, or “gadgets,” from simpler problem instances, expanding the agent’s action space and improving its ability to generalize across tasks. The efficacy of GRL is demonstrated through its application to the transverse field Ising model (TFIM), where it successfully learns gadgets from simpler instances to solve more complex problems, achieving better performance within fixed computational budgets. The results indicate that GRL not only enhances computational efficiency and scalability but also produces hardware-compatible PQCs that are optimized for real-world implementation.
Methods
In this section, the authors outline a methodology for constructing parameterized quantum circuits (PQCs) aimed at efficiently addressing various quantum optimization problems. The approach leverages a reinforcement learning (RL) agent that navigates the PQC design space, while a program synthesis routine identifies and distills frequently utilized gate patterns into reusable composite operations, termed “gadgets.” By incorporating these gadgets into the action space, the RL agent can operate with higher-level constructs, facilitating a more efficient search for effective circuits, particularly in complex problem instances.
The section elaborates on three key components of the proposed framework. First, it introduces the gadget reinforcement learning (GRL) algorithm, detailing how the RL agent formulates PQCs, encodes circuits as tensors, and utilizes reward mechanisms to guide the agent towards low-energy solutions within a variational quantum algorithm (VQA) context. Second, it describes the library-building module, which employs program synthesis to analyze successful circuits and compile a library of gadgets that enhance the existing hardware-native gate set. Finally, the methodology is exemplified through its application to the transverse field Ising model (TFIM), demonstrating that gadgets developed in simpler parameter regimes can be effectively reused to tackle more complex instances, thereby improving sample efficiency and circuit compactness.
Results
In this section, the authors present the performance of gadget reinforcement learning (GRL) in addressing two significant problems: the transverse field Ising model (TFIM) and the ground state preparation of the H₂ molecule. The results indicate that GRL effectively captures the complex dynamics of the TFIM, demonstrating its capability to optimize parameters and achieve accurate predictions of the system’s behavior under varying conditions.
Furthermore, the application of GRL to the ground state preparation of the H₂ molecule shows promising results, highlighting its potential in quantum chemistry applications. The findings suggest that GRL not only enhances computational efficiency but also improves the accuracy of ground state energy estimations, thereby contributing to advancements in quantum simulation techniques. Overall, the results underscore the effectiveness of GRL in solving intricate quantum mechanical problems.
Discussion
In this section, the authors discuss the Gadget Reinforcement Learning (GRL) algorithm, which is designed to construct parameterized quantum circuits (PQCs) for variational quantum algorithms (VQAs). The GRL algorithm begins with an empty quantum circuit and employs a reinforcement learning (RL) agent that utilizes a double deep Q-network and an $\epsilon$-greedy policy to sequentially add gates from a predefined action space, which includes native gates of the IBM Heron processor. The action space is updated with extracted “gadgets”—composite gates that enhance the efficiency of circuit construction—based on their effectiveness in estimating solutions to quantum problems, particularly the transverse field Ising model (TFIM). The authors emphasize the importance of these gadgets in improving the agent’s performance by enabling it to tackle more complex instances of the problem iteratively.
The results demonstrate that GRL outperforms traditional RL methods, particularly in challenging regimes, by leveraging the reusable components derived from simpler problem instances. The authors highlight that the inclusion of gadgets leads to significant improvements in the accuracy and efficiency of the RL agent, as evidenced by reduced error rates and fewer gates required to achieve desired precision. Additionally, the GRL framework shows promise for scalability, as gadgets extracted from smaller systems can be effectively applied to larger quantum circuits, thereby enhancing the overall performance of quantum circuit synthesis. The findings suggest that GRL not only facilitates the construction of compact circuits suitable for real quantum hardware but also offers a robust approach to solving a variety of quantum problems beyond the TFIM.