DOI: https://doi.org/10.1371/journal.pone.0336753
PMID: https://pubmed.ncbi.nlm.nih.gov/41511995
تاريخ النشر: 2026-01-09
المؤلف: Juan Francisco Navarro Perez وآخرون
الموضوع الرئيسي: إدارة الطاقة في الشبكات الذكية
نظرة عامة
تقدم هذه الورقة البحثية إطارًا متكاملًا يجمع بين التنبؤ بالتعلم العميق والتعلم المعزز العميق (DRL) لتحسين عمليات أنظمة تخزين الطاقة بالبطاريات (BESS) بالتزامن مع محطات الطاقة الكهروضوئية (PV). تتناول الدراسة الفجوة بين الأبحاث القائمة على المحاكاة والتطبيقات الواقعية من خلال التحقق من صحة الإطار باستخدام عامين من بيانات التشغيل من ثلاث محطات PV-BESS على نطاق المرافق في تشيلي. يستخدم الإطار نموذج الذاكرة طويلة وقصيرة المدى (LSTM) من نوع Sequence-to-Sequence (Seq2Seq) لتنبؤ توليد الطاقة الكهروضوئية وأسعار السوق، والذي يتم دمجه مع وكلاء DRL، وتحديدًا تحسين السياسة القريب (PPO) ونموذج الممثل الناعم (SAC)، المدربين على 1,000 سيناريو تم إنشاؤه لكل موقع. تشير النتائج إلى أن المتنبئ Seq2Seq يحسن الدقة بشكل كبير، حيث يحقق انخفاضًا بنسبة 34.5% في متوسط الخطأ الجذري التربيعي (RMSE) لتنبؤات الأسعار مقارنة بالطرق التقليدية.
تظهر النتائج أن وكلاء DRL يتفوقون على قاعدة التنبؤ ثم التحسين الحتمية، حيث يحققون أرباحًا متوسطة تبلغ حوالي 55,000 دولار أمريكي على مدى 14 يومًا مع إظهار سلوك متوازن قوي. تؤكد الدراسة على الجدوى العملية والفوائد الاقتصادية للإطار المقترح، مما يبرز فعاليته في ظروف العالم الحقيقي المعقدة والمتقلبة. تشمل اتجاهات البحث المستقبلية تعزيز قابلية تفسير النموذج من خلال تقنيات الذكاء الاصطناعي القابلة للتفسير، ودمج تدهور البطارية في دالة المكافأة لتحسين الأصول على المدى الطويل، وتوسيع الإطار إلى نظام متعدد الوكلاء للتحكم المنسق عبر عدة محطات PV-BESS. بشكل عام، يوفر هذا العمل تحققًا تجريبيًا من إطار عمل قائم على البيانات لإدارة PV-BESS، مما يبرز جاهزيته للنشر العملي في أنظمة الطاقة المتجددة.
مقدمة
تسلط المقدمة الضوء على الدور الحاسم لمصادر الطاقة المتجددة، وخاصة الطاقة الشمسية وطاقة الرياح، في مواجهة تغير المناخ. ومع ذلك، فإن التقطع الفطري لهذه المصادر يطرح تحديات على موثوقية الشبكة واستقرارها. تم تحديد أنظمة تخزين الطاقة بالبطاريات (BESS) كتقنيات أساسية تمكن محطات الطاقة الكهروضوئية (PV) من تخزين الطاقة الزائدة وتقديمها إلى الشبكة بطريقة منظمة، مما يعزز موثوقيتها. إن دمج BESS مع أنظمة PV أمر بالغ الأهمية لتحويل هذه المصادر الطاقية المتقطعة إلى أصول قابلة للتوزيع، والتي يمكن تحسينها من خلال أنظمة إدارة الطاقة (EMS) التي تتكيف مع ظروف السوق.
تؤكد مراجعة الأدبيات على أهمية التنبؤ الدقيق قصير المدى لكل من توليد الطاقة الكهروضوئية وأسعار السوق، إلى جانب التحكم الأمثل في الوقت الحقيقي لدورات شحن وتفريغ BESS. بينما يركز البحث بشكل أساسي على تعزيز الربحية التشغيلية، فإنه يتناول أيضًا التحديات التقنية المتعلقة باستقرار الشبكة، مثل تخفيف الفولتية الزائدة من خلال التعلم التعزيزي التعاوني. يحدد القسم الإطار المنهجي، بما في ذلك استخدام الشبكات العصبية متعددة الطبقات ذات التغذية الأمامية لوظائف السياسة والقيمة، ويحدد المعلمات الفائقة الرئيسية والإعدادات للخوارزميات المستخدمة في الدراسة.
طرق
في هذا القسم، يحدد المؤلفون منهجية شاملة لتطوير وتقييم استراتيجيات التحكم القائمة على البيانات لنظام تخزين الطاقة الكهروضوئية-البطارية (PV-BESS). تبدأ العملية بجمع ومعالجة البيانات التاريخية للطقس والأسعار والتوليد، والتي تشكل الأساس التجريبي للتنبؤ. يستخدم المؤلفون ثلاثة نماذج تنبؤية: مقدر بسيط، SARIMAX، ونموذج LSTM من نوع Seq2Seq. من الجدير بالذكر أن نموذج LSTM يظهر أداءً متفوقًا، مما يؤدي إلى إنشاء مجموعة كبيرة من السيناريوهات العشوائية التي تلتقط عدم اليقين في أسعار السوق وتوليد الطاقة الكهروضوئية.
يتضمن جوهر الدراسة تحليلًا مقارنًا لأربع استراتيجيات تحكم مختلفة لنظام تخزين الطاقة بالبطاريات (BESS): Oracle مع رؤية مثالية، نهج برمجة خطية حتمية للتنبؤ ثم التحسين، استراتيجية التحكم التنبؤية القائمة على السيناريو (MPC)، ووكلاء التعلم المعزز القائم على البيانات (DRL) المدربين على السيناريوهات المولدة. يتضمن التصميم التجريبي مرحلة تدريب باستخدام 900 سيناريو ومرحلة اختبار مع 100 سيناريو، حيث يتم تقييم أداء وكلاء DRL، جنبًا إلى جنب مع استراتيجيات الأساس، بناءً على الربح الإجمالي ومقاييس التشغيل مثل الطاقة المشحونة/المفروضة ومؤشرات الارتباط. يتم تلخيص المنهجية بصريًا في مخطط سير العمل، مما يبرز دمج مكونات التنبؤ والتحكم.
نتائج
تظهر نتائج الدراسة فعالية نموذج Seq2Seq في التنبؤ بكل من التوليد والسعر، كما يتضح من مقاييس أدائه المتفوقة (متوسط الخطأ الجذري التربيعي ومتوسط الخطأ المطلق) مقارنة بالنماذج الأخرى، كما هو ملخص في الجدول 3. تم التحقق من صحة تنبؤات هذا النموذج على مجموعة احتفاظ لمدة 14 يومًا، مما يؤكد ملاءمته لإنشاء السيناريوهات المستخدمة في مرحلة تدريب التعلم المعزز العميق (DRL) اللاحقة. يتم تصوير توقعات التوليد لفترة تمثيلية مدتها 4 أيام في الشكل 3، مع توفر توقعات الأسعار في المعلومات الداعمة.
تحليل توزيع الأرباح لموقع كاشيويو، الموضح في الشكل 5، يكشف أن وكلاء DRL، وخاصة طرق تحسين السياسة القريب (PPO) ونموذج الممثل الناعم (SAC)، يتفوقون على الاستراتيجيات القائمة على النماذج وسياسة Dummy، محققين أعلى متوسط أرباح مع الحفاظ على دورات معتدلة. إن نهج التحكم التنبؤي القائم على السيناريو (MPC)، الذي يدمج العشوائية من خلال نظرة مستقبلية لمدة 24 ساعة ومجموعة سيناريوهات محدودة، يحقق أرباحًا أقل قليلاً من طريقة البرمجة الخطية الحتمية (LP). يفضل هذا التصميم المحافظ المتانة على تعظيم الأرباح في الحالات ذات الفروق العالية. يشير تحليل الدورات الكاملة المعادلة إلى أنه بينما ينفذ Oracle أكبر عدد من الدورات، فإن وكلاء DRL يؤدون بشكل مشابه، مع إظهار سيناريو MPC لعدد دورات مشابه لطريقة LP الحتمية ولكن بأرباح أقل، مما يبرز تأثير توقيت القرار على الأداء. تؤكد العلاقة بين حالة الشحن (SoC) والسعر، كما هو موضح في الشكل 7، السلوك المتوازن المتوقع، مع ارتفاع SoC خلال ساعات الأسعار المنخفضة وانخفاض SoC خلال ساعات الأسعار المرتفعة، بما يتماشى مع الارتباطات المحسوبة من وسائط السيناريو.
مناقشة
في هذا القسم، يناقش المؤلفون تطوير والتحقق من صحة إطار عمل قائم على البيانات لتحسين تشغيل محطات الطاقة الكهروضوئية (PV) المتواجدة مع أنظمة تخزين الطاقة بالبطاريات (BESS) في تشيلي. تتناول الدراسة فجوة كبيرة في الأدبيات من خلال التحقق التجريبي من إطار عمل يدمج التنبؤ الاحتمالي مع وكلاء التحكم بالتعلم المعزز العميق (DRL)، وتحديدًا تحسين السياسة القريب (PPO) ونموذج الممثل الناعم (SAC). يستفيد هذا النهج المتكامل من بيانات التشغيل الحقيقية من ثلاث محطات PV على نطاق تجاري على مدى عامين (2022-2023) لتعزيز اتخاذ القرار في ظل الظروف المتقلبة لسوق الكهرباء التشيلي، الذي يتميز بانهيارات الأسعار في منتصف النهار وتحديات التخفيض.
تشمل المساهمات الرئيسية للبحث إنشاء نظام تحكم وتنبؤ مرتبط بشكل وثيق يستخدم نموذج LSTM من نوع Sequence-to-Sequence (Seq2Seq) لتوليد سيناريوهات أسعار وتوليد احتمالية، والتي تستخدم بعد ذلك من قبل وكلاء DRL لتعظيم الإيرادات. يقارن المؤلفون أداء وكلاء DRL الخاص بهم مع الممارسات التقليدية في الصناعة، مما يظهر أن سياسات DRL التكيفية تتفوق بشكل كبير على كل من استراتيجية التنبؤ ثم التحسين ومعيار Oracle النظري. لا يوفر هذا العمل فقط إطار عمل قابل للتكرار لتحسين الكفاءة التشغيلية لمحطات PV-BESS على نطاق الشبكة، ولكنه يبرز أيضًا ضرورة التحقق التجريبي في سد الفجوة بين الدراسات القائمة على المحاكاة والتطبيقات الواقعية.
DOI: https://doi.org/10.1371/journal.pone.0336753
PMID: https://pubmed.ncbi.nlm.nih.gov/41511995
Publication Date: 2026-01-09
Author(s): Juan Francisco Navarro Perez et al.
Primary Topic: Smart Grid Energy Management
Overview
This research paper presents an integrated framework combining deep learning forecasting and deep reinforcement learning (DRL) for optimizing the operations of battery energy storage systems (BESS) in conjunction with photovoltaic plants (PV). The study addresses the gap between simulation-based research and real-world applications by validating the framework using two years of operational data from three utility-scale PV-BESS plants in Chile. The framework employs a Sequence-to-Sequence (Seq2Seq) Long Short-Term Memory (LSTM) model for forecasting PV generation and market prices, which is integrated with DRL agents, specifically Proximal Policy Optimization (PPO) and Soft Actor-Critic (SAC), trained on 1,000 generated scenarios per site. The results indicate that the Seq2Seq forecaster significantly improves accuracy, achieving a 34.5% reduction in root mean square error (RMSE) for price predictions compared to traditional methods.
The findings demonstrate that the DRL agents outperform a deterministic predict-then-optimize baseline, yielding mean profits of approximately USD 55,000 over 14-day horizons while exhibiting robust contracyclical behavior. The study emphasizes the practical viability and economic benefits of the proposed framework, showcasing its effectiveness in complex and volatile real-world conditions. Future research directions include enhancing model interpretability through Explainable AI techniques, incorporating battery degradation into the reward function for long-term asset optimization, and scaling the framework to a multi-agent system for coordinated control across multiple PV-BESS plants. Overall, this work provides empirical validation of a data-driven AI framework for managing PV-BESS, highlighting its readiness for practical deployment in renewable energy systems.
Introduction
The introduction highlights the critical role of renewable energy sources, particularly solar and wind power, in addressing climate change. However, the inherent intermittency of these sources poses challenges to grid reliability and stability. Battery Energy Storage Systems (BESS) are identified as essential technologies that enable photovoltaic (PV) plants to store excess energy and deliver it to the grid in a controlled manner, thus enhancing their reliability. The integration of BESS with PV systems is crucial for transforming these intermittent energy sources into dispatchable assets, which can be optimized through Energy Management Systems (EMS) that adapt to market conditions.
The literature review emphasizes the importance of accurate short-term forecasting of both photovoltaic generation and market prices, alongside optimal real-time control of BESS charge and discharge cycles. While the primary focus of the research is to enhance operational profitability, it also addresses technical challenges related to grid stability, such as overvoltage mitigation through cooperative reinforcement learning. The section outlines the methodological framework, including the use of feed-forward multi-layer perceptron networks for policy and value functions, and specifies key hyperparameters and settings for the algorithms employed in the study.
Methods
In this section, the authors outline a comprehensive methodology for developing and evaluating data-driven control strategies for a photovoltaic-battery energy storage system (PV-BESS). The process begins with the collection and preprocessing of historical meteorological, price, and generation data, which serves as the empirical basis for forecasting. The authors employ three predictive models: a Naive estimator, SARIMAX, and a Seq2Seq Long Short-Term Memory (LSTM) model. Notably, the LSTM model demonstrates superior performance, leading to the generation of a large set of stochastic scenarios that capture the uncertainties in market prices and PV generation.
The core of the study involves a comparative analysis of four distinct battery energy storage system (BESS) control strategies: an Oracle with perfect foresight, a deterministic predict-then-optimize linear programming (LP) approach, a scenario-based Model Predictive Control (MPC) strategy, and data-driven reinforcement learning (DRL) agents trained on the generated scenarios. The experimental design includes a training phase using 900 scenarios and a testing phase with 100 scenarios, where the performance of the DRL agents, alongside the baseline strategies, is evaluated based on total profit and operational metrics such as charged/discharged energy and correlation indicators. The methodology is visually summarized in a workflow diagram, emphasizing the integration of forecasting and control components.
Results
The results of the study demonstrate the effectiveness of the Seq2Seq model for forecasting both generation and price, as evidenced by its superior performance metrics (Root Mean Square Error and Mean Absolute Error) compared to other models, as summarized in Table 3. This model’s predictions were validated over a 14-day hold-out set, confirming its suitability for generating scenarios utilized in the subsequent Deep Reinforcement Learning (DRL) training phase. The generation forecasts for a representative 4-day window are depicted in Fig. 3, with price forecasts available in the Supporting Information.
Profit distribution analysis for the Cachiyuyo site, illustrated in Fig. 5, reveals that the DRL agents, particularly the Proximal Policy Optimization (PPO) and Soft Actor-Critic (SAC) methods, outperform model-based strategies and a Dummy policy, achieving the highest average profits while maintaining moderate cycling. The Scenario Model Predictive Control (MPC) approach, which incorporates stochasticity through a 24-hour look-ahead and a limited scenario set, yields profits slightly below those of the deterministic Linear Programming (LP) method. This conservative design prioritizes robustness over maximizing profits in high-spread situations. The analysis of equivalent full cycles indicates that while the Oracle executes the most cycles, the DRL agents perform comparably, with Scenario MPC showing similar cycle counts to the deterministic LP but lower profits, highlighting the impact of decision timing on performance. The State of Charge (SoC) and price relationship, as shown in Fig. 7, confirms expected contracyclical behavior, with higher SoC during low-price hours and lower SoC during high-price hours, consistent with computed correlations from scenario medians.
Discussion
In this section, the authors discuss the development and validation of a data-driven framework for optimizing the operation of photovoltaic (PV) plants co-located with battery energy storage systems (BESS) in Chile. The study addresses a significant gap in the literature by empirically validating a framework that integrates probabilistic forecasting with deep reinforcement learning (DRL) control agents, specifically Proximal Policy Optimization (PPO) and Soft Actor-Critic (SAC). This integrated approach leverages real operational data from three commercial-scale PV plants over two years (2022-2023) to enhance decision-making under the volatile conditions of the Chilean electricity market, characterized by midday price collapses and curtailment challenges.
Key contributions of the research include the establishment of a tightly coupled forecasting and control system that utilizes a Sequence-to-Sequence (Seq2Seq) LSTM model for generating probabilistic price and generation scenarios, which are then used by DRL agents to maximize revenue. The authors benchmark the performance of their DRL agents against traditional industry practices, demonstrating that the adaptive DRL policies significantly outperform both a predict-then-optimize strategy and a theoretical Oracle benchmark. This work not only provides a reproducible framework for improving the operational efficiency of grid-scale PV-BESS plants but also highlights the necessity of empirical validation in bridging the gap between simulation-based studies and real-world applications.