DOI: https://doi.org/10.3390/app16031457
تاريخ النشر: 2026-01-31
المؤلف: Giuseppe Piras وآخرون
الموضوع الرئيسي: تحميل الطاقة وتوقعات القدرة
نظرة عامة
تدرس هذه الدراسة فعالية نماذج الذكاء الاصطناعي (AI) وتعلم الآلة (ML) في التنبؤ باستهلاك الطاقة الحضرية في ظل ظروف البيانات المحدودة والمتدهورة. باستخدام مجموعة بيانات طاقة حقيقية تم جمعها على مدار 24 شهرًا، تقيم البحث بشكل منهجي متانة نماذج ML المختلفة المدربة على نوافذ بيانات تاريخية بأطوال مختلفة (6، 12، 18، و24 شهرًا). تكشف النتائج أن النماذج المعتمدة على التجميع، وخاصة تعزيز التدرج، تحافظ على دقة تنبؤية عالية (معامل التحديد $R^2$ يصل إلى 0.87) عند تدريبها على بيانات تتراوح بين 18-24 شهرًا، بينما تنخفض الأداء بشكل كبير مع أقل من 12 شهرًا من البيانات. تعمل النماذج الخطية المنتظمة بشكل جيد مع مجموعات البيانات المنظمة ولكنها تواجه صعوبة تحت ندرة البيانات. توفر استراتيجية تعزيز البيانات المتحفظة للغاية تحسينات متواضعة في الأداء التنبؤي في السيناريوهات قصيرة الأجل.
تساهم الدراسة بإطار عمل لاختبار الضغط المعياري لمقارنة أداء النماذج عبر آفاق تاريخية مختلفة ومستويات جودة البيانات. وتؤكد على أهمية اختيار النماذج التي تتماشى مع خصائص مجموعة البيانات المتاحة، مثل العمق التاريخي والموسمية. كما تقترح البحث اتجاهات مستقبلية، بما في ذلك دمج المتغيرات الخارجية مثل العوامل المناخية وتسعير الطاقة الديناميكي لتعزيز القدرة التنبؤية في السياقات المحدودة بالبيانات. بشكل عام، توفر هذه الدراسة إرشادات تشغيلية لتطوير أنظمة تنبؤ موثوقة تعتمد على الذكاء الاصطناعي يمكنها معالجة تحديات إدارة الطاقة الحضرية في العالم الحقيقي بشكل فعال، مما يسد الفجوة بين النماذج النظرية والتطبيقات العملية في التخطيط للطاقة المحلية.
مقدمة
تسلط المقدمة الضوء على الأهمية المتزايدة للاستدامة الحضرية وكفاءة الطاقة، مع التأكيد على الحاجة إلى التنبؤ الدقيق بالطلب على الطاقة على المستوى المحلي لتحسين إدارة الموارد ودعم الانتقال الطاقي. لقد ظهرت دمج الذكاء الاصطناعي (AI)، وخاصة خوارزميات تعلم الآلة (ML)، كنهج استراتيجي لتحليل وتوقع استهلاك الطاقة، متجاوزة قيود الطرق الإحصائية التقليدية. يمكن لنماذج ML المراقبة، بما في ذلك الانحدارات الشجرية والشبكات العصبية الاصطناعية، التقاط العلاقات المعقدة وغير الخطية بين العوامل المؤثرة المختلفة.
ومع ذلك، فإن التحدي الكبير في تطبيق هذه التقنيات الذكية هو غالبًا محدودية توفر البيانات في السياقات الحضرية الواقعية. تعتمد العديد من الدراسات على مجموعات بيانات تاريخية واسعة، والتي قد لا تكون قابلة للتطبيق في الممارسة العملية بسبب مشكلات مثل أعطال المستشعرات وتجزئة البيانات. تثير هذه الفجوة مخاوف منهجية بشأن متانة وتعميم نماذج ML عندما تواجه معلومات غير مكتملة أو متدهورة. تدعو المقدمة إلى إجراء تحليلات مقارنة للأداء لمختلف أساليب النمذجة واستكشاف تقنيات متقدمة للتخفيف من آثار ندرة البيانات، حيث قد تتعرض فعالية نماذج AI التقليدية للخطر في البيئات التي تتميز بتردد بيانات منخفض وتغيرات في القياس. يعد معالجة هذه التحديات أمرًا ضروريًا للتطبيق الموثوق للذكاء الاصطناعي في إدارة الطاقة الحضرية.
طرق
تقدم الدراسة منهجية شاملة لتقييم استقرار ومتانة نماذج الذكاء الاصطناعي في التنبؤ بالطاقة الحضرية، خاصة تحت مستويات متفاوتة من توفر البيانات الزمنية وجودتها. تتناول التحديات التي تطرحها مجموعات البيانات غير المكتملة والصاخبة، والتي هي شائعة في السيناريوهات الحضرية الواقعية. تتكون المنهجية من إطار عمل لاختبار الضغط المعياري من أربع مراحل يحاكي قيود البيانات من خلال تقطيع مجموعات البيانات التاريخية إلى مجموعات فرعية من 6، 12، 18، و24 شهرًا. يتم تقسيم كل مجموعة فرعية إلى مقاطع تدريب واختبار، مع تخصيص 20% الأكثر حداثة للاختبار لضمان الصلاحية السببية. يتم تقييم الأداء التنبؤي للنماذج باستخدام مقاييس مثل معامل التحديد ($R^2$) ومتوسط الخطأ المطلق (MAE).
لتقييم متانة النموذج، تتضمن الدراسة خوارزميات تنبؤية متنوعة، بما في ذلك الانحدارات المعززة (GB)، والشبكات العصبية متعددة الطبقات (MLP)، وشبكات الذاكرة طويلة وقصيرة الأمد (LSTM)، على الرغم من استبعاد الأخيرة من التحليلات النهائية بسبب عدم الاستقرار في مجموعات البيانات الصغيرة. كما تفحص البحث تأثير تدهور جودة البيانات من خلال إدخال قيم مفقودة وضوضاء غاوسية في مجموعات البيانات. يتم اختبار استراتيجيات التخفيف، مثل التعلم التجميعي، وتقنيات التنظيم (الانحدار Ridge وLasso)، وزيادة البيانات الاصطناعية، لاستعادة الأداء التنبؤي في السيناريوهات المقيدة. تتكون مجموعة البيانات، التي تضم قياسات استهلاك الطاقة الشهرية من أربعة مباني سكنية اجتماعية في روما، من بيانات مفتوحة الوصول ومصممة لتعكس ظروف التشغيل الواقعية، مما يوفر إطار عمل قابلاً للتكرار لأبحاث تحليل الطاقة الحضرية المستقبلية.
نتائج
تشير النتائج إلى اعتماد قوي لدقة التنبؤ على كمية البيانات التاريخية المتاحة للتدريب، وهو أمر حاسم لنشر أنظمة التنبؤ المعتمدة على الذكاء الاصطناعي في البيئات الحضرية. في السيناريوهات التي تحتوي على 24 شهرًا من البيانات، حقق كل من الغابة العشوائية (RF) وتعزيز التدرج (GB) درجات عالية من معامل التحديد $R^2$ تصل إلى 0.870، مما يشير إلى أنها قابلة للتطبيق للتنبؤ التشغيلي في إدارة الطاقة الحضرية. ومن المثير للاهتمام، أن النماذج الأبسط مثل الانحدار Ridge وLasso أدت أيضًا بشكل تنافسي، مع درجات 0.851 و0.842، على التوالي، مما يبرز أهمية هندسة الميزات القوية في تحقيق دقة عالية مع النماذج الخطية المنتظمة.
مع انخفاض البيانات التاريخية إلى 18 شهرًا، تحافظ RF على $R^2$ مرتفع نسبيًا يبلغ 0.798، بينما تنخفض GB إلى 0.697، مما يشير إلى أن RF أكثر مرونة تجاه ندرة البيانات. ومع ذلك، تظل كل من Ridge وLasso تنافسية، حيث سجلت 0.791 و0.779، على التوالي. في سيناريو الـ 12 شهرًا، تتصدر GB مع $R^2$ يبلغ 0.711، بينما تنخفض RF إلى 0.631، مما يشير إلى أن التعلم التسلسلي لـ GB أفضل في التقاط الأنماط الموسمية الجزئية. في الحالات القصوى مع 6 أشهر فقط من البيانات، لا تزال GB تؤدي بشكل أفضل عند $R^2 = 0.536$، بينما تكافح RF وLasso حول 0.315. تؤكد هذه النتائج على ضرورة توافق تعقيد النموذج مع العمق الزمني للبيانات المتاحة، حيث يمكن للنماذج الأبسط أن تتفوق على النماذج المعقدة في البيئات الغنية بالبيانات، بينما تتفوق طرق التعزيز في ظل الظروف المقيدة.
مناقشة
تسلط المناقشة الضوء على الفجوات الكبيرة في الأدبيات المتعلقة بموثوقية نماذج الذكاء الاصطناعي لتنبؤ استهلاك الطاقة في ظل قيود البيانات الواقعية. بينما تركز العديد من الدراسات على تحسين الدقة التنبؤية في ظروف مثالية مع بيانات وفيرة وعالية الجودة، فإنها غالبًا ما تتجاهل التحديات التي تطرحها مجموعات البيانات القصيرة أو الصاخبة أو غير المكتملة التي تكون نموذجية في البيئات الحضرية. تؤكد هذه البحث على الحاجة إلى تقييم منهجي لمتانة النموذج وقابليته للتكيف في السيناريوهات التي تقل فيها الظروف المثالية، حيث تكون القدرة على الحفاظ على توقعات موثوقة أمرًا حاسمًا لإدارة الطاقة الحضرية الفعالة.
تقدم الدراسة إطار عمل منظم لاختبار الضغط لتقييم نماذج تعلم الآلة المختلفة في ظل ظروف واقعية، تستهدف بشكل خاص السيناريوهات ذات توفر البيانات المحدود والجودة. من خلال فحص تأثير القيم المفقودة وضوضاء الهدف عبر آفاق زمنية تاريخية مختلفة، تحدد البحث نقاط القوة والضعف في أساليب النمذجة المختلفة، بما في ذلك النماذج الخطية المنتظمة وطرق التجميع. من الجدير بالذكر أن نماذج التجميع مثل الغابة العشوائية وتعزيز التدرج تظهر مرونة متفوقة تجاه عيوب البيانات، بينما تظهر النماذج الخطية قيودًا في الظروف المقيدة. علاوة على ذلك، يتم اقتراح استراتيجية تعزيز بيانات متحفظة للغاية لتعزيز متانة النموذج دون إدخال أنماط غير واقعية، مما يكشف أن فوائد التعزيز تختلف بشكل كبير حسب بنية النموذج ومدة مجموعة البيانات. بشكل عام، تؤكد النتائج على أهمية تطوير أدوات تنبؤ قابلة للتكيف يمكن أن تعمل بشكل فعال ضمن قيود سياقات الطاقة الحضرية الواقعية.
القيود
تناقش قسم القيود نقاط القوة والضعف في أساليب النمذجة المختلفة لتنبؤ الطاقة، خاصة فيما يتعلق بمجموعة بيانات Energy4Rome. يتم تسليط الضوء على نماذج الانحدار Ridge وLasso لبساطتها وقابليتها للتفسير وفعاليتها في التقاط الأنماط الموسمية من خلال الميزات الزمنية المهندسة. يساعد استخدامهم لتنظيم L2 وL1 في التخفيف من الإفراط في التكيف، مما يجعلها مناسبة لمجموعات البيانات المنظمة ذات الدورات الموسمية المحددة جيدًا. في المقابل، تتفوق نماذج الغابة العشوائية (RF) وتعزيز التدرج (GB) في السيناريوهات ذات البيانات التاريخية المحدودة (6 إلى 12 شهرًا)، حيث يمكنها التقاط التفاعلات غير الخطية دون الحاجة إلى هندسة ميزات واسعة. ومع ذلك، في الحالات التي تحتوي على بيانات أكثر اتساعًا (18 إلى 24 شهرًا)، يمكن أن تؤدي تعقيدات هذه الطرق التجميعية إلى الإفراط في التكيف، خاصة إذا لم يتم ضبط المعلمات الفائقة بعناية.
تؤكد التحليل على أن تعقيد النموذج يجب أن يتماشى مع الخصائص الإحصائية للبيانات. بالنسبة لمجموعات البيانات المنظمة ذات العمق التاريخي الكافي، توفر النماذج الخطية المنتظمة توازنًا بين الدقة وقابلية التفسير، مما يجعلها مفضلة لتنبؤ الطاقة البلدية حيث تكون الشفافية أمرًا حاسمًا. على العكس، في البيئات التي تتميز بتغيرات سريعة أو أنماط غير نمطية، قد تكون طرق التجميع مبررة على الرغم من تعقيدها. إحدى النتائج الهامة هي أن الأداء التنبؤي ينخفض بشكل كبير مع أقل من 12 شهرًا من البيانات التاريخية، بينما يستقر الأداء وتصبح الفروق بين أنواع النماذج أكثر اتساقًا مع وجود 18 شهرًا على الأقل من البيانات، مما يبرز أهمية توفر البيانات على تعقيد النموذج في ظروف البيانات الصغيرة.
DOI: https://doi.org/10.3390/app16031457
Publication Date: 2026-01-31
Author(s): Giuseppe Piras et al.
Primary Topic: Energy Load and Power Forecasting
Overview
This study investigates the effectiveness of artificial intelligence (AI) and machine learning (ML) models in forecasting urban energy consumption under conditions of limited and degraded data. Utilizing a real energy dataset collected over 24 months, the research systematically evaluates the robustness of various ML models trained on historical data windows of differing lengths (6, 12, 18, and 24 months). The findings reveal that ensemble-based models, particularly gradient boosting, maintain high predictive accuracy (normalized $R^2$ up to 0.87) when trained on 18-24 months of data, while performance significantly declines with less than 12 months of data. Regularized linear models perform well with structured datasets but struggle under data scarcity. An ultra-conservative data augmentation strategy provides modest improvements in predictive performance in short-horizon scenarios.
The study contributes a modular stress test framework for systematically comparing model performance across varying historical horizons and data quality levels. It emphasizes the importance of selecting models that align with the characteristics of the available dataset, such as historical depth and seasonality. The research also suggests future directions, including the integration of exogenous variables like climatic factors and dynamic energy pricing to enhance predictive capacity in data-limited contexts. Overall, this work provides operational guidelines for developing reliable AI-based forecasting systems that can effectively address the challenges of real-world urban energy management, bridging the gap between theoretical models and practical applications in local energy planning.
Introduction
The introduction highlights the growing importance of urban sustainability and energy efficiency, emphasizing the need for accurate local-level energy demand forecasting to optimize resource management and support the energy transition. The integration of artificial intelligence (AI), particularly machine learning (ML) algorithms, has emerged as a strategic approach to analyze and predict energy consumption, overcoming the limitations of traditional statistical methods. Supervised ML models, including tree regressors and artificial neural networks, are capable of capturing complex, nonlinear relationships among various influencing factors.
However, a significant challenge in applying these AI techniques is the often limited availability of data in real-world urban contexts. Many studies rely on extensive historical datasets, which may not be feasible in practice due to issues such as sensor malfunctions and data fragmentation. This discrepancy raises methodological concerns regarding the robustness and generalization of ML models when faced with incomplete or degraded information. The introduction calls for comparative performance analyses of different modeling approaches and the exploration of advanced techniques to mitigate the effects of data scarcity, as the effectiveness of conventional AI models may be compromised in environments characterized by low data frequency and measurement variability. Addressing these challenges is essential for the reliable application of AI in urban energy management.
Methods
The study presents a comprehensive methodology for evaluating the stability and robustness of AI models in urban energy forecasting, particularly under varying levels of temporal data availability and quality. It addresses the challenges posed by incomplete and noisy datasets, which are common in real-world urban scenarios. The methodology consists of a four-stage AI stress-testing framework that simulates data limitations by truncating historical datasets into subsets of 6, 12, 18, and 24 months. Each subset is further divided into training and testing segments, with the most recent 20% reserved for testing to ensure causal validity. The predictive performance of models is assessed using metrics such as the coefficient of determination ($R^2$) and mean absolute error (MAE).
To evaluate model robustness, the study incorporates various predictive algorithms, including gradient boosting regressors (GB), multi-layer perceptron (MLP) neural networks, and long short-term memory (LSTM) networks, although the latter were excluded from final analyses due to instability in small datasets. The research also examines the impact of data quality degradation by introducing missing values and Gaussian noise into the datasets. Mitigation strategies, such as ensemble learning, regularization techniques (Ridge and Lasso regression), and synthetic data augmentation, are tested to restore predictive performance in constrained scenarios. The dataset, comprising monthly energy consumption measurements from four social housing buildings in Rome, is openly accessible and designed to reflect realistic operational conditions, thereby providing a replicable framework for future urban energy analytics research.
Results
The results indicate a strong dependency of predictive accuracy on the amount of historical data available for training, which is crucial for the deployment of AI-based forecasting systems in urban environments. In scenarios with 24 months of data, both Random Forest (RF) and Gradient Boosting (GB) achieved high normalized $R^2$ scores of 0.870, suggesting they are viable for operational forecasting in urban energy management. Interestingly, simpler models like Ridge and Lasso regression also performed competitively, with scores of 0.851 and 0.842, respectively, highlighting the importance of robust feature engineering in achieving high accuracy with regularized linear models.
As the historical data decreases to 18 months, RF maintains a relatively high $R^2$ of 0.798, while GB drops to 0.697, indicating that RF is more resilient to data scarcity. However, both Ridge and Lasso remain competitive, scoring 0.791 and 0.779, respectively. In the 12-month scenario, GB leads with an $R^2$ of 0.711, while RF declines to 0.631, suggesting that GB’s sequential learning is better suited for capturing partial seasonal patterns. In extreme cases with only 6 months of data, GB still performs best at $R^2 = 0.536$, while RF and Lasso struggle around 0.315. These findings underscore the necessity of aligning model complexity with the temporal depth of available data, as simpler models can outperform complex ones in data-rich environments, while boosting methods excel under constrained conditions.
Discussion
The discussion highlights significant gaps in the literature regarding the reliability of AI models for energy consumption forecasting under realistic data constraints. While many studies focus on optimizing predictive accuracy in ideal conditions with abundant, high-quality data, they often overlook the challenges posed by short, noisy, or incomplete datasets typical in urban environments. This research emphasizes the need for a systematic evaluation of model robustness and adaptability in less-than-ideal scenarios, where the ability to maintain reliable predictions is crucial for effective urban energy management.
The study introduces a structured stress-testing framework to evaluate various machine learning models under realistic conditions, specifically targeting scenarios with limited data availability and quality. By examining the impact of missing values and target noise across different historical time horizons, the research identifies the strengths and weaknesses of various modeling approaches, including regularized linear models and ensemble methods. Notably, ensemble models like Random Forest and Gradient Boosting demonstrate superior resilience to data imperfections, while linear models show limitations under constrained conditions. Furthermore, an ultra-conservative data augmentation strategy is proposed to enhance model robustness without introducing unrealistic patterns, revealing that augmentation benefits vary significantly by model architecture and dataset duration. Overall, the findings underscore the importance of developing adaptable forecasting tools that can effectively operate within the constraints of real-world urban energy contexts.
Limitations
The section on limitations discusses the strengths and weaknesses of various modeling approaches for energy forecasting, particularly in relation to the Energy4Rome dataset. Ridge and Lasso regression models are highlighted for their simplicity, interpretability, and effectiveness in capturing seasonal patterns through engineered temporal features. Their use of L2 and L1 regularization helps mitigate overfitting, making them suitable for structured datasets with well-defined seasonal cycles. In contrast, Random Forest (RF) and Gradient Boosting (GB) models excel in scenarios with limited historical data (6 to 12 months), where they can capture nonlinear interactions without extensive feature engineering. However, in cases with more extensive data (18 to 24 months), the complexity of these ensemble methods can lead to overfitting, particularly if hyperparameters are not carefully tuned.
The analysis emphasizes that model complexity should align with the statistical characteristics of the data. For structured datasets with sufficient historical depth, regularized linear models provide a balance of accuracy and interpretability, making them preferable for municipal energy forecasting where transparency is crucial. Conversely, in environments characterized by rapid changes or atypical patterns, ensemble methods may be warranted despite their complexity. A critical finding is that predictive performance significantly declines with less than 12 months of historical data, while performance stabilizes and differences between model types become more consistent with at least 18 months of data, underscoring the importance of data availability over model sophistication in small data conditions.