هل تنتج نماذج الذكاء الاصطناعي توقعات جوية أفضل من النماذج المعتمدة على الفيزياء؟ دراسة حالة تقييم كمية لعاصفة سياران
Do AI models produce better weather forecasts than physics-based models? A quantitative evaluation case study of Storm Ciarán

المجلة: npj Climate and Atmospheric Science، المجلد: 7، العدد: 1
DOI: https://doi.org/10.1038/s41612-024-00638-w
تاريخ النشر: 2024-04-22
المؤلف: Andrew Charlton‐Perez وآخرون
الموضوع الرئيسي: الظواهر الجوية والمحاكاة

طرق

في هذه الدراسة، يقوم المؤلفون بتقييم أداء أربعة نماذج مختلفة من التعلم الآلي (ML) لتوقعات الطقس، جميعها مُهيأة من نفس تحليل ECMWF التشغيلي لتسهيل المقارنة المباشرة مع نموذج ECMWF عالي الدقة (CY48R1). تم تطوير نماذج ML باستخدام صندوق أدوات ai-models من ECMWF، وهي هياكل تعلم عميق ذاتية الانحدار تم تدريبها على حوالي أربعة عقود من المتغيرات الجوية والسطحية من مجموعة بيانات ERA5 بدقة 0.25° × 0.25° (حوالي 30 كم عند خط الاستواء)، مما أسفر عن شبكة من 720 × 1440 خلية.

تشمل النماذج FourCastNet، الذي يستخدم هيكل محول بصري مع مشغل عصبي فوريير التكيفي (AFNO) لنمذجة الاعتماديات المكانية بكفاءة؛ FourCastNet v2، الذي يعزز النموذج الأصلي من خلال استخدام مشغلات عصبية من التوافقيات الكروية للتعامل بشكل أفضل مع الديناميات غير الخطية على سطح كروي؛ Pangu-Weather، وهو محول خاص بالأرض ثلاثي الأبعاد يدمج معلومات الارتفاع عبر مستويات الضغط ويستخدم مخطط تجميع زمني هرمي لتحسين توليد التوقعات؛ وGraphCast، الذي يستخدم الشبكات العصبية البيانية (GNNs) لإدارة الاعتماديات المحلية وطويلة المدى من خلال تمثيل متعدد الشبكات. تم تصميم بنية كل نموذج ومنهجيات التدريب الخاصة به لمعالجة تحديات محددة في توقعات الطقس، مع تعقيدات وكفاءات متفاوتة في عمليات الاستدلال الخاصة بها.

النتائج

تظهر نتائج الدراسة حول العاصفة Ciarán ظواهر وتأثيرات جوية كبيرة مرتبطة بتسارع العاصفة السريع وهبوطها. تم اكتشافها في البداية كنظام ضغط منخفض جنوب نيوفاوندلاند في 31 أكتوبر 2023، حيث شهدت Ciarán تعمقًا انفجاريًا، حيث انخفض ضغطها المركزي من 988 هكتوباسكال إلى أدنى مستوى قياسي بلغ 953 هكتوباسكال في إنجلترا بحلول 2 نوفمبر. يصنف هذا التعمق السريع، الذي يتميز بمعدل 34 هكتوباسكال في 24 ساعة، Ciarán كإعصار “قنبلة” خارج استوائي. أنتجت العاصفة سرعات رياح قصوى بلغت 65 عقدة على طول ساحل نورماندي، مع رياح عاتية تجاوزت 100 عقدة تم الإبلاغ عنها في بريتاني، مما أدى إلى دمار واسع النطاق، بما في ذلك 16 حالة وفاة واضطرابات كبيرة في البنية التحتية للنقل والطاقة عبر شمال أوروبا.

تنبأت نماذج التوقع، بما في ذلك نظام التوقع المتكامل (IFS) ومجموعة متنوعة من نماذج التعلم الآلي (ML)، بنجاح بمسار العاصفة وأدنى ضغط مستوى سطح البحر (MSLP). ومع ذلك، لوحظت اختلافات في توقعات سرعة الرياح القصوى، حيث كانت نماذج ML تقلل بشكل كبير من تقديرات سرعات الرياح مقارنة بنماذج NWP وتحليلات IFS. أظهرت تحليل IFS سرعات رياح قصوى بلغت 34 م/ث، بينما توقعت نماذج ML فقط 25-26 م/ث، مما أدى إلى عدم القدرة على التقاط تسارع العاصفة السريع. هذه التقديرات المنخفضة حاسمة، حيث إن الخسائر الاقتصادية الناتجة عن أضرار الرياح غالبًا ما تكون متناسبة مع مكعب سرعة الرياح، مما يبرز أهمية توقعات الرياح الدقيقة في التخفيف من التأثيرات المحتملة. تؤكد الدراسة على التحديات في نمذجة الأحداث الجوية المتطرفة والحاجة إلى تحسين تقنيات التوقع لتعزيز دقة التنبؤ.

المناقشة

في هذا القسم، يتم تقييم ديناميات العاصفة Ciarán، خاصة خلال مرحلة تطورها السريع، مع التركيز على تشكيل الرياح على ارتفاع منخفض. تقارن الدراسة القدرات التنبؤية لمختلف نماذج التعلم الآلي (ML) مقابل نظام التوقع المتكامل (IFS) للتوقع عالي الدقة (HRES) وERA5، وكلاهما مُهيأ في الساعة 00 UTC في 1 نوفمبر 2023. نجحت نماذج ML، المدربة على بيانات ERA5، في التقاط الديناميات الرئيسية للعاصفة، بما في ذلك موقع تيار النفخ العلوي وشكل الإعصار العام. ومع ذلك، لوحظت اختلافات في تمثيل الهياكل الجبهية، خاصة حدة الجبهة الدافئة المنحنية، والتي تعتبر حاسمة لتوقع ظواهر الطقس ذات التأثير العالي مثل رياح الشوكة. كانت نماذج ML تقدر سرعات الرياح بشكل مستمر أقل، خاصة في منطقة الكسر الجبهي، مقارنة بتوقعات ERA5 وIFS.

تسلط النتائج الضوء على نقاط القوة والقيود في نماذج ML في توقع الأحداث الجوية الشديدة. بينما تقوم هذه النماذج بتكرار الميزات الديناميكية على نطاق واسع لعاصفة Ciarán بشكل فعال، إلا أنها تواجه صعوبة في التفاصيل الدقيقة، مثل الانعزال في القلب الدافئ وشدة الرياح السطحية. تثير هذه الأداءات المنخفضة تساؤلات حول قدرة النماذج على حل التوازنات الديناميكية الحرجة الموجودة في نماذج التنبؤ العددي التقليدية (NWP). تبرز الدراسة الحاجة إلى تقييمات شاملة لقدرات التنبؤ الخاصة بـ ML عبر ظواهر الطقس المختلفة، مشيرة إلى أنه يمكن تحقيق تحسينات من خلال تعزيز مجموعات بيانات التدريب وتدقيق النماذج. بشكل عام، تشير الأبحاث إلى أنه بينما تظهر نماذج ML وعدًا، لا يزال هناك عمل كبير يتعين القيام به لتحسين دقتها في توقع الأحداث الجوية المتطرفة.

Journal: npj Climate and Atmospheric Science, Volume: 7, Issue: 1
DOI: https://doi.org/10.1038/s41612-024-00638-w
Publication Date: 2024-04-22
Author(s): Andrew Charlton‐Perez et al.
Primary Topic: Meteorological Phenomena and Simulations

Methods

In this study, the authors evaluate the performance of four distinct machine learning (ML) models for weather forecasting, all initialized from the same operational ECMWF analysis to facilitate direct comparison with the ECMWF high-resolution model (CY48R1). The ML models, developed using the ai-models toolbox by ECMWF, are autoregressive deep learning architectures trained on approximately four decades of atmospheric and surface variables from the ERA5 dataset at a resolution of 0.25° x 0.25° (around 30 km at the equator), resulting in a grid of 720 x 1440 cells.

The models include FourCastNet, which employs a vision transformer architecture with an Adaptive Fourier Neural Operator (AFNO) for efficient modeling of spatial dependencies; FourCastNet v2, which enhances the original model by utilizing Spherical Harmonics Neural Operators to better handle nonlinear dynamics on a spherical surface; Pangu-Weather, a 3D-Earth-specific Transformer that integrates height information across pressure levels and employs a hierarchical temporal aggregation scheme to optimize forecast generation; and GraphCast, which utilizes Graph Neural Networks (GNNs) to manage local and long-range dependencies through a multi-mesh representation. Each model’s architecture and training methodologies are tailored to address specific challenges in weather forecasting, with varying complexities and efficiencies in their respective inference processes.

Results

The results of the study on Storm Ciarán reveal significant meteorological phenomena and impacts associated with the storm’s rapid intensification and landfall. Initially detected as a low-pressure system south of Newfoundland on 31 October 2023, Ciarán underwent explosive deepening, with its central pressure dropping from 988 hPa to a record low of 953 hPa in England by 2 November. This rapid deepening, characterized by a rate of 34 hPa in 24 hours, classifies Ciarán as an extratropical cyclone “bomb.” The storm produced maximum wind speeds of 65 knots along the Normandy coast, with gusts exceeding 100 knots reported in Brittany, leading to widespread destruction, including 16 fatalities and significant disruptions to transportation and power infrastructure across Northern Europe.

Forecasting models, including the Integrated Forecasting System (IFS) and various machine learning (ML) models, successfully predicted the storm’s track and minimum mean sea level pressure (MSLP). However, discrepancies were noted in the maximum wind speed forecasts, with ML models significantly underestimating wind speeds compared to NWP models and IFS analyses. The IFS analysis indicated peak wind speeds of 34 m/s, while ML models predicted only 25-26 m/s, failing to capture the storm’s rapid intensification. This underestimation is critical, as economic losses from wind damage are often proportional to the cube of wind speed, highlighting the importance of accurate wind forecasts in mitigating potential impacts. The study underscores the challenges in modeling extreme weather events and the need for improved forecasting techniques to enhance predictive accuracy.

Discussion

In this section, the dynamics of Storm Ciarán are evaluated, particularly during its rapid development phase, focusing on low-altitude wind formation. The study compares the predictive capabilities of various machine learning (ML) models against the Integrated Forecasting System (IFS) High-Resolution (HRES) forecast and ERA5, both initialized at 00 UTC on November 1, 2023. The ML models, trained on ERA5 data, successfully captured key storm dynamics, including the position of the upper-level jet streak and the general cyclone shape. However, discrepancies were noted in the representation of frontal structures, particularly the sharpness of the bent-back warm front, which is crucial for predicting high-impact weather phenomena like sting jets. The ML models consistently underestimated wind speeds, particularly in the frontal-fracture region, compared to ERA5 and IFS forecasts.

The findings underscore the strengths and limitations of ML models in forecasting severe weather events. While they effectively replicate large-scale dynamical features of Storm Ciarán, they struggle with finer details, such as the warm core seclusion and the intensity of surface winds. This underperformance raises questions about the models’ ability to resolve critical dynamical balances inherent in conventional numerical weather prediction (NWP) models. The study highlights the need for comprehensive evaluations of ML forecasting capabilities across various weather phenomena, suggesting that improvements could be achieved through enhanced training datasets and model scrutiny. Overall, the research indicates that while ML models show promise, significant work remains to refine their accuracy in predicting extreme weather events.