لقد كان هناك اهتمام كبير مؤخرًا بإمكانية استخدام تقنيات التعلم الآلي في إعداد توقعات الطقس التشغيلية. مع دخولها كجزء من أدوات التنبؤ بالطقس، هناك حاجة ملحة لفهم مدى قدرة نماذج التعلم الآلي الحالية على محاكاة الأحداث الجوية ذات التأثير العالي. نقارن بين توقعات قصيرة إلى متوسطة المدى لعاصفة سياران، وهي عاصفة رياح أوروبية تسببت في وفاة ستة عشر شخصًا وأضرار واسعة في شمال أوروبا، التي أعدتها نماذج التعلم الآلي ونماذج التنبؤ العددي للطقس. النماذج الأربعة للتعلم الآلي التي تم النظر فيها (FourCastNet، Pangu-Weather، GraphCast وFourCastNet-v2) تنتج توقعات تلتقط بدقة الهيكل الواسع النطاق للإعصار بما في ذلك موقع رأس السحابة، وشكل القطاع الدافئ وموقع حزام الرياح الدافئة، والعوامل الديناميكية الواسعة النطاق المهمة لتطور العاصفة السريع مثل موقع العاصفة بالنسبة لخروج الرياح في الطبقات العليا. ومع ذلك، فإن قدرتها على حل الهياكل الأكثر تفصيلًا المهمة لإصدار تحذيرات الطقس أكثر تباينًا. جميع نماذج التعلم الآلي تقلل من تقدير الذروة في شدة الرياح المرتبطة بالعاصفة، فقط بعض نماذج التعلم الآلي تحل العزل المركزي الدافئ ولا تلتقط أي من نماذج التعلم الآلي التدرج الحاد للواجهة الدافئة المنحنية للخلف. تُظهر دراستنا أن هناك الكثير حول أداء وخصائص توقعات الطقس باستخدام التعلم الآلي يمكن استخلاصه من دراسات الحالة للأحداث الجوية ذات التأثير العالي مثل عاصفة سياران.

خلال القرن العشرين والعقدين الأولين من القرن الحادي والعشرين، حولت التنبؤات الجوية العددية (NWP) علم الأرصاد الجوية. إن الجمع بين الفهم الفيزيائي والرياضي، وتوافر الحوسبة عالية الأداء، وتوسع شبكة مراقبة نظام الأرض أدى إلى تقدم ملحوظ ومستمر في مهارة وتوافر توقعات الطقس. تعتبر التوقعات العددية للطقس جزءًا شائعًا من الحياة الحديثة، مع تطبيقات على العديد من الأطر الزمنية المختلفة وفي قطاعات متنوعة مثل النقل والزراعة والرعاية الصحية والترفيه.

على مدار العامين الماضيين، بدأت تقنيات تعلم الآلة (ML)، وهي فرع من المجال المتطور بسرعة للذكاء الاصطناعي (AI)، في
تم تطبيقه على مشكلة التنبؤ بالطقس بجدية. بينما كانت لتقنيات التعلم الآلي تطبيقات في علوم المناخ لعدة عقود ، مع هذه المجتمعات المدركة لإمكاناته ويتم استخدامه بشكل متزايد في معالجة توقعات الطقس بعد حدوثها لقد مكنت التقدمات الأخيرة في تعلم الآلة والتطورات في وحدات معالجة الرسوميات (GPUs) من بدء ‘فجر جديد’ في تطبيق تقنيات تعلم الآلة والذكاء الاصطناعي في توقعات الطقس والمناخ. .

نشر مجموعة بيانات WeatherBench وخطة الطريق لمدة 10 سنوات لاستخدام التعلم الآلي من قبل المركز الأوروبي للتنبؤات الجوية متوسطة المدى (ECMWF) ، من بين تطورات أخرى، أثار اهتمامًا واستثمارًا في تطوير نماذج التعلم الآلي لتوقعات الطقس. خلال عامي 2022 و2023، تم تطوير أربعة نماذج تعلم آلي بواسطة كبار

شركات التكنولوجيا لمعالجة المدى القصير إلى المتوسط ( مشكلة التنبؤ باليوم). لقد أظهرت جميع هذه النماذج أنها تنتج نتائج دقيقة توقعات اليوم لحقول ارتفاع الجيوبوتينسيال عند 500 هكتوباسكال، استنادًا إلى مقياس معامل الارتباط الشاذ المستخدم على نطاق واسع تستخدم النماذج الأربعة جميعها إطار عمل التشفير-العمليات-فك التشفير ولكن مع هياكل مختلفة:

تم استخدام تقنيات مماثلة لتطوير نماذج لمهام التنبؤ الأخرى (مثل MetNet-3 لتوقعات هطول الأمطار لمدة 12 ساعة في الولايات المتحدة المتجاورة و27 دولة أوروبية). في الوقت الحالي، تنتج نماذج التعلم الآلي بشكل أساسي توقعات حتمية، ولكن يتم إحراز تقدم سريع في إنتاج توقعات احتمالية بالكامل. جميع نماذج التعلم الآلي الأربعة فعالة للغاية عند تشغيلها على أجهزة GPU أو TPU (وحدات معالجة التنسور)، حيث تنتج عادةً توقعات لمدة 10 أيام في بضع دقائق.

نظرًا لحداثة نماذج التعلم الآلي في توقعات الطقس، لا توجد، حسب علم المؤلف، دراسات سابقة تقارن كيف تلتقط النماذج الأربعة للتعلم الآلي ونماذج التنبؤ بالطقس عددًا من الأحداث الجوية الفردية المؤثرة. يقتصر فحص الأحداث الجوية الفردية المتاحة من الأوراق التي تصف نماذج التعلم الآلي على مقارنات نوعية لمحاكاة الأعاصير الاستوائية والأنهار الجوية بواسطة FourCastNet. وتقييم كمي لخطأ التتبع للأعاصير الاستوائية بواسطة PanguWeather و GraphCast لا توجد دراسات منشورة تفحص توقعات نماذج التعلم الآلي للعواصف الهوائية خارج الاستوائية. على الرغم من قدرتها على التسبب في أضرار بمليارات الدولارات وزيادة الشدة تحت تأثير تغير المناخ والسكان .

في هذه الدراسة، نسعى، لذلك، إلى تعزيز المعرفة بالأداء المقارن لنماذج التعلم الآلي ونماذج التنبؤ بالطقس من خلال مقارنة توقعاتها للعاصفة سياران، التي أثرت على عدة دول أوروبية خلال نوفمبر 2023. هذا اختبار قيم خارج العينة لنماذج التعلم الآلي لأن مجموعات بيانات تدريبها تنتهي جميعها قبل بداية عام 2023. نقارن قدرة النماذج على التقاط الهيكل الفيزيائي التفصيلي للعاصفة وتأثيراتها على مدى زمنين مختلفين كان فيهما خبراء الأرصاد الجوية يعملون بنشاط على إصدار تحذيرات الطقس للجمهور. إن الوصف الدقيق للهيكل الفيزيائي لهذه العاصفة، أو أي عاصفة أخرى، هو عنصر أساسي في التنبؤ بتأثيرها المركب. وفي بناء سيناريوهات معقولة للمستخدمين النهائيين .

تم رصد العاصفة كياران لأول مرة كنظام جوي منخفض الضغط جنوب نيوفاوندلاند في حوالي الساعة 00 بتوقيت UTC في 31 أكتوبر 2023. استنادًا إلى خرائط التحليل السطحي التي أصدرتها هيئة الأرصاد الجوية البريطانية، انتقلت بسرعة عبر شمال المحيط الأطلسي، حيث شهدت تعمقًا انفجاريًا من 988 هكتوباسكال في الساعة 00 بتوقيت UTC في 1 نوفمبر إلى 954 هكتوباسكال في الساعة 00 بتوقيت UTC في 2 نوفمبر، في الوقت الذي كانت فيه تقع شمال شرق فرنسا. تعني هذه المعدلات في التعمق، 34 هكتوباسكال في 24 ساعة، أن كياران كانت إعصارًا استوائيًا “قنبلة”. أدنى ضغط مسجل، 953 هكتوباسكال في الساعة 06 بالتوقيت العالمي المنسق في 2 نوفمبر، هو أدنى ضغط قياسي لعاصفة في نوفمبر تم رصدها في إنجلترا. تظهر الشكل 1 ملاحظات السطح لـ سرعة الرياح، تغطية السحب وضغط مستوى سطح البحر المتوسط (MSLP). الدائرة الإعصارية حول مركز العاصفة (مع أدنى ضغط MSLP تم رصده على الساحل الجنوبي الإنجليزي بالقرب من جزيرة وايت) لديها أقصى سرعة رياح تبلغ 65 عقدة على ساحل نورماندي في فرنسا.

على الرغم من أن العاصفة سياران لم تكن إعصار شابيرو-كيسر الكلاسيكي يمكن رؤية تداخل واضح في محيط طرف السحابة بينما يحيط بمركز العاصفة من الجانب المتجه نحو القطب (المسمى رأس السحابة) في صور الأقمار الصناعية قبل أن تضرب اليابسة في شمال فرنسا. تشير هذه التداخلات إلى أنه قد يكون هناك نفاثة لاذعة موجودة في العاصفة سياران. ومع ذلك، فإن
يتطلب التعريف منهجيات تتجاوز نطاق هذه الدراسة. رياح عاتية تزيد عن تم الإبلاغ عنها في عدة مواقع في بريتاني بحد أقصى 111.7 عقدة ) تم تسجيله في Pointe du Raz حوالي الساعة 0200 بتوقيت UTC في 2 نوفمبر .

في شمال أوروبا، قُتل ما لا يقل عن 16 شخصًا تم إلغاء جميع الرحلات من مطار أمستردام شيفول، وكان هناك العديد من الإلغاءات من المطارات الإسبانية. وقد تُرك حوالي 1.2 مليون أسرة في شمال فرنسا بدون كهرباء. وتم قطع الاتصال عن أكثر من مليون مقيم من شبكة الهاتف المحمول. كما تم إغلاق مطاري بريست وكيمبر، وكان هناك اضطراب في عمليات يوروستار. .

حوالي 10,000 منزل في كورنوال تُركت بدون كهرباء، وأُغلقت مئات المدارس، وتعرضت العديد من خدمات القطارات للاضطراب بسبب الأشجار المتساقطة. تراوحت هبات الرياح في جزر القنال من بحد أقصى رياح عاتية تصل إلى 90 عقدة ( سُجل في ألدرني حوالي الساعة 08 بتوقيت UTC في 2 نوفمبر كما شهدت جيرسي إعصارًا من الفئة السادسة مع رياح تقدر في المنطقة من . إنه ترك المسار وراءه دمارًا وأدى إلى حاجة العشرات من الناس لمغادرة منازلهم. من المحتمل أن يكون هذا هو أقوى إعصار تم الإبلاغ عنه في جزر بريطانيا منذ إعصار غونرز بوري في ديسمبر. .

ال تظهر سرعة الرياح وبنية الضغط الجوي السطحي (MSLP) للإعصار كياران في الشكل 2أ، ب في الأوقات التي أثر فيها على اليابسة: 00 و06 بالتوقيت العالمي المنسق في 2 نوفمبر 2023. تمثل تحليلات النماذج المتطورة، مثل تحليل IFS المستخدم في هذا الشكل، أفضل تقديرات ثلاثية الأبعاد للحالة الجوية الفعلية. تتبع مركز الضغط المنخفض للعاصفة على طول الساحل الجنوبي للمملكة المتحدة، وحدثت أقوى الرياح (التي تدور بشكل دائري) في قوس في الربع الجنوبي الغربي من العاصفة عندما أثرت الرياح القوية على بريتاني، ولاحقًا بشكل أكثر مباشرة إلى الجنوب من المركز المنخفض عندما أثرت على جزر القنال. تضعف الرياح بشكل كبير فوق اليابسة بسبب احتكاك السطح، ولم تعد تصل إلى العتبة المحددة في الشكل. كما ضعفت بين الوقتين المعروضين، حيث انخفضت الرياح القصوى بحوالي “، من المحتمل أن يكون ذلك نتيجة لمزيج من العاصفة التي ضربت اليابسة ووصولها بالفعل إلى مرحلتها الناضجة. سرعات الرياح الملاحظة، الموضحة بواسطة الدوائر المملوءة بالألوان، تتماشى مع الحقول التي تم تحليلها، بعيدًا عن السواحل ولكنها تتجاوز تلك التي تم تحليلها في بعض المواقع، لا سيما بعض المواقع الساحلية وعند أضيق نقطة في القناة الإنجليزية. ستتأثر الرياح في هذه المواقع بالعمليات المقياسية المحلية، لذا فإن هذه التجاوزات ليست غير متوقعة نظرًا لدقة نموذج IFS. مسار العاصفة، المحدد كمواقع أدنى ضغط جوي سطحي وفقًا لتحليلات IFS، موضح بالرموز السوداء المتصلة بخطوط في اللوحة (ج). نشأت “سياران” في شمال المحيط الأطلسي الغربي حول الوقت الذي تم فيه عرض أول نقطة مسار (06 UTC 31 أكتوبر) وسافرت بسرعة شرقًا عبر شمال المحيط الأطلسي. توضح الخطوط المتعرجة ضغط الهواء السطحي الأدنى. سرعة الرياح (أي، التيار العلوي) في أوقات البداية والوسط والنهاية للمسارات وتظهر كيف تطور كيران من اضطراب ضعيف (مع ضغط جوي مركزي يتجاوز 995 هكتوباسكال) إلى عاصفة عميقة تحطم الأرقام القياسية عندما انتقل من الجانب الاستوائي إلى الجانب القطبي من التيار حوالي الساعة 06:00 بالتوقيت العالمي المنسق في 1 نوفمبر.

تم التنبؤ بمسار إعصار كياران بشكل جيد من قبل كل من نموذج IFS HRES ونماذج ML (I. 2(c)) التي تم تهيئتها في الساعة 00:00 بتوقيت UTC في 31 أكتوبر، على الرغم من أن الاختلافات الصغيرة في موقع مركز العاصفة، وحقول الرياح المرتبطة بها، كانت حاسمة للتنبؤات الدقيقة لتحذيرات الطقس على طول الساحل الجنوبي لإنجلترا. قبل يومين من بدء تأثير كياران على اليابسة وقبل فترة طويلة من بدء تكثيفه السريع، كانت الفجوة في موقع العاصفة في نماذج ML ونماذج NWP متشابهة.

تطور الحد الأدنى من ضغط البحر المتوسط (MSLP) في مركز العاصفة المتطورة وأقصى ضغط مرتبط بها تظهر سرعات الرياح في الشكل 3 لتحليل IFS، وتوقعات IFS HRES، وتوقعات نموذج ML في اللوحات (أ، ج)، ولإعادة تحليل ERA5، والتوقعات المستندة إلى نظام ERA5، وأعضاء التجميع (غير المضطرب) لأربعة نماذج NWP في اللوحات (ب، د). بالنظر أولاً إلى تطور الحد الأدنى من الضغط الجوي (MSLP)، تتبع جميع التوقعات عن كثب كلا المنتجين التحليليين، حيث تلتقط كل من مرحلة التعمق السريع للعاصفة وذروتها.

الشكل 1 | ملاحظات سطح الأرض ومحطة السفن SYNOP للعاصفة سياران في الساعة 06 بالتوقيت العالمي المنسق 2 نوفمبر 2023 المستخرجة من قاعدة بيانات MetDB التي تحتوي على بيانات تشمل ملاحظات السطح والهواء العلوي وبعض بيانات الأقمار الصناعية. تُعرض الملاحظات كدوائر محطات مبسطة باستخدام الرموز التقليدية. تظليل الدائرة يشير إلى غطاء السحاب بوحدات الأوكتا، بينما تشير أسهم الرياح وريشها إلى الرياح.
سرعة العقد مع اتجاه الرياح نحو الدائرة، والأرقام هي آخر ثلاثة أرقام، بما في ذلك الفاصلة العشرية، من ضغط الهواء عند مستوى سطح البحر (بالهكتوباسكال) على سبيل المثال، 543 تعادل 954.3 هكتوباسكال. تم إجراء بعض التخفيف من الملاحظات من أجل الوضوح ويجب ملاحظة أن سفينتين كلتاهما أبلغت عند مع سرعات واتجاهات رياح مختلفة.
عمق الشدة. الحد الأدنى لضغط مستوى سطح البحر في نهاية التوقعات (06 UTC 2 نوفمبر) هو 954 هكتوباسكال في كل من تحليل IFS و ERA5. تتراوح هذه القيمة بين 951 و 955 هكتوباسكال لنماذج ML وبين 950 و 953 هكتوباسكال لستة نماذج NWP (بما في ذلك IFS HRES). بالمقابل، فإن التباين في تطور سرعة الرياح القصوى أكبر بكثير. في وقت ذروة سرعة الرياح في كلا التحليلين، 00 UTC 2 نوفمبر (بفترة توقع تبلغ 48 ساعة)، تكون القيمة في تحليل IFS هي . يتنبأ توقع IFS HRES بذلك بشكل جيد ( ) بينما النماذج الأخرى، التي تكون عمومًا بدقة أقل قليلاً، تتنبأ عادةً برياح أضعف قليلاً ( ) مع نموذج NCEP كحالة شاذة واضحة، يتنبأ برياح تبلغ سرعات الرياح المتوقعة من نماذج التعلم الآلي ضعيفة للغاية )، حتى بالمقارنة مع التحليل من ERA5 فشلت نماذج التعلم الآلي في التقاط التعزيز السريع للرياح بعد حوالي الساعة 06:00 بالتوقيت العالمي المنسق في 1 نوفمبر وقت التنفيذ). التوقعات التي تم إجراؤها باستخدام نظام تحليل ERA5 لا تعاني من هذا التحيز المنخفض في الرياح، لذا فإن التقليل في التقديرات من غير المحتمل أن يكون نتيجة لتدريب نماذج التعلم الآلي على بيانات ERA5. غالبًا ما يُفترض أن الخسارة الاقتصادية الناتجة عن الرياح السطحية القوية تتناسب مع مكعب سرعة هبوب الرياح العادية فوق عتبة معينة (مثل قيمة النسبة المئوية) لذا فإن أي تقدير منخفض قليلاً في سرعة الرياح المتوقعة يمكن أن يكون له تأثير كبير من حيث الخسائر اللاحقة.

الاختلافات في الحد الأقصى تُستكشف سرعات الرياح بشكل أعمق في الشكل 4 الذي يظهر خرائط لـ سرعة الرياح والضغط الجوي عند مستوى سطح البحر لنموذج ERA5، وتوقعات IFS HRES وأربعة نماذج تعلم آلي صالحة في الساعة 00 بالتوقيت العالمي المنسق 2 نوفمبر، وقت ذروة سرعة الرياح في كلا التحليلين وعندما ضربت الرياح القوية فرنسا. تم تهيئة جميع التوقعات قبل 48 ساعة من هذا الوقت (كما هو موضح في البيانات المعروضة في الشكل 3). يمكن مقارنة هذه الخرائط مباشرة.
مع حقول تحليل IFS الموضحة في الشكل 2أ. تقع منطقة الرياح القوية في قوس في منطقة تدرج ضغط الهواء السطحي الضيق في الربع الجنوبي الغربي من إعصار كياران في جميع الخرائط السبع. ومع ذلك، تفشل نماذج التعلم الآلي في التنبؤ بأقوى الرياح في حزام يتبع خطوط الضغط المتساوي (الكونتورز للضغط السطحي الثابت) في منطقة تدرج ضغط الهواء السطحي الأكثر ضيقًا، كما هو موضح في توقعات IFS HRES و ERA5 وتحليل IFS. من الجدير بالذكر أنه على الرغم من تدريب جميع نماذج التعلم الآلي على ERA5، فإنها تفشل في التقاط هيكل وقوة الرياح في ERA5 (بما في ذلك في التوقعات التي تم إجراؤها باستخدام نظام ERA5، كما هو موضح في الشكل التكميلي 1أ) لهذه العاصفة، مما يعني أن الرياح الأضعف بكثير التي تم العثور عليها لنماذج التعلم الآلي مقارنة بتوقعات NWP وتحليل IFS ليست ببساطة نتيجة لتدريبها على مجموعة بيانات بدقة أقل. لاحظ أن نماذج NWP المستخدمة في الشكل 2 لها دقة مشابهة لـ ERA5 (مسافات شبكة مكافئة لـ ERA5 ~ 31 كم، مكتب الأرصاد الجوية. جمعية JMA نظام التنبؤ بالطقس الوطني ) باستثناء IFS ( ).

في هذا القسم، نقيم ديناميات العاصفة سياران خلال المرحلة النهائية من تطورها السريع مع التركيز على تكوين رياح قوية في الارتفاعات المنخفضة. نقارن القدرة التنبؤية لنماذج التعلم الآلي من خلال المقارنة مع توقعات IFS HRES و ERA5. تم تدريب جميع نماذج التعلم الآلي على ERA5 ولها نفس دقة المخرجات المقدمة لـ ERA5، مما يسمح بمقارنة عادلة لأداء النموذج. تم تهيئة التوقعات جميعها في الساعة 00:00 بتوقيت UTC في 1 نوفمبر، خلال بداية مرحلة التعزيز السريع لسياران (الشكل 3أ). تم تقييمها بعد 18 ساعة (الشكل 5) وبعد 24 ساعة (الشكل 6)، عندما تم رصد ذروة سرعات الرياح لعاصفة سياران.

الشكل 2 | هيكل الرياح القريبة من السطح وضغط البحر المتوسط عند هبوط وعبر مسار العاصفة سياران. أ، ب خرائط لـ سرعة الرياح (التظليل) وضغط الهواء عند مستوى سطح البحر (الخطوط الكنتورية) في الساعة 00 بالتوقيت العالمي المنسق UTC 2 نوفمبر 2023 من تحليل IFS. ملاحظات الرياح السطحية أعلاه تظهر كنقاط ملونة. ج نقاط المسار كل ست ساعات من تحليل IFS (مربعات سوداء متصلة بخطوط) وتوقعات IFS HRES ونماذج الذكاء الاصطناعي (رموز ملونة كما في الشكل 3 أ، ب) من 06 UTC 31 أكتوبر إلى 06 UTC 2 نوفمبر.

نوفمبر 2023 (من اليسار إلى اليمين) مع ضغط البحر السطحي الجزئي (الخطوط الرمادية بالهكتوباسكال) و سرعة الرياح (الكونتور المملوء بالألوان) من تحليل IFS في الساعة 06 UTC في 31 أكتوبر، 1 نوفمبر و2 نوفمبر (من اليسار إلى اليمين). يتم الإشارة إلى مواقع أقصى سرعة للرياح عند نقاط الطول لأدنى ضغط جوي عند كل وقت بواسطة المربعات السماوية المتصلة بخطوط.
تحويل التركيز إلى هذه الأوقات القصيرة من القسم السابق، الهدف هو تسليط الضوء على كل من أوجه التشابه والاختلاف بين توقعات النماذج العددية للتنبؤ بالطقس وتوقعات التعلم الآلي على الأطر الزمنية ذات الصلة بتحسين تحذيرات المخاطر. لمساعدة القارئ، تم وضع بعض الأجزاء الرئيسية من هيكل العاصفة في الشكل 5a.

في 1 نوفمبر 2023، شهد إعصار كياران تكثيفًا كبيرًا تحت منطقة الخروج اليسرى لتيار جوي علوي (الشكل 2c). جميع نماذج التعلم الآلي التقطت موقع ومدى تيار الهواء العلوي بدقة مع الحد الأدنى من ضغط السطح المتوسط المرتبط بكيران تحت منطقة الخروج اليسرى في الساعة 18:00 بتوقيت UTC (الشكل 5a-f)، وهو جانب حاسم في ديناميات إعصار كياران.

هناك أيضًا توافق بين نماذج التعلم الآلي بشأن الشكل العام للإعصار. توضح الأشكال 5a-f موقع الإيزنتروبيات الرطبة المختارة، التي تم اختيارها للإشارة إلى مواقع الجبهات، ومن خلال تباعدها، إلى قوى الجبهات. يتم تحديد موقع القطاع الدافئ، الذي يُعرف بأنه المنطقة داخل الإيزنتروبي الرطب 285 كلفن، كميزة معقوفة في ERA5. يتم التقاط شكل القطاع الدافئ بشكل جيد من قبل جميع نماذج التعلم الآلي. يمثل رأس السحابة، الممثل بـ رطوبة نسبية فوق (تظليل رمادي)، يُرى يلتف حول الجانب القطبي لمركز الإعصار في ERA5. تتصور توقعات IFS HRES وGraphcast وPanguWeather بدقة شكل رأس السحابة؛ ومع ذلك، يبدو أن رأس السحابة في FourCastNet v2 أقل انحناءً من التوقعات الأخرى. لا تُخرج توقعات FourCastNet متغير الرطوبة عند 700 هكتوباسكال.

على الرغم من التقاط الشكل العام للعاصفة سياران، هناك اختلافات ملحوظة في قوة الهياكل الجبهية، كما يتضح من التدرج في درجة حرارة البخار الرطب (مدى قرب خطوط الإيزنتروب الرطبة من بعضها). هذا صحيح بالنسبة للجبهة الباردة، المشار إليها بـ و287.5 كلفن للرطوبة الإيزنتروبية إلى الجنوب الشرقي من مركز الإعصار وأيضًا لـ “الجبهة المنحنية للخلف”، أي التدرج بين و
الخطوط العازلة الرطبة التي تلتف حول مركز الإعصار من الجانب الشمالي الغربي. إلى الجنوب الغربي من مركز المنخفض، تشير الخطوط العازلة الرطبة إلى انحراف الجبهة المنحنية للخلف، ويعرف هذا بمنطقة كسر الجبهة. بينما تشمل جميع توقعات ML منطقة كسر الجبهة، إلا أنها تواجه صعوبة في حل التدرج الحاد في درجات الحرارة عبر الجبهة إلى الغرب والجنوب الغربي من مركز المنخفض.

قصور الرياح العرضية هو مؤشر آخر على قوة الجبهة، وقيم المكون العمودي لـ توفير مزيد من الأدلة على الصعوبات التي تواجهها نماذج ML في محاكاة الهياكل الجبهية في المنطقة. الشريط الضيق على شكل خطاف من دوران نسبي مرتفع المتماشي مع الجبهة الدافئة المنحنية الموجودة في كل من IFS HRES و ERA5 (مع قيم قصوى تصل إلى و يصبح (على التوالي) أوسع وأضعف في نماذج التعلم الآلي. تشير الفجوة بين ERA5 (وأيضًا التوقعات المستندة إلى نظام ERA5، انظر الشكل التوضيحي 1b) ونماذج التعلم الآلي في تمثيل حدة الجبهة المنحنية إلى أن هذا القصور في نماذج التعلم الآلي ليس ناتجًا فقط عن دقة النموذج.

هذا الاختلاف في القوة الأمامية مهم بشكل خاص لأنه يتعلق مباشرة بالبيئة التي يمكن أن تكون ملائمة لهبوط شعاع اللدغة. شعاعات اللدغة هي تدفقات هوائية متماسكة تنحدر على مدى بضع ساعات من داخل طرف رأس السحابة على مستويات منتصف التروبوسفير مما يؤدي إلى مقياس ميسوسكال مميز (ربما منطقة الرياح الأقوى بالقرب من السطح، وخاصة الهبات . من بين النماذج المقدمة في هذه الدراسة، فإن توقعات وتحليلات IFS فقط هي التي تمتلك الدقة اللازمة لتحديد وجود رياح الشوكة. من الضروري الاعتراف بأن نماذج التعلم الآلي، التي تم تدريبها على بيانات ذات دقة منخفضة، ليست مجهزة لتمييز ميزات مثل

المكتب (UKMO ens_cntl) ووكالة الأرصاد الجوية اليابانية (JMA ens_cntl) والمراكز الوطنية للتنبؤ البيئي (NCEP ens_cntl). لاحظ أن أعضاء التحكم في ECMWF HRES وIFS يستخدمون نفس النموذج والدقة ولكنهم ليسوا متطابقين تمامًا لأسباب حسابية تقنية.

الشكل 5 | الهيكل الديناميكي للعاصفة سياران في الساعة 18 بالتوقيت العالمي المنسق في 1 نوفمبر 2023 من إعادة التحليل والتوقعات. تُظهر الخرائط سرعة الرياح عند 850 هكتوباسكال (التظليل)، وسرعة الرياح عند الخطوط الزرقاء الداكنة والفاتحة والخطوط الحمراء الفاتحة والداكنة تشير إلى القيم المتزايدة كل 2.5 كلفن من 280 كلفن إلى 287.5 كلفن)، ضغط الهواء عند مستوى سطح البحر (خطوط رمادية رفيعة)، الرطوبة النسبية بالنسبة للماء عند 700 هكتوباسكال (تظليل رمادي يحيط بالمناطق فوق ، غير معروض لـ FourCastNet (e)
غير متوفر)، مكون العمودي من الدوران النسبي عند 850 هكتوباسكال (تظليل من الأخضر الفاتح إلى الداكن، من ثم كل ). يظهر الهيكل في ERA5 بينما -f عرض الهيكل من التوقعات التي تم تهيئتها في الساعة 00:00 بالتوقيت العالمي المنسق 1 نوفمبر 2023. لاحظ أن نطاق أشرطة ألوان سرعة الرياح في الأشكال 5 و 6 يختلف عن ذلك في الأشكال 2 و 4. الميزات الرئيسية للإعصار الموصوفة في النص موضحة في (أ).

وجود نفاثات متوسطة المقياس. تبرز هذه القيود أهمية استخدام نماذج ذات دقة كافية عند التنبؤ بظواهر الطقس ذات التأثير الكبير التي تحدث على مقاييس مكانية صغيرة. ومع ذلك، تشير تحليلاتنا إلى أن نماذج التعلم الآلي تواجه صعوبة في تمثيل الهياكل الجبهية الملائمة لـ
ميزات التأثير العالي على المقياس المتوسط حتى عند مقارنتها مع نماذج التنبؤ بالطقس العددية ذات الدقة المماثلة، مثل تلك المستخدمة في توليد ERA5.

يؤثر نقص حدة الجبهة الدافئة المنحنية والجبهة الباردة في نماذج التعلم الآلي على قوة أقصى سرعات الرياح، كما يمكن رؤيته
من خلال تحويل التركيز في التقييم إلى منطقة الرياح القوية. توضح الأشكال 5a-f سرعة الرياح (الكونتور المملوء) لتقديم مؤشر على هيكل العاصفة في الطبقة السفلى من الغلاف الجوي الذي يتأثر أقل بوجود اليابسة أدناه من الرياح المعروضة سابقًا؛ وبالتالي، فإن الرياح عند هذا المستوى من الضغط، تقريبًا كيلومتر فوق سطح الأرض، تكون عادةً أقوى من تلك القريبة من السطح. تحدد جميع نماذج التعلم الآلي باستمرار منطقتين من الرياح القوية: واحدة في منطقة الكسر الجبهي وأخرى في القطاع الدافئ. ترتبط الرياح القوية الموجودة في منطقة الكسر الجبهي بالتدرج الضغطي الضيق بالقرب من طرف الجبهة الدافئة المنحنية، والنزول المرتبط والتسارع حيث تنتشر الإيزنتروبيات الرطبة، والمحاذاة مع اتجاه انتشار العاصفة (مع تعزيز محلي محتمل بسبب نزول رياح اللسع في نظام IFS HRES، انظر المناطق الصغيرة أعلاه ). ترتبط الرياح القوية الموجودة في قلب القطاع الدافئ (المحاطة بالإيزنتروبيات الرطبة عند 287.5 كلفن) بجت واسع، يعرف بجت الحزام الناقل الدافئ، الذي يرتفع عبر عمق الغلاف الجوي من أعلى طبقة الحدود الجوية. تؤكد قدرة نماذج التعلم الآلي على تحديد كل من أقصى الرياح في منطقة الكسر الجبهي والحزام الناقل الدافئ (على الرغم من وجود اختلافات في الهيكل المكاني وشدة الأخير) قدرتها على التقاط الهيكل العام للعواصف خارج الاستوائية بدقة. ومع ذلك، فإن أقصى سرعات الرياح أضعف في نماذج التعلم الآلي مقارنةً بـ ERA5، حيث تتجاوز (وحتى في التوقعات المستندة إلى نظام ERA5) في منطقة واسعة عند مدخل الكسر الجبهي. بينما تعرض Graphcast وFourCastNet عجزًا صغيرًا يبلغ حوالي ، فإن PanguWeather وFourCastNetv2 أقل بحوالي و على التوالي.

نحن الآن نوجه انتباهنا إلى التوقعات الصالحة بعد 6 ساعات، في 00UTC في 2 نوفمبر 2023 (الشكل 6a-f)، وقت ذروة سرعات الرياح في ERA5. في هذه المرحلة من تطور Ciarán، يكشف تحليل منطقة الكسر الجبهي والقطاع الدافئ عن عدة ميزات مثيرة للاهتمام. يظهر ERA5 منطقة من الهواء الدافئ في مركز العاصفة، والتي تفصل عن القطاع الدافئ الرئيسي، وهي عملية تعرف باسم الانعزال المركزي الدافئ. يحدث الانعزال المركزي الدافئ خلال المرحلة الناضجة من تطور العواصف خارج الاستوائية عندما يلتف الهواء البارد حول المركز المنخفض ويقطع الاتصال مع كتلة الهواء الدافئ شبه الاستوائي. يبدأ دوران النسبي في الانخفاض على طول الجبهة المنحنية ويزداد عمومًا بالقرب من مركز الإعصار حيث تلتف الجبهة حوله. بينما يتم التقاط التطور العام من قبل جميع النماذج، يختلف درجة الوضوح في وجود انعزال دافئ محدد بشكل جيد بشكل ملحوظ بين نماذج التعلم الآلي.

من خلال التركيز على أقصى الرياح في منطقة الكسر الجبهي، التي تعقد الآن بوصول الحزام الناقل البارد (الجت الرئيسي في المستوى المنخفض في القطاع البارد، خلف الجبهة الباردة، لعاصفة خارج استوائية)، يكشف أن ERA5، والتوقعات المستندة إلى نظام ERA5 (الشكل التوضيحي 1c) وتوقع IFS جميعها لديها ذروة سرعات الرياح بين . تعرض GraphCast وFourCastNet ذروة سرعات الرياح أقل. تمتلك PanguWeather وFourCastNet-v2 انحياز ضعيف أكبر، حيث يتم تقدير سرعات الرياح بأقل من . يتم تقدير أقصى الرياح باستمرار بشكل أقل في نماذج التعلم الآلي عند مقارنتها بالمعايير المقدمة من ERA5 (وتوقعاتها) وتوقع IFS. هذه الفجوة في توقع أقصى الرياح في وقت ذروة الرياح وعندما تقترب من اليابسة أمر حاسم لتقييم التأثير المحتمل لرياح سطح العاصفة Ciaran والرياح المصاحبة.

من خلال الفحص، فإن هياكل حقول MSLP في الأشكال 5 و6 متشابهة للنماذج المختلفة على الرغم من الاختلافات في هيكل وسرعة الرياح. يثير هذا سؤالًا مثيرًا للاهتمام، هل الفجوة بين أقصى الرياح في النماذج التقليدية للتنبؤ بالطقس ونماذج التعلم الآلي لأن نماذج التعلم الآلي لا تعيد إنتاج التوازن الديناميكي بين حقول الرياح والضغط الموجودة في نماذج التنبؤ التقليدية؟ يتم فحص هذا السؤال بالتفصيل في المواد التكميلية (وتشمل الأشكال التوضيحية 2-8) ويتم تضمين ملخص قصير هنا.

بينما يعتبر حساب حقل الرياح الجيستروفية (الناجم عن توازن تدرج الضغط وقوى كوريوليس) نسبيًا بسيطًا، فإن حساب حقل الرياح التدرجي الأكثر دقة (مع تضمين إضافي للقوة الطرد المركزي المرتبطة بانحناء مسار الجسيمات) أكثر تعقيدًا. نظرًا لأن كلا الحسابين يتطلبان تقييم
للتدرجات الأفقية في حقل الجيوبوتينشيل، يصبح نقص غير فيزيائي في السلاسة على أصغر المقاييس في جميع نماذج التعلم الآلي واضحًا بسهولة ويجب التحقيق فيه بشكل أكبر. لاحظ أنه بينما يجب أن يوفر الرياح التدرج تقديرًا أفضل للتدفق الكبير بدون احتكاك (حيث يكون ذلك التدفق منحنيًا) من الرياح الجيستروفية، يمكن أن يختلف التدفق عن توازن الرياح التدرج بسبب الحركات غير المتوازنة التي قد تكون واقعية من الناحية الفيزيائية، خاصة في مخرجات النماذج عالية الدقة (والواقع).

تمتلك حقول الرياح الجيستروفية والتدرج الملساء هياكل قابلة للتصديق من الناحية الفيزيائية في كل من مخرجات نماذج التنبؤ بالطقس ونماذج التعلم الآلي. بينما توجد أقوى الرياح الكاملة في مخرجات نماذج التنبؤ بالطقس حتى بعد التنعيم، فإن أقوى الرياح التدرج ليست مختلفة بوضوح بين نماذج التعلم الآلي ونماذج التنبؤ بالطقس. الاختلافات بين حقول الرياح الكاملة الملساء والتدرج لنماذج التنبؤ بالطقس ونماذج التعلم الآلي لها هياكل وقياسات مميزة مماثلة في مناطق الرياح القوية للعاصفة. ضمن قيود دقة حساباتنا، لا يمكننا أن نستنتج أن الرياح الضعيفة في توقعات نماذج التعلم الآلي هي نتيجة لعجز في حل التوازن الديناميكي الصحيح، ولكن من المحتمل أن تكون مرتبطة بنقص في حقل الجيوبوتينشيل، أي، في التدرج والانحناء لكونتور الجيوبوتينشيل.

باختصار، تمثل نماذج التعلم الآلي المحركات الديناميكية الكبيرة التي تعتبر أساسية لتطور عاصفة Ciarán بشكل جيد، بما في ذلك موقع العاصفة بالنسبة لخروج الجت العلوي. كما أنها تلتقط بدقة الهيكل الأكبر على نطاق الطقس للعاصفة مثل موقع رأس السحابة، وشكل القطاع الدافئ وموقع جت الحزام الناقل الدافئ. قدرة نماذج التعلم الآلي على حل الهيكل الأكثر تفصيلًا للعاصفة مختلطة أكثر. فقط بعض نماذج التعلم الآلي تحل بشكل صحيح الانعزال المركزي الدافئ ولا تلتقط أي منها تدرج الجبهة الدافئة المنحنية الحاد. تقدر نماذج التعلم الآلي شدة أقوى الرياح عند السطح وفي الغلاف الجوي الحر (فوق طبقة الحدود)، خاصة في منطقة الكسر الجبهي بالقرب من نهاية الجبهة المنحنية. لاحظ أن هذا التقدير المنخفض لأقصى سرعات الرياح ليس نتيجة لدقة مخرجات نماذج التعلم الآلي أو بيانات تدريبها، حيث ينطبق أيضًا عند المقارنة مع ERA5 (وتوقعات مستندة إلى نظام ERA5) ونماذج التنبؤ بالطقس بدقة مشابهة لـ ERA5.

تُبرز القدرة المتباينة للنماذج الأربعة للتعلم الآلي التي تم النظر فيها على التنبؤ بدقة بالخصائص الديناميكية واسعة النطاق للعاصفة سياران ورياحها المدمرة الحاجة إلى تقييم أكثر شمولاً لهذه الأداة الجديدة المحتملة التحول في التنبؤ. قبل أكثر من 48 ساعة من تأثير العاصفة سياران على المجتمعات المحيطة بقناة إنجلترا، كانت التنبؤات بتعمق الضغط الجوي السطحي السريع ومسار العواصف التي أنتجتها نماذج التعلم الآلي غير قابلة للتمييز بشكل أساسي عن التنبؤات الناتجة عن مجموعة من نماذج التنبؤ بالطقس التقليدية. تُظهر تحليلاتنا أن نماذج التعلم الآلي كانت قادرة على إعادة إنتاج تدفق الطبقات العليا الذي وجه العاصفة المتطورة إلى منطقة الخروج اليسرى من التيار النفاث وأدى إلى تكثيفها السريع. كما تم التقاط العديد من الميزات الديناميكية المهمة للعاصفة، بما في ذلك موقع رأس السحابة، وشكل القطاع الدافئ، وموقع تيارات الحزام البارد والدافئ بشكل جيد من قبل نماذج التعلم الآلي. لا يبدو أن نماذج التعلم الآلي كانت محدودة بحقيقة أنه لم يتم ملاحظة عاصفة ذات ضغط مركزي مماثل سابقًا فوق إنجلترا خلال نوفمبر. ومع ذلك، حتى في السجل القصير نسبيًا ERA5، فإن العواصف التي تتطور بطريقة مماثلة مع محركات ديناميكية مشابهة (مثل التيار النفاث في الطبقات العليا) شائعة طوال فصل الشتاء، وتظل قدرة نماذج التعلم الآلي على التنبؤ بعواصف أكثر ديناميكية غير عادية، مثل العواصف الصغيرة التي تتطور بسرعة من الأمواج على جبهات موجودة مسبقًا، سؤالًا مفتوحًا.

على النقيض من ذلك، عند النظر في الرياح الضارة المرتبطة بالعاصفة سياران بالتفصيل، كانت التوقعات من نماذج التعلم الآلي تحتوي على أخطاء كبيرة وأداء أقل من نماذج التنبؤ العددي التقليدية. فشلت جميع نماذج التعلم الآلي الأربعة في إنتاج الشريط الضيق من الرياح القوية جداً على السطح الذي أدى إلى أشد التأثيرات. كما فشلت نماذج التعلم الآلي في تمثيل قوة التدرج الحراري عبر الجبهة في الجبهة المنحنية.
الميزة مرتبطة أيضًا ديناميكيًا بالرياح القوية) وكانت لها نجاحات متغيرة في إنتاج العزلة الدافئة للهواء التي تشكلت في مركز العاصفة في مرحلتها الناضجة.

يتطلب الأمر المزيد من العمل، مع الأخذ في الاعتبار العواصف الأخرى، لتقييم ما إذا كانت التحيزات الظاهرة في محاكاة العاصفة سياران هي سمة نظامية من هذا الجيل الأول من نماذج التعلم الآلي. من المحتمل أن تؤدي زيادة التدقيق في النماذج إلى تحديد مجالات مستهدفة لتحسين النموذج، كما حدث مع نماذج التنبؤ بالطقس. نظرًا لأن نماذج التعلم الآلي متاحة للجميع من خلال المستودعات العامة، فمن المحتمل أن يمكّن هذا التدقيق من تحسين النموذج بسرعة. سيكون التوثيق التفصيلي لأداء نماذج التعلم الآلي أيضًا أمرًا حاسمًا لخبراء الأرصاد الجوية الذين يسعون إلى استخدام نماذج التعلم الآلي بشكل أكبر كجزء من عملية التنبؤ. بدأت مراكز التنبؤ مثل ECMWF بالفعل في تطوير واختبار إصدارات ألفا من نماذج التعلم الآلي التي تكمل قدراتها الحالية. .

استنادًا إلى دراسة حالة واحدة، سيكون من السابق لأوانه استخلاص استنتاجات حول القدرات النسبية للنهج الأربعة المختلفة في التنبؤ بالطقس باستخدام التعلم الآلي، كما يتضح من النماذج المختلفة. على وجه الخصوص، نظرًا لأننا كان لدينا وصول فقط إلى النسخة ‘الصغيرة’ من نموذج FourCastNet-v2، قد يُتوقع أن يكون لهذا النموذج قدرة محدودة على إنتاج الخصائص التفصيلية للعاصفة كياران. ومع ذلك، فإن الدراسات مثل دراستنا مفيدة لتحديد الفجوات المعرفية في تطوير نماذج التعلم الآلي للتنبؤ، لا سيما في قدرتها على التقاط هيكل أنماط الطقس المتطرفة. يمكن أن يكون هذا بشكل مباشر، مثل تضمين المتغيرات الناتجة الضرورية (أحد متغير الرطوبة لتحديد شكل رأس السحابة المفقود من نموذج FourCastNet)، أو من خلال صياغة فرضيات أكثر دقة للتحقيق. على سبيل المثال، قدرة PanguWeather على التقاط المكون العمودي لـ قد يكون دوران النسبي ناتجًا عن دمج النموذج لمعلومات الارتفاع عبر المستويات. وبالمثل، قد تكون قدرة GraphCast على محاكاة العزل ذو النواة الدافئة بشكل أفضل ناتجة عن تمثيله متعدد الشبكات بدلاً من الخلط المكاني المستخدم في النماذج الأخرى. فشلت جميع نماذج التعلم الآلي في التقاط الرياح الشديدة على السطح المرتبطة بـ Ciarán. كما هو موضح في الأشكال التكميلية، فإن أخطاء الرياح في الطبقة السفلى من الغلاف الجوي أصغر. قد يشير هذا إلى أن النماذج المستقبلية يمكن أن تستفيد من تضمين المتغيرات والعلاقات عبر هذه المتغيرات التي تصف بشكل أفضل طبقة الحدود الكوكبية في مجموعات بيانات التدريب الخاصة بها. والأهم من ذلك، أن تحليلنا يقدم حجة قوية لتقييم أكثر قوة للتوقعات من نماذج التعلم الآلي عبر جميع الميزات الزمانية والمكانية ذات الصلة للظاهرة الفيزيائية المعنية بدلاً من مقاييس الخطأ المعزولة على المتغيرات الفردية.

التسارع السريع في قدرات التنبؤ لنماذج التعلم الآلي كما يتضح من دراستنا لعاصفة سياران يطرح العديد من التحديات والفرص الجديدة لعلم الغلاف الجوي. تقنيات الذكاء الاصطناعي القابل للتفسير (xAI) يمكن دمجها بشكل قوي مع نماذج التعلم الآلي التي اعتبرناها لتطوير فهم أعمق للأسباب التي جعلتها قادرة على إنتاج توقعات ماهرة لعاصفة سياران بما يتماشى مع محاولات أخرى لتوحيد أساليب التعلم الآلي واكتشاف الأسباب. تطوير النماذج الأساسية العامة يمكن أن يضيف المزيد إلى مجموعة الأدوات المتاحة لكل من التنبؤ وفهم الأحداث الجوية ذات التأثير العالي.

في هذه الدراسة، نقارن التوقعات التي تنتجها أربعة نماذج مختلفة تعتمد على أساليب التعلم الآلي. جميعها مُهيأة من نفس تحليل ECMWF التشغيلي مما يسمح بمقارنة مباشرة مع التوقعات التشغيلية الحالية لنموذج ECMWF عالي الدقة (CY48R1). يتم إنتاج توقعات نموذج التعلم الآلي باستخدام مجموعة أدوات ai-models التي طورتها ECMWF.https://github.com/ecmwf-lab/ai-models).

جميع النماذج الأربعة التي تم النظر فيها هي نماذج تعلم عميق مدفوعة بالبيانات وتم تدريبها في الأصل على عدد قليل من ( عقود من المتغيرات الجوية والسطحية من مجموعة بيانات ERA5 بدقة الدقة عند خط الاستواء)”، والتي تترجم إلى خلايا الشبكة. جميع نماذج التعلم الآلي هي نماذج ذاتية الانحدار، مما يعني أن ناتج النموذج من خطوة زمنية معينة يمكن استخدامه للتنبؤ بالناتج في الخطوة الزمنية التالية. تنشأ الاختلافات بين النماذج بشكل رئيسي من الهياكل الفردية، واختيار المتغيرات، والمعلمات، وأنظمة التدريب التي تم تلخيصها بإيجاز في التفاصيل الفنية أدناه:

تتم مقارنة توقعات نموذج ML بمجموعة من التوقعات من نماذج توقعات الطقس العددية التقليدية (NWP) لتقييم كل من الاختلافات النظامية في قدرات نماذج NWP و ML وكيفية مقارنة انتشار التوقعات من المعمارين الاثنين. تم الحصول على توقعات من توقع IFS HRES وتوقعات بناءً على نظام ERA5 (انظر أدناه لوصف ERA5) من ECMWF وأعضاء التحكم (غير المضطربين) من توقعات المجموعة لأربعة نماذج (IFS مكتب الأرصاد الجوية وكالة الأرصاد الجوية اليابانية (JMA) ومراكز التنبؤ البيئي الوطنية (NCEP) ) تم تنزيلها من أرشيف TIGGE لتوقعات الطقس العالمية التشغيلية حتى المدى المتوسط. تختلف النماذج المختارة في تصميمها ودقة شبكة النموذج العددي. كانت الدورة 48r1 من IFS تعمل في وقت العاصفة Ciarán. بعد الترقية إلى هذه الدورة في يونيو 2023، أصبحت توقعات HRES وتوقعات المجموعة بنفس الدقة، ما يعادل 9 كم من تباعد الشبكة. تحتوي مجموعات مكتب الأرصاد الجوية و JMA و NCEP على تباعد شبكي يبلغ حوالي و 25 كم، على التوالي. تم الحصول على البيانات لأربعة أعضاء من مجموعة التحكم جميعها معاد تشكيلها إلى شبكة منتظمة من خطوط العرض والطول بمقدار 0.5 درجة.

يتم مقارنة مجموعتي النماذج مع منتجين تحليليين (خليط مثالي من التوقعات قصيرة المدى والملاحظات): التحليل التشغيلي لـ IFS و ERA5. يتم إنتاج التحليل التشغيلي لـ IFS باستخدام توقع IFS HRES وله دقة تعادل 9 كم من تباعد الشبكة، بينما يتمتع ERA5 بدقة تعادل 31 كم من تباعد الشبكة. تم إعادة تشكيل تحليل IFS و ERA5 إلى شبكة منتظمة من خطوط العرض والطول بمقدار 0.25 درجة.

يتم استخدام ERA5 كقياس إضافي لـ “حقيقة” التوقعات لأن نماذج ML جميعها استخدمت ERA5 كبيانات تدريب لها. وبالتالي، فإن المقارنة مع ERA5 تشير إلى مهارة هذه النماذج بالنسبة لأفضل توقع ممكن بناءً على بيانات تدريبها. من المتوقع أن يتضمن تحليل IFS ميزات جوية أصغر وأعلى سعة من ERA5 بسبب استخدام نموذج بدقة أعلى، على الرغم من إعادة تشكيله إلى نفس الشبكة. من المتوقع أيضًا أن يكون تحليل IFS أقرب إلى “الحقيقة” بسبب استخدام دقة أعلى ونظام نمذجة محدث.

تتوفر مجموعات البيانات المستخدمة و/أو التي تم تحليلها خلال الدراسة الحالية من المؤلف المقابل عند الطلب المعقول.

بخلاف حزم بايثون المشار إليها في الشكر، فإن الكود الأساسي لهذه الدراسة غير متاح للجمهور ولكن قد يتم توفيره للباحثين المؤهلين عند الطلب المعقول من المؤلف المقابل.

تم الاستلام: 2 ديسمبر 2023؛ تم القبول: 31 مارس 2024؛
تم النشر عبر الإنترنت: 22 أبريل 2024

نشكر فريق مختبرات ECMWF على بناء مكتبة ai-models المتاحة للجمهور والتي مكنت من إنتاج ومقارنة التوقعات من أربعة نماذج ML. يمكن الوصول إلى هذه المكتبة علىhttps://github.com/ecmwf-lab/aimodels. نشكر أيضًا مجموعات النمذجة التي جعلت الكود الخاص بنماذج ML متاحًا للجمهور من خلال المستودعات التالية: – FourCastNethttps://github.com/NVlabs/FourCastNet. • PanguWeatherhttps://github. com/198808xc/Pangu-Weather. • GraphCasthttps://github.com/googledeepmind/graphcast. يعتمد هذا العمل جزئيًا على بيانات TIGGE. TIGGE (المجموعة العالمية الكبرى الدولية) هي مبادرة من برنامج أبحاث الطقس العالمي (WWRP). نحن ممتنون أيضًا لـ ECMWF لتوفير الوصول إلى منتجات التحليل التشغيلية لأعضاء فريق البحث من خلال حسابات البحث الوطنية المحتفظ بها من خلال مكتب الأرصاد الجوية. يتم تمويل العمل جزئيًا من قبل مجلس الأبحاث البيئية الطبيعية (UKRI-NERC) من خلال عدة منح يحتفظ بها المساهمون ومن قبل مؤسسة شميت فيوتشرز. يتم تمويل BH من قبل برنامج CANARI التابع لـ UKRI-NERC (NE/W004984/1). يتم تمويل NJH من قبل UKRI-NERC UMBRELLA (NE/X018555/1). يتم تمويل KMRH من قبل زمالة بحث مستقلة من UKRI-NERC (MITRE؛ NE/W007924/1). يتم تمويل RS من قبل UKRI-NERC TerraFIRMA (NE/W004895/1). يتم تمويل AV من قبل UKRI-NERC الأعاصير الصيفية القطبية (NE/T006773/1). يتم تمويل SD ودعمه من قبل مؤسسة شميت فيوتشرز.

تخيل A.J.C.P. التحليل وأنتج توقعات ML والتوصيف الأولي لأدائها. ساهم S.D. وK.M.R.H. وR.S. وR.V. في التحليل ووصف نماذج ML. قاد N.J.H. تحليل خصائص العاصفة Ciarán وتأثيراتها. أنتج H.D. وS.G. وB.H. وA.V. التحليل الديناميكي المفصل لخصائص العاصفة Ciarán في التوقعات بما في ذلك جمع بيانات NWP وإنتاج جميع الأشكال. ساهم جميع المؤلفين في المناقشات والكتابة والتدقيق اللغوي وتحرير المخطوطة. يجب اعتبار جميع المؤلفين مؤلفين مشتركين في المرتبة الأولى حيث تم إنجاز العمل بشكل تعاوني. لم يلعب الممولون أي دور في تصميم الدراسة أو جمع البيانات أو تحليلها أو تفسيرها، أو في كتابة هذه المخطوطة.

يعلن المؤلفون عدم وجود مصالح متنافسة.

المعلومات التكميلية النسخة الإلكترونية تحتوي على مواد تكميلية متاحة على https://doi.org/10.1038/s41612-024-00638-w.

يجب توجيه المراسلات وطلبات المواد إلى أندرو ج. تشارلتون-بيريز.

معلومات إعادة الطبع والتصاريح متاحة على http://www.nature.com/reprints

ملاحظة الناشر تظل Springer Nature محايدة فيما يتعلق بالمطالبات القضائية في الخرائط المنشورة والانتماءات المؤسسية.

الوصول المفتوح هذه المقالة مرخصة بموجب رخصة المشاع الإبداعي للاستخدام والمشاركة والتكيف والتوزيع وإعادة الإنتاج في أي وسيلة أو صيغة، طالما أنك تعطي الائتمان المناسب للمؤلفين الأصليين والمصدر، وتوفر رابطًا لرخصة المشاع الإبداعي، وتوضح ما إذا تم إجراء تغييرات. الصور أو المواد الأخرى من طرف ثالث في هذه المقالة مشمولة في رخصة المشاع الإبداعي للمقالة، ما لم يُشار إلى خلاف ذلك في سطر الائتمان للمادة. إذا لم تكن المادة مشمولة في رخصة المشاع الإبداعي للمقالة وكان استخدامك المقصود غير مسموح به بموجب اللوائح القانونية أو يتجاوز الاستخدام المسموح به، ستحتاج إلى الحصول على إذن مباشرة من صاحب حقوق الطبع والنشر. لعرض نسخة من هذه الرخصة، قم بزيارة http://creativecommons.org/licenses/by/4.0/.
© المؤلفون 2024

There has been huge recent interest in the potential of making operational weather forecasts using machine learning techniques. As they become a part of the weather forecasting toolbox, there is a pressing need to understand how well current machine learning models can simulate high-impact weather events. We compare short to medium-range forecasts of Storm Ciarán, a European windstorm that caused sixteen deaths and extensive damage in Northern Europe, made by machine learning and numerical weather prediction models. The four machine learning models considered (FourCastNet, Pangu-Weather, GraphCast and FourCastNet-v2) produce forecasts that accurately capture the synoptic-scale structure of the cyclone including the position of the cloud head, shape of the warm sector and location of the warm conveyor belt jet, and the large-scale dynamical drivers important for the rapid storm development such as the position of the storm relative to the upper-level jet exit. However, their ability to resolve the more detailed structures important for issuing weather warnings is more mixed. All of the machine learning models underestimate the peak amplitude of winds associated with the storm, only some machine learning models resolve the warm core seclusion and none of the machine learning models capture the sharp bent-back warm frontal gradient. Our study shows there is a great deal about the performance and properties of machine learning weather forecasts that can be derived from case studies of high-impact weather events such as Storm Ciarán.

During the 20th century and the first two decades of the 21st century, numerical weather prediction (NWP) transformed atmospheric science . The combination of physical and mathematical understanding, the availability of high-performance computing and the expansion of the network of Earth system observation led to remarkable and continued progress in the skill and availability of weather forecasts. Numerical weather predictions are a ubiquitous part of modern life, with applications on many different timescales and in sectors as diverse as transport, agriculture, healthcare and recreation.

Over the last two years, machine learning (ML) techniques, a subset of the rapidly developing field of artificial intelligence (AI), have begun to be
applied to the weather prediction problem in earnest. Whilst ML has had applications in climate science for many decades , with these communities aware of its potential , and is increasingly used for post-processing weather forecasts , recent advances in ML and advancements in GPUs (Graphics Processing Units), have enabled the beginning of a ‘new dawn’ in the application of ML and AI techniques to weather and climate prediction .

The publication of the WeatherBench dataset and the 10-year roadmap for ML use by the European Centre for Medium-Range Weather Forecasts (ECMWF) , amongst other developments, stimulated interest and investment in the development of ML models for weather forecasting. During 2022 and 2023, four ML models were developed by major

technology companies to address the short to medium-range ( day) forecasting problem. These models have all been shown to produce skillful day forecasts of the 500 hPa geopotential height field, based on the widely used Anomaly Correlation Coefficient metric . All four models use an encode-process-decode framework but with differing architectures:

Similar techniques have been used to develop models for other forecast tasks (e.g., MetNet-3 for 12-h precipitation forecasts in the contiguous United States and 27 European countries ). At the present time, ML models primarily produce deterministic forecasts, but rapid progress is being made in producing fully probabilistic forecasts . All four ML models are extremely efficient when run on GPU or TPU (tensor processing unit) devices, typically producing 10 -day forecasts in a few minutes.

Given the infancy of ML model weather prediction, to the author’s knowledge, there are no prior studies that compare how the four MLmodels and NWP models capture individual, impactful weather events. Examination of individual weather events available from the papers that describe the ML models is limited to qualitative comparisons of the simulation of tropical cyclones and atmospheric rivers by FourCastNet and quantitative assessment of the tracking error of tropical cyclones by PanguWeather and GraphCast . There are no published studies that examine ML model forecasts of extratropical windstorms , despite their potential to cause multi-billion dollar damages and increasing severity under climate and population change .

In this study, we, therefore, seek to advance knowledge of the comparative performance of ML and NWP models by comparing their forecasts of Storm Ciarán, which affected several European countries during November 2023. This is a valuable out-of-sample test for the ML models because their training datasets all end before the beginning of 2023. We compare the ability of the models to capture the detailed physical structure of the storm and its impacts at two lead times over which operational weather forecasters were actively engaged in issuing weather warnings to the public. An accurate description of the physical structure of this, or any other, storm is a key component of forecasting its compound impact and in constructing plausible storylines for end-users .

Storm Ciarán was first seen as a low-pressure weather system south of Newfoundland at about 00 UTC on 31 October 2023. Based on surface analysis charts issued by the UK Met Office, it then tracked quickly across the North Atlantic, undergoing explosive deepening from 988 hPa at 00 UTC on 1 November to 954 hPa at 00 UTC on 2 November at which time it was located to the northeast of France. This deepening rate, 34 hPa in 24 h means that Ciarán was an extratropical cyclone “bomb” . The lowest pressure recorded, 953 hPa at 06 UTC on 2 November, is a record low pressure for a November storm observed in England . Figure 1 shows surface observations of the wind speed, cloud cover and mean sea level pressure (MSLP). The cyclonic circulation around the storm centre (with the lowest MSLP observed on the English south coast near the Isle of Wight) has a maximum wind speed of 65 knots on the Normandy coast in France.

Although Storm Ciaran was not a classic Shapiro-Keyser cyclone , clear banding in the vicinity of the tip of the cloud as it encircles the storm centre to the poleward side (called the cloud head) could be seen in satellite imagery before it made landfall in northern France. This banding suggests that a sting jet may have been present in Storm Ciarán , however its
identification requires methodologies beyond the scope of this study. Gusts of over were reported in several locations in Brittany , with a maximum of 111.7 knots ( ) recorded at Pointe du Raz at approximately 0200 UTC on 2 November .

Across Northern Europe, at least 16 people were killed . All flights were cancelled from Amsterdam Schiphol Airport and there were numerous cancellations from Spanish airports. An estimated 1.2 million households in northern France were left without electricity and more than 1 million residents were cut off from the mobile telephone network. Brest and Quimper Airports were also shut and there was disruption to Eurostar operations .

Approximately 10,000 homes in Cornwall were left without power, hundreds of schools were closed and many train services were disrupted by fallen trees. Gusts in Channel Islands ranged from with a maximum gust of 90 knots ( ) recorded in Alderney at approximately 08 UTC on 2 November . Jersey also experienced a T6 tornado with estimated winds in the region of . Its track left a trail of destruction and tens of people needed to leave their homes. It is likely that this is the strongest tornado reported in the British Isles since the Gunnersbury tornado in December .

The wind speed and MSLP structure of Ciarán are shown in Fig. 2a, b at the times when it impacted the land: 00 and 06 UTC 2 November 2023. State-of-the-art model analyses, such as the IFS analysis used in this figure, represent the best three-dimensional estimates of the actual atmospheric state. The low-pressure centre of the storm tracked along the southern UK coast and the strongest winds (turning cyclonically) occurred in an arc in the southwest quadrant of the storm when the strong winds impacted Brittany and later more directly to the south of the low centre when they impacted the Channel Islands. The winds weakened significantly over land due to surface friction, no longer reaching the threshold for shading in the figure. They also weakened between the two times shown, with the peak winds falling by about , likely due to a combination of the storm making landfall and having already reached its mature stage. The observed wind speeds, shown by the overplotted colour-filled circles, are consistent with the analysed fields, away from the coastlines but exceed those analysed in some locations, notably some coastal locations and at the narrowest point of the English channel. The winds in these locations will be influenced by local mesoscale processes and so these exceedances are not unexpected given the resolution of the IFS model. The track of the storm, defined as the locations of its minimum MSLP according to IFS analyses, is shown by the black symbols joined by lines in panel (c). Ciarán had its genesis in the western North Atlantic around the time of the first track point shown ( 06 UTC 31 October) and travelled rapidly eastwards across the North Atlantic. The contours shown illustrate the MSLP and wind speed (i.e., the upper-level jet) at the start, middle and end times of the tracks and show how Ciarán evolved from a weak disturbance (with central MSLP exceeding 995 hPa ) to a record-breaking deep storm as it crossed from the equatorward to the poleward side of the jet at about 06 UTC 1 November.

Ciarán’s track was well forecast by both the IFS HRES and ML-models (I. 2(c)) initialised at 00UTC on 31 October, although small differences in the location of the storm centre, and associated wind field, were critical for the accurate predictions of weather warnings along the southern English coast. Two days before Ciarán began to impact land and well before the start of its fast intensification, the spread in the position of the storm in ML models and NWP models is similar.

The evolution of the minimum mean sea pressure (MSLP) at the centre of the developing storm and its associated maximum wind speed are shown in Fig. 3 for the IFS analysis, IFS HRES forecast and ML model forecasts in panels (a, c), and for the ERA5 reanalysis, forecasts based on the ERA5 system, and the control (unperturbed) ensemble members of four NWP models in panels (b, d). Considering first the minimum (MSLP) evolution, all the forecasts closely follow both analysis products, capturing both the rapid deepening phase of the storm and its maximum

Fig. 1 | Surface land and ship station SYNOP observations of Storm Ciarán at 06 UTC 2 November 2023 extracted from the MetDB database , which holds data including surface and upper air observations and some satellite data. The observations are shown as simplified station circles using conventional notation . Circle shading indicates cloud cover in octas, wind barbs and feathers indicate wind
speed in knots with the wind direction towards the circle, and numbers are the last three digits, including a decimal place, of the MSLP (in hPa) e.g., 543 equates to 954.3 hPa . Some thinning of observations has been performed for clarity and note that two ships both reported at with different wind speeds and directions.
intensity depth. The minimum MSLP at the end of the forecast (06 UTC 2 November) is 954 hPa in both the IFS analysis and ERA5. This value varies between 951 and 955 hPa for the ML models and between 950 and 953 hPa for the six NWP models (including the IFS HRES). In contrast, the spread in the maximum wind speed evolution is far greater. At the time of peak wind speed in both analyses, 00 UTC 2 November (48-h lead time), the value in the IFS analysis is . The IFS HRES forecast predicts this well ( ), while the other, generally slightly coarser resolution, NWP models mostly forecast slightly weaker winds ( ) with the NCEP model being a clear outlier, predicting winds of . The wind speeds forecast by the ML models are far too weak ( ), even in comparison with the analysis from ERA5 . The ML models failed to capture the rapid intensification of the winds after about 06 UTC on 1 November ( lead time). Forecasts made using the ERA5 analysis system do not suffer from this low wind bias and so the underestimation is unlikely to be the result of training the ML models on the ERA5 data. The economic loss resulting from strong surface winds is often assumed to scale as the cube of normalised wind gust speed over a threshold (such as the percentile value) , so even a small underestimation in predicted wind speed can be significant in terms of the subsequent losses.

The differences in maximum wind speed are explored further in Fig. 4 which shows maps of the wind speed and MSLP for ERA5, the IFS HRES forecast and the four ML-models valid at 00 UTC 2 November, the time of peak wind speed in both analyses and when the strong winds made landfall in France. All the forecasts were initialised 48 h prior to this time (as for the data shown in Fig. 3). These maps can be compared directly
with the IFS analysis fields shown in Fig. 2a. The region of strong winds is located in an arc in the region of the tight MSLP gradient in the southwest quadrant of the Ciarán in all seven maps. However, the ML models fail to predict the strongest winds in a band following the isobars (contours of constant MSLP) in the region of the tightest MSLP gradient, as is seen in the IFS HRES forecast, ERA5 and the IFS analysis. It is notable that, despite all the ML models being trained on ERA5, they fail to capture the structure and magnitude of the winds in ERA5 (including in forecasts made using the ERA5 system, as shown in Supp. Fig. 1a) for this storm, implying that the far weaker winds found for the ML models compared to the NWP forecasts and IFS analysis are not simply a consequence of them being trained on a coarser resolution dataset. Note the NWP models used in Fig. 2 have a similar resolution to ERA5 (equivalent grid spacings of ERA5 ~ 31 km , Met Office , JMA , NCEP ) with the exception of the IFS ( ).

In this section, we evaluate the dynamics of Storm Ciarán during the final stage of its rapid development with a focus on the formation of strong winds at low altitudes. We compare the predictive capability of the ML models by comparing with the IFS HRES forecast and ERA5. The ML models are all trained on ERA5 and have the same resolution as the output provided for ERA5, allowing a fair comparison of model performance. The forecasts are all initialised at 00 UTC on 1 November, during the onset of Ciarán’s rapid intensification phase (Fig. 3a). They were evaluated 18 h later (Fig. 5) and 24 h later (Fig. 6), when Storm Ciarán’s peak wind speeds were observed. By

Fig. 2 | Near-surface wind and MSLP structure on landfall and track of Storm Ciarán. a, b Maps of wind speed (shading) and MSLP (contours) at a 00 UTC and UTC 2 November 2023 from the IFS analysis. Synoptic wind observations above are shown as coloured dots. c Six-hourly track points from the IFS analysis (blacks squares joined by lines) and the IFS HRES forecasts and AI models (coloured symbols as in Fig. 3a, b) from 06 UTC 31 October to 06 UTC 06 UTC 2nd

November 2023 (left to right) together with partial MSLP (grey contours in hPa ) and wind speed (colour-filled contours) from the IFS analysis at 06 UTC on 31 October, 1 November and 2 November (left to right). The locations of the jet maxima at the longitude points of the MSLP minima at each time are indicated by the cyan squares connected by lines.
shifting the focus to these short lead times from the previous section, the aim is to highlight both the similarities in and differences between, the NWP and ML forecasts on timescales relevant for refining hazard warnings. To aid the reader, some key parts of the storm structure are labelled in Fig. 5a.

On 1 November 2023, Ciarán underwent significant intensification beneath the left exit region of an upper-level jet streak (Fig. 2c). All the ML models captured the position and extent of the upper-level jet streak accurately with the minimum MSLP associated with Ciarán beneath the left exit region at 18 UTC (Fig. 5a-f), a critical aspect of Storm Ciarán’s dynamics.

There is also consensus among the ML models concerning the general shape of the cyclone. Figure 5a-f shows the position of the selected moist isentropes, chosen to indicate the frontal locations and, by their separation, the frontal strengths. The position of the warm sector, identified as the region inside the 285 K moist isentrope, is characterised as a hooked feature in ERA5. The shape of the warm sector is well captured by all the ML models. The cloud head, represented by relative humidity above (grey shading), is seen wrapping around the poleward side of the cyclone centre in ERA5. The IFS HRES, Graphcast and PanguWeather forecasts accurately depict the shape of the cloud head; however, the cloud head in FourCastNet v2 appears less curved than the other forecasts. FourCastNet forecast does not output a humidity variable at 700 hPa .

Despite capturing the general shape of Storm Ciarán, there are noticeable differences in the strength of frontal structures, indicated by the gradient in wet-bulb potential temperature (how close together moist isentropes are). This is true for the cold front, denoted by the and 287.5-K moist isentropes to the southeast of the cyclone centre and also for the “bent-back front”, i.e., the gradient between the and
moist isentropes that wrap around the cyclone centre on its northwestern side. To the southwest of the low centre the moist isentropes indicate the bent-back front diverge, and this is known as the frontal-fracture region. While all the ML forecasts include a frontal-fracture region, they struggle to resolve the sharp across-front temperature gradient to the west and southwest of the low centre.

Cross-frontal wind shear is another indicator of frontal strength, and the values of the vertical component of relative vorticity (green shading in Fig. 5a-f) near the bent-back front provide further evidence of the difficulties that the ML models have in simulating the frontal structures in the region. The hook-shaped narrow strip of high relative vorticity aligned with the bent-back warm front that is present in both IFS HRES and ERA5 (with maximum values up to and , respectively) becomes broader and weaker in the ML models. The discrepancy between the ERA5 (and also the forecasts based on the ERA5 system, see Supp. Fig. 1b) and ML models in representing the sharpness of the bent-back front indicates that this shortcoming of the ML models is not solely due to model resolution.

This difference in frontal strength is particularly significant since it directly relates to the environment that can be conducive to the descent of a sting jet. Sting jets are coherent air flows that descend over a few hours from inside the tip of the cloud head at mid-tropospheric levels leading to a distinct mesoscale (perhaps across) region of near-surface stronger winds, and particularly gusts . Among the models presented in this study, only the IFS forecasts and analysis have the necessary resolution to resolve a sting jet. It is crucial to recognise that the ML models, trained on coarse resolution data, are not equipped to discern features such as the

Office (UKMO ens_cntl), the Japan Meteorological Agency (JMA ens_cntl) and National Centers for Environmental Prediction (NCEP ens_cntl). Note that the ECMWF HRES and IFS control members use the same model and resolution but are not bit-identical for technical computational reasons.

Fig. 5 | Dynamical structure of Storm Ciarán at 18 UTC on 1 November 2023 from reanalysis and forecasts. Maps show wind speed at 850 hPa (shading), wind speed at , cyan contour with high values in the bottom left of the panels), the wet-bulb potential temperature at 850 hPa (dark blue, light blue, light red and dark red contours indicating values increasing every 2.5 K from 280 K to 287.5 K ), MSLP (thin grey contours), relative humidity with respect to water at 700 hPa (grey shading encircling regions above , not shown for FourCastNet (e)
as not available), the vertical component of relative vorticity at 850 hPa (light-todark green shading, from and then every ). a shows the structure in ERA5 while -f show the structure from forecasts initialised at 00 UTC 1 November 2023. Note that the range of the wind speed colour bars in Figs. 5 and 6 is different to that in Figs. 2 and 4. The main features of the cyclone described in the text are annotated in (a).

presence of mesoscale jets. This limitation highlights the importance of using models with adequate resolution when predicting high-impact weather phenomena occurring at small spatial scales. However, our analysis suggests that the ML models struggle to represent frontal structures conducive to
mesoscale high-impact features even when compared against NWP models with similar resolution, such as that used to generate ERA5.

The lack of sharpness of the bent-back warm front and cold front in the ML models impacts the strength of the wind speed maxima, as can be seen
by turning the focus of evaluation to the region of strong winds. Figure 5a-f shows the wind speed (filled contours) to give an indication of the lower-tropospheric storm structure that is less influenced by the presence of land below than the winds shown previously; consequently, winds at this pressure level, roughly a km above the ground, are normally stronger than those nearer the surface. All the ML models consistently identify two regions of strong winds: one in the frontal-fracture region and another in the warm sector. The strong winds situated in the frontal-fracture region are associated with the tight pressure gradient near the tip of the bent-back warm front, the associated descent and acceleration where the moist isentropes spread out, and the alignment with the direction of propagation of the storm (with a possible local enhancement due to sting-jet descent in the IFS HRES, see the small-scale areas above ). The strong winds mostly in the core of the warm sector (enclosed by the 287.5-K moist isentropes) are associated with a broad jet, known as the warm conveyor belt jet, which ascends through the depth of the atmosphere from the top of the atmospheric boundary layer. The ability of the ML models to identify both the frontal-fracture and warm conveyor belt wind maxima (albeit with differences in the spatial structure and intensity of the latter) underscores their ability to accurately capture the general structure of extratropical cyclones. However, maximum wind speeds are weaker in the ML models than in ERA5, where they exceed (and even in the forecast based on the ERA5 system) in a broad region at the entrance of the frontal fracture. While Graphcast and FourCastNet display a small deficit of around , PanguWeather and FourCastNetv2 are roughly and lower, respectively.

We now turn our attention to the forecasts valid 6 h later, at 00UTC on 2 November 2023 (Fig. 6a-f), the time of peak ERA5 wind speeds. At this stage of Ciarán’s evolution, analysis of the frontal-fracture region and the warm sector reveals several interesting features. ERA5 exhibits a region of warm air at the centre of the storm, which is separated from the main warm sector, a process known as warm core seclusion. Warm core seclusion occurs during the mature stage of extratropical cyclone development when cold air wraps around the low centre and cuts it off from the warm subtropical airmass. Relative vorticity starts decreasing along the bent-back front and generally increases near the cyclone centre as the front wraps around it. While the general evolution is captured by all models, the degree of clarity in the presence of a well-defined warm seclusion varies noticeably among the ML-models.

Focusing on the maximum winds in the frontal-fracture region, now compounded by the arrival of the cold conveyor belt (the main low-level jet in the cold sector, behind the cold front, of an extratropical cyclone), reveals that the ERA5, the forecast based on the ERA5 system (Supp. Fig. 1c) and the IFS forecast all have peak wind speeds between . GraphCast and FourCastNet exhibit peak wind speeds lower. PanguWeather and FourCastNet-v2 have a larger weak bias, with wind speeds underestimated by . Wind maxima are consistently underestimated in the ML models when compared to the benchmarks provided by the ERA5 (and its forecast) and the IFS forecast. This discrepancy in predicting wind maxima at the time of peak winds and as they approach land is crucial for assessing the potential impact of Storm Ciaran’s surface winds and associated gusts.

By inspection, the structures of the MSLP fields in Figs. 5 and 6 are similar for the different models despite the differences in the wind speed structure and magnitude. This raises a further interesting question, is the discrepancy between the wind maxima in the conventional NWP and ML because the ML models do not reproduce the dynamical balances between the wind and pressure fields inherent in the conventional NWP models? This question is examined in detail in the Supplementary Material (and included Supp. Figs. 2-8) and a short summary is included here.

While the calculation of the geostrophic wind field (resulting from the balance of the pressure gradient and Coriolis forces) is relatively straightforward, calculating the more accurate gradient wind field (with the further inclusion of the centrifugal force associated with the curvature of a parcel trajectory) is more complex. Since both calculations require the evaluation
of horizontal gradients in the geopotential field, an unphysical lack of smoothness on the smallest scales in all of the ML models becomes easily apparent and should be further investigated. Note that while the gradient wind should provide a better approximation to the frictionless large-scale flow (where that flow is curved) than the geostrophic wind, the flow can still differ from gradient wind balance due to unbalanced motions which may be physically realistic, particularly in high-resolution model output (and reality).

Smoothed geostrophic and gradient wind fields have physically plausible structures in both NWP and ML model outputs. While the strongest full winds are found in the NWP model outputs even after smoothing, the strongest gradient winds are not clearly different between the ML and NWP models. The differences between the smoothed full and gradient wind fields for the NWP and ML models have similar characteristic structures and magnitudes in strong wind regions of the storm. Within the limitations of the accuracy of our calculations, we cannot conclude that the weak winds in the ML model forecasts are the result of an inability to resolve the proper dynamical balances, but are likely to instead be related to inadequacies in the geopotential field, i.e., in the gradient and curvature of the geopotential contours.

In summary, the ML models represent the large-scale dynamical drivers key to the development of Storm Ciarán well, including the position of the storm relative to the upper-level jet exit. They also accurately capture the larger synoptic-scale structure of the cyclone such as the position of the cloud head, the shape of the warm sector and the location of the warm conveyor belt jet. The ability of the ML models to resolve the more detailed structure of the storm is more mixed. Only some ML models correctly resolve the warm core seclusion and none of them capture the sharp bentback warm frontal gradient. ML models underestimate the magnitude of the strongest winds at the surface and in the free atmosphere (above the boundary layer), particularly in the frontal-fracture region near the end of the bent-back front. Note that this underestimation of the strongest wind speeds is not a consequence of the resolution of the output of the ML models or their training data, since it also applies when comparing against the ERA5 (and forecasts based on the ERA5 system) and NWP models with resolution similar to ERA5.

The contrasting ability of the four ML models considered to accurately forecast the large-scale dynamical properties of Storm Ciarán and its damaging winds serve to highlight the need for a more comprehensive assessment of this new and potentially transformative forecasting tool. More than 48 h before Storm Ciarán affected communities surrounding the English Channel, forecasts of the rapid MSLP deepening and track of the storms produced by the ML models were essentially indistinguishable from forecasts from an ensemble of conventional NWP models. Our analysis shows that the ML models were able to reproduce the upper-level flow that steered the developing storm into the left exit region of the jet and led to its rapid intensification. Many of the important dynamical features of the storm including the position of the cloud head, the shape of the warm sector and the location of cold and warm conveyor belt jets were also well captured by the ML models. The ML models do not seem to have been limited by the fact that a storm of comparable central pressure has never previously been observed over England during November. However, even in the relatively short ERA5 record, storms developing in a similar way with similar dynamical drivers (such as the upper-level jet) are common throughout winter and the ability of ML models to forecast more dynamically unusual storms, such as small-scale storms that develop rapidly from waves on pre-existing fronts, is an open question.

In contrast, when considering the damaging winds associated with Storm Ciarán in detail, forecasts from the ML models had significant errors and poorer performance than conventional NWP models. All four ML models failed to produce the narrow band of very strong winds at the surface that led to the most severe impacts, The ML models also failed to represent the strength of the cross-front thermal gradient in the bent-back front (a
feature also dynamically linked to strong winds) and had variable success in producing the warm seclusion of air that formed in the centre of the storm in its mature stage.

Much further work, considering other storms, is needed to assess if the biases apparent in the simulation of Storm Ciarán are a systematic feature of this first generation of ML models. Increased scrutiny of the models is likely to lead to the identification of target areas for model improvement, as it has done for NWP models. Since the ML models are available to all through public repositories, this scrutiny is likely to enable rapid model improvement. Detailed documentation of the performance of ML models will also be critical to weather forecasters seeking to make greater use of the ML models as part of the forecasting process. Forecasting centres like ECMWF are already beginning to develop and test alpha versions of ML models that complement their existing capabilities .

Based on a single case study, it would be premature to draw conclusions about the relative abilities of the four different approaches to ML weather forecasting exemplified by the different models. In particular, given we only had access to the ‘small’ version of the FourCastNet-v2 model it might be expected that this model would have a limited ability to produce the detailed properties of Storm Ciarán. Nonetheless, studies like ours are useful for identifying knowledge gaps in ML model development for forecasting, particularly in their ability to capture the structure of extreme weather patterns. This can be direct, such as the inclusion of necessary output variables (a humidity variable to identify the shape of the cloud head missing from the FourCastNet model), or through the formulation of more nuanced hypotheses for investigation. For instance, PanguWeather’s ability to capture the vertical component of the relative vorticity could be due to the model integrating height information across levels. Similarly, GraphCast’s ability to simulate the warm core seclusion better may be due to its multi-mesh representation rather than the spatial mixing used in the other models. All the ML models failed to capture the intense winds at the surface associated with Ciarán. As shown in the supplementary figures, wind errors in the lower troposphere are smaller. This may indicate that future models could benefit from including variables and the relationships across these variables that better characterise the planetary boundary layer in their training datasets. Most importantly, our analysis makes a strong case for a more robust evaluation of the forecasts from the ML models across all relevant spatio-temporal features of the physical phenomenon considered instead of isolated error metrics on individual variables.

The rapid acceleration of the forecasting capabilities of ML models as exemplified by our study of Storm Ciarán poses many new challenges and opportunities for atmospheric science . Explainable AI (xAI) techniques could be powerfully combined with the ML models we have considered to develop a deeper understanding of the reasons that they were able to produce skillful forecasts of Storm Ciarán in line with other attempts to unify ML and causal discovery methods . The development of general-purpose, foundational models could add further to the set of tools available to both forecast and understand high-impact weather events.

In this study, we compare forecasts produced by four different models based on machine learning methods. All are initialised from the same operational ECMWF analysis allowing a direct comparison with the current operational forecast of the ECMWF high-resolution model (CY48R1). The ML model forecasts are produced using the ai-models toolbox developed by ECMWF (https://github.com/ecmwf-lab/ai-models).

All four models considered are data-driven Deep Learning models and originally trained on a few ( ) decades worth of atmospheric and surface variables from the ERA5 dataset at a resolution of resolution at the equator), which translates to grid cells. The ML models are all autoregressive, which means model output from a given time step can be used to predict output at the next time step. Model differences arise chiefly from the individual architectures, the selection of variables, parameterisations and training schemes briefly summarised in the technical details below:

The ML model forecasts are compared to a set of forecasts from conventional numerical weather prediction (NWP) models to assess both systematic differences in the capabilities of the NWP and ML models and how the spread in the forecasts from the two architectures compare. Forecasts from the IFS HRES forecast and forecasts based on the ERA5 system (see below for a description of ERA5) were obtained from ECMWF and control (unperturbed) members of the ensemble forecasts for four models (the IFS , the Met Office , the Japan Meteorological Agency (JMA) , and the National Centres for Environmental Prediction (NCEP) ) were downloaded from the TIGGE archive of operational global ensemble weather forecasts out to the medium range. The models chosen differ in their design and the resolution of the numerical model grid. Cycle 48r1 of the IFS was operational at the time of Storm Ciarán. Following the upgrade to this cycle in June 2023, the HRES and ensemble forecasts have the same resolution, equivalent to 9 km grid spacing. The Met Office, JMA and NCEP ensembles have grid spacings of approximately and 25 km , respectively. The data for the four control ensemble members were all obtained regridded to a regular latitude-longitude grid of 0.5 degrees.

Both sets of models are compared to two analysis products (optimal blends of short-range forecasts and observations): the operational IFS analysis and ERA5 . The operational IFS analysis is produced using the IFS HRES forecast and has a resolution equivalent to 9 km grid spacing, ERA5 has a resolution equivalent to 31 km grid spacing. The IFS analysis and ERA5 were regridded to a regular latitude-longitude grid of 0.25 degrees.

ERA5 is used as an additional measure of forecasts ‘truth’ because the ML models all used ERA5 as their training data. Hence comparison with ERA5 indicates the skilfulness of these models relative to the best possible forecast given their training data. It is to be expected that the IFS analysis will include smaller-scale and higher amplitude weather features than ERA5 due to the use of a higher resolution model, despite being regridded to the same grid. It is also expected that the IFS analysis will be closer to the “truth” due to the use of higher resolution and an upgraded modelling system.

The datasets used and/or analysed during the current study are available from the corresponding author upon reasonable request.

Apart from the Python packages referenced in the Acknowledgements, the underlying code for this study is not publicly available but may be made available to qualified researchers on reasonable request from the corresponding author.

Received: 2 December 2023; Accepted: 31 March 2024;
Published online: 22 April 2024

We thank the ECMWF labs team for building the publicly available ai-models library which enabled us to produce and compare forecasts from the four ML models. This library can be accessed at https://github.com/ecmwf-lab/aimodels. We also thank the modelling groups who made the code for the ML models publicly available through the following repositories: – FourCastNet https://github.com/NVlabs/FourCastNet. • PanguWeather https://github. com/198808xc/Pangu-Weather. • GraphCast https://github.com/googledeepmind/graphcast. This work is partly based on TIGGE data. TIGGE (The International Grand Global Ensemble) is an initiative of the World Weather Research Programme (WWRP). We are also grateful to ECMWF for providing access to operational analysis products to members of the research team through national research accounts held through the Met Office. The work is partly funded by the UKRI Natural Environment Research Council (UKRINERC) through several grants held by contributors and by the Schmidt Futures Foundation. BH is funded by the UKRI-NERC CANARI programme (NE/ W004984/1). NJH is funded by UKRI-NERC UMBRELLA (NE/X018555/1). KMRH is funded by a UKRI-NERC Independent Research Fellowship (MITRE; NE/W007924/1). RS is funded by UKRI-NERC TerraFIRMA (NE/W004895/1). AV is funded by UKRI-NERC Arctic Summer-time cyclones (NE/T006773/1). SD is funded and supported by the Schmidt Futures Foundation.

A.J.C.P. conceived the analysis and produced ML forecasts and initial characterisation of their performance. S.D., K.M.R.H., R.S. and R.V. contributed to the analysis and description of the ML models. N.J.H. led analysis of the properties of Storm Ciarán and its impacts. H.D., S.G., B.H. and A.V. produced the detailed dynamical analysis of the properties of Storm Ciarán in the forecasts including collecting NWP data and producing all figures. All authors contributed to discussions, writing, proofreading and editing the manuscript. All authors should be considered co-first authors as the work was completed collaboratively. The funders played no role in the study design, data collection, analysis and interpretation of data, or the writing of this manuscript.

The authors declare no competing interests.

Supplementary information The online version contains supplementary material available at https://doi.org/10.1038/s41612-024-00638-w.

Correspondence and requests for materials should be addressed to Andrew J. Charlton-Perez.

Reprints and permissions information is available at http://www.nature.com/reprints

Publisher’s note Springer Nature remains neutral with regard to jurisdictional claims in published maps and institutional affiliations.

Open Access This article is licensed under a Creative Commons Attribution 4.0 International License, which permits use, sharing, adaptation, distribution and reproduction in any medium or format, as long as you give appropriate credit to the original author(s) and the source, provide a link to the Creative Commons licence, and indicate if changes were made. The images or other third party material in this article are included in the article’s Creative Commons licence, unless indicated otherwise in a credit line to the material. If material is not included in the article’s Creative Commons licence and your intended use is not permitted by statutory regulation or exceeds the permitted use, you will need to obtain permission directly from the copyright holder. To view a copy of this licence, visit http://creativecommons.org/licenses/by/4.0/.
© The Author(s) 2024