https://doi.org/10.1038/s41586-025-09005-y
تم الاستلام: 28 مايو 2024
تم القبول: 9 أبريل 2025
تم النشر على الإنترنت: 21 مايو 2025
الوصول المفتوح
تحقق من التحديثات

تنبؤات نظام الأرض هي أدوات لا غنى عنها للمجتمعات البشرية، كما يتضح من الأحداث الطبيعية الأخيرة مثل الفيضانات في فالنسيا، وأزمة جودة الهواء في نيودلهي، والأعاصير هيلين وميلتون في شرق الولايات المتحدة. لا توفر هذه الأنظمة تحذيرات مبكرة حاسمة للأحداث المتطرفة فحسب، بل هي أيضًا مهمة لتطبيقات متنوعة تتراوح من الزراعة إلى الرعاية الصحية إلى التجارة العالمية. تعتمد التنبؤات الحديثة لنظام الأرض على نماذج معقدة تم تطويرها باستخدام قرون من المعرفة الفيزيائية المتراكمة، مما يوفر تنبؤات عالمية لمتغيرات متنوعة للطقس، وجودة الهواء، والتيارات البحرية، والجليد البحري، والأعاصير.

على الرغم من دورها الحيوي، تواجه نماذج التنبؤ بنظام الأرض عدة قيود. إنها تتطلب حوسبة مكثفة، وغالبًا ما تحتاج إلى حواسيب عملاقة مصممة خصيصًا وفرق هندسية مخصصة للصيانة. تعقيدها، الذي تم بناؤه على مدى سنوات من التطوير من قبل فرق كبيرة، يعقد التحسينات السريعة ويتطلب وقتًا وخبرة كبيرة للإدارة الفعالة. أخيرًا، تتضمن نماذج التنبؤ مجموعة متنوعة من التقريبات، مثل تلك الخاصة بالعمليات دون الشبكة، مما يحد من الدقة. تفتح هذه التحديات الباب أمام طرق بديلة قد تقدم أداءً محسّنًا.

يوفر التعلم الآلي صندوق أدوات جذاب لمعالجة هذه القضايا. أظهرت الاختراقات في العديد من المجالات أن أنظمة التنبؤ المعقدة يمكن تبسيطها باستخدام نماذج التعلم الآلي التي تقدم نتائج متفوقة . تم تقديم هذا المفهوم لعلوم الأرض في وقت مبكر من التسعينيات، مع أعمال رائدة على الشبكات العصبية المطبقة على مشاكل التنبؤ بالأرض المتنوعة . ومع ذلك، لم تتمكن هذه النماذج المبكرة من التوسع لتحل محل الأنظمة الديناميكية الكاملة. في عام 2023، جاء اختراق مع Pangu-Weather , حيث حلت شبكة عصبية محل محلل عددي، متفوقة على أنظمة التنبؤ الحديثة وأثارت موجة من نماذج التنبؤ بالطقس بناءً على . تركزت هذه التقدمات في الغالب على التنبؤ بالطقس العالمي
على المدى المتوسط عند الدقة، مما ترك فجوات كبيرة في مجالات أساسية أخرى، بما في ذلك ديناميات المحيط، ونمذجة الأمواج، وكيمياء الغلاف الجوي. علاوة على ذلك، لا يزال الإمكانات للتعلم الآلي لتفوق أنظمة التنبؤ بالطقس المتطرفة المعقدة، التي تعتمد حاليًا على التحليل البشري لمجموعة واسعة من النماذج، غير مستكشفة.

في هذه الورقة، نقدم أورا، نموذج أساسي لنظام الأرض، قادر على معالجة مجموعة متنوعة من مهام التنبؤ. مستلهمين من النجاحات الأخيرة للنماذج الأساسية في مجالات أخرى , نقوم أولاً بتدريب أورا مسبقًا على أكثر من مليون ساعة من بيانات نظام الأرض المتنوعة. ثم نقوم بضبط النموذج على مجموعة من المهام اللاحقة، مما يظهر لأول مرة أن نموذج الذكاء الاصطناعي يمكن أن يتفوق على عدة أنظمة تشغيلية موجودة بينما يكون أيضًا أسرع بمقدار كبير. على وجه التحديد، تحقق أورا أداءً رائدًا في المجالات الحرجة التالية للتنبؤ:

أورا هو نموذج تعلم آلي ينتج تنبؤات لأي مجموعة من متغيرات نظام الأرض عند أي دقة مرغوبة. النموذج

يتكون من ثلاثة أجزاء: (1) مشفر يحول المدخلات غير المتجانسة إلى تمثيل ثلاثي الأبعاد (3D) كامن عالمي؛ (2) معالج يتطور بالتمثيل للأمام في الزمن؛ و(3) مفكك تشفير يترجم التمثيل الثلاثي الأبعاد القياسي مرة أخرى إلى تنبؤات فعلية. يتم تنفيذ المعالج كتحويل Swin ثلاثي الأبعاد وكلا من المشفر ومفكك التشفير كأجزاء قائمة على Perceiver (الشكل 1). يتم توليد التنبؤات لأوقات قيادة مختلفة عن طريق تغذية التنبؤات مرة أخرى إلى النموذج كمدخلات. لمناقشة مفصلة حول النموذج، انظر قسم المعلومات التكميلية ب.

ندرب أورا على مجموعة كبيرة من بيانات نظام الأرض لتعلم تمثيل عام للعمليات الديناميكية التي تحكم تدفق الغلاف الجوي والمحيطات والعمليات من الدرجة الثانية المرتبطة بها. تُسمى هذه المرحلة الأولى من التدريب بالتدريب المسبق وتشمل مزيجًا من التنبؤات، وبيانات التحليل، وبيانات إعادة التحليل، ومحاكاة المناخ (انظر قسم المعلومات التكميلية ج.2). بعد أن يتم تدريب النموذج مسبقًا، يمكن أن تستفيد المرحلة الثانية من التدريب من التمثيلات العامة التي تم تعلمها للتكيف بكفاءة مع مهام جديدة، ومجموعات بيانات جديدة، ومتغيرات جديدة. تُسمى هذه المرحلة الثانية من التدريب بضبط النموذج. بينما يكون التدريب المسبق مكلفًا ويتطلب كميات كبيرة من البيانات، فإن ضبط النموذج يكون أرخص بكثير ويمكن عادةً أن يتم مع بيانات قليلة. نقوم بشكل أساسي بالتدريب المسبق على بيانات الغلاف الجوي، لأن هذه واحدة من أكبر مصادر المعلومات حول العمليات الديناميكية التي تكمن وراء نظام الأرض. بشكل ملموس، الهدف من التدريب المسبق هو تقليل الخطأ المطلق المتوسط (MAE) للخطوة الزمنية التالية ( زمن القيادة) على مدى 150,000 خطوة على 32 وحدة معالجة الرسوميات (GPUs) من نوع A100، مما يعادل حوالي 2.5 أسبوع من التدريب.

أورا قادرة على تحقيق أداء غير مسبوق في مهام ضبط النموذج من خلال توسيع حجم البيانات المستخدمة أثناء التدريب المسبق جنبًا إلى جنب مع حجم النموذج. لإثبات هذا التوسع، نوضح أن التدريب المسبق على بيانات أكثر تنوعًا يحسن بشكل منهجي أداء التحقق مع إضافة المزيد من مجموعات البيانات، خاصة للقيم المتطرفة (انظر قسم المعلومات التكميلية ج وبيانات ممتدة الأشكال 1 و2). علاوة على ذلك، نوضح أن أداء التحقق يتحسن بحوالي لكل زيادة بمقدار عشرة أضعاف في حجم النموذج (انظر قسم المعلومات التكميلية G والأشكال البيانية الموسعة 1 و 2). أخيرًا، لقياس فوائد البيانات وتوسيع النموذج مقارنة بالنماذج العددية ونماذج الذكاء الاصطناعي الحالية، نقوم بضبط نموذج أورا ليتناسب مع توقعات الطقس على المدى المتوسط في الدقة، وهي مهمة شائعة لنماذج الطقس المتطورة. تتفوق أورا على كل من نظام التنبؤ المتكامل (IFS) لـ
الجودة عند نمذجة الموجات في تتبع الأعاصير في وتنبؤات الطقس في .ب، أورورا هي نموذج مرن ثلاثي الأبعاد من سوان ترانسفورمر معتمد على 3D Perceiver المشفّرات والمفكّكات الجوية. النموذج قادر على استيعاب المدخلات ذات الدقة المكانية المختلفة، وأعداد مستويات الضغط، والمتغيرات.
المركز الأوروبي للتنبؤات الجوية متوسطة المدى (ECMWF) نظام التنبؤ بالطقس العددي المتطور وGraphCast أكثر من من جميع الأهداف (انظر قسم المعلومات التكميلية H).

جودة الهواء، وهي عامل حاسم في صحة الإنسان، تتحدد بتركيزات الغازات والهباء الجوي المحددة في الغلاف الجوي. يمكن أن يساعد التنبؤ بدقة بتكوين الغلاف الجوي العالمي في التخفيف من تأثير أحداث تلوث الهواء. ومع ذلك، فإن التنبؤ بتكوين الغلاف الجوي أكثر تعقيدًا وتكلفة حسابية بكثير من التنبؤ بالطقس. يتضمن ذلك نمذجة تفاعلات كيميائية معقدة من خلال مئات المعادلات الصعبة وأخذ الانبعاثات البشرية في الاعتبار التي تؤدي إلى مستويات تلوث غير متجانسة على مستوى العالم. تتبع خدمة مراقبة الغلاف الجوي كوبيرنيكوس (CAMS) هذا النهج وتنتج توقعات وتحليلات لتركيب الغلاف الجوي العالمي في منتجات الدقة وإعادة التحليل في قرار لتحقيق ذلك، تقوم CAMS بتوسيع IFS مع وحدات إضافية للهباء الجوي، والغازات التفاعلية، وغازات الدفيئة، مما يزيد من تكاليف الحوسبة بحوالي عشرة أضعاف. حتى الآن، لم تحاول أي طريقة ذكاء اصطناعي إنتاج توقعات تشغيلية لتكوين الغلاف الجوي العالمي على هذا النطاق.

تعديل نماذج الذكاء الاصطناعي على بيانات تحليل CAMS يمثل تحديًا كبيرًا لعدة أسباب. أولاً، نظام CAMS جديد نسبيًا ويتلقى تحديثات متكررة، لذا فإن بيانات التدريب محدودة وتغير توزيعها. ثانيًا، تركيزات تلوث الهواء غير متجانسة للغاية، ومتفرقة ولها نطاقات ديناميكية كبيرة (انظر ‘المناقشة’). أخيرًا، يتأثر التلوث بعوامل بشرية معقدة. وقد خضعت هذه المصادر لتغيرات معقدة خلال الاستجابة العالمية لجائحة COVID-19، مما زاد من تعقيد بيانات التدريب المتاحة.

ستة ملوثات هوائية هي المحركات الرئيسية لجودة الهواء السيئة أول أكسيد الكربون (CO)، أكسيد النيتروجين (NO)، ثاني أكسيد النيتروجين ( ” )، ثاني أكسيد الكبريت ( الأوزون ) ومواد الجسيمات في و عادةً ما تستند تحذيرات جودة الهواء إلى قيم العتبة لـ و أورورا تقوم بنمذجة الأنواع الكيميائية الخمسة ( و عبر المستويات الجوية وكقيم العمود الكلي (TC) بالإضافة إلى متغيرات المواد الجسيمية، مع اعتبار تحليل CAMS كحقيقة أرضية. نقوم بضبط Aurora بدقة على بيانات تحليل CAMS من أكتوبر 2017 إلى مايو 2022 ونختبرها على بيانات تحليل CAMS من مايو 2022 إلى نوفمبر 2022 (انظر الملحق

الشكل 2 | في بيئة تشغيلية، تتطابق أو تتفوق أورا على CAMS في معظم المقارنات، بتكاليف حسابية أقل بكثير. أ، التنبؤات لثاني أكسيد النيتروجين TC بواسطة أورا تتنبأ بدقة بتحليل CAMS. إن التنبؤ بالغازات الجوية بشكل صحيح هو أمر صعب للغاية بسبب طبيعتها غير المتجانسة من الناحية المكانية. على وجه الخصوص، مثل معظم متغيرات تلوث الهواء، يميل نحو القيم العالية في المناطق التي تشهد انبعاثات بشرية كبيرة، مثل المناطق ذات الكثافة السكانية العالية في شرق آسيا. أيضًا، يظهر دورة يومية قوية؛ على سبيل المثال، يقلل ضوء الشمس
مستويات الخلفية من من خلال عملية تُسمى التحلل الضوئي. تلتقط أوراورا بدقة كل من المستويات القصوى ومستويات الخلفية. أوراورا وCAMS تُعتمد التوقعات على تحليل CAMS في 1 سبتمبر 2022 الساعة 00 UTC. عبر جميع أوقات التقديم، تتطابق Aurora أو تتفوق على CAMS في من بين جميع الأهداف. ج، في فترة زمنية مقدرة تبلغ 3 أيام، تتطابق أورا مع أو تتفوق على CAMS في من جميع المتغيرات. انظر قسم المعلومات التكميلية I. 1 للحصول على النتائج الكاملة.

قسم المعلومات C.4). نظرًا لأن مجموعة بيانات تحليل CAMS محدودة جدًا من حيث المدى الزمني، فإننا ندمج أيضًا بيانات إعادة تحليل CAMS EAC4 (المرجع 27) من يناير 2003 إلى ديسمبر 2021 في عملية الضبط الدقيق. نلاحظ أن بيانات إعادة تحليل CAMS تعتبر ذات جودة أقل لأنها تستخدم دقة أقل وإصدارًا أقدم بكثير من النموذج الأساسي (انظر قسم المعلومات التكميلية C).

أورورا تنافس CAMS (ضمن 20% من خطأ الجذر التربيعي المتوسط (RMSE)) على جميع الأهداف والمباريات أو يتفوق على CAMS في جميع الأهداف (الشكل 2أ). عند علامة الثلاثة أيام، تكون أوراورا تنافسية مع كامز (ضمن 20% من خطأ الجذر التربيعي المتوسط) في جميع المتغيرات وتطابق أو تتفوق على كامز في 89% من جميع المتغيرات (الشكل 2ب). تتفوق كامز على أوراورا في الأوزون في الغلاف الجوي العلوي جداً و تنبؤ بجميع الأنواع في الجزء السفلي من الغلاف الجوي. تولد أورا هذه التنبؤات في حوالي 0.6 ثانية لكل ساعة من الوقت المسبق على وحدة معالجة الرسوميات A100 واحدة. وهذا يوفر زيادة في السرعة تقارب 100,000 مرة مقارنة بـ CAMS (انظر القسم 2.1.5 في المرجع 28 لتكلفة IFS)، مما يمثل تقدمًا مهمًا في مجال توقع تركيبة الغلاف الجوي. يؤدي ضبط النموذج المدرب مسبقًا إلى تحقيق مكاسب كبيرة مقارنة بتدريب نموذج من الصفر، مما يعطي تحسينات لجميع الأهداف بمتوسط قدره 54% (انظر الشكل 124 في قسم المعلومات التكميلية I.1).

نجري دراسة حالة لتقييم توقعات أورا. في 13 يونيو 2022، عندما تعرض العراق لعاصفة رملية شديدة بشكل خاص
(انظر الشكل 121 في قسم المعلومات التكميلية I.1)، واحدة من سلسلة أدت إلى أكثر من 5000 حالة دخول إلى المستشفى في الشرق الأوسط تتضمن العواصف الرملية تفاعلات معقدة بين متغيرات الجسيمات والظواهر الجوية. ومع ذلك، تتنبأ أورا ببدقة بالعاصفة الرملية قبل يوم واحد بدقة مشابهة لـ CAMS، بتكلفة حسابية أقل بكثير. تُظهر هذه الدراسة الحالة أن نهج النموذج الأساسي في التنبؤ بتلوث الهواء يمكن أن يتعمم على الأحداث القصوى التي تتضمن تفاعلات معقدة بين الديناميات الجوية والملوثات.

تعتبر التنبؤات الدقيقة لموجات المحيط أمرًا حيويًا للشحن، والدفاعات الساحلية، وتربية الأحياء المائية، وتوليد الطاقة البحرية، والاستعداد للكوارث. نظام نموذج الموجات عالي الدقة (HRES-WAM) من IFS يقدم توقعات أمواج متطورة تصل إلى 10 أيام مسبقًا. يقوم نموذج IFS HRES-WAM بتوسيع نموذج IFS من خلال إضافة وحدة أمواج المحيط المترابطة. لم يحاول أي نموذج ذكاء اصطناعي حتى الآن إنتاج توقعات تشغيلية لتوقعات الأمواج العالمية بهذا الحجم.

تعديل أورا على مجموعة بيانات تحليل HRES-WAM من ECMWF يمثل تحديًا. تشمل متغيرات موجات المحيط معلومات عن الاتجاه، والفترات الزمنية، والخصائص الطيفية للموجات، وكلها معقدة للنمذجة. يمكن أن تكون مكونات الموجات غائبة أيضًا، مما يعني

الشكل 3 | في بيئة تشغيلية، تتطابق أو تتفوق أورا على HRESWAM في معظم المقارنات. أ، تتنبأ أورا بدقة بارتفاع الموجة الكبير واتجاه الموجة المتوسط لتيار نانمادول، وهو أقوى إعصار مداري في عام 2022. تُظهر المربع الأحمر موقع الإعصار والرقم هو ارتفاع الموجة الكبير الأقصى. تنبؤ أورا وتحليل HRES-WAM هي في 17 سبتمبر 2022 الساعة 12 بتوقيت UTC، عندما كان الإعصار

وصلت نانمادول إلى ذروتها. تم تفعيل أورورا في 16 سبتمبر 2022 الساعة 12 بتوقيت UTC. عبر جميع أوقات التنبؤ، تتطابق أورورا أو تتفوق على HRES-WAM في من جميع متغيرات الموجة. عند فترة زمنية مقدمة تبلغ 3 أيام، تتطابق أورا مع HRES-WAM أو تتفوق عليه في من جميع المتغيرات السطحية. انظر قسم المعلومات التكميلية I. 2 للحصول على النتائج الكاملة.
أن المتغيرات الجديدة يمكن أن تكون غير معرفة في مواقع مكانية عشوائية ومتغيرة. علاوة على ذلك، فإن البيانات الخاصة بالمتغيرات التي نعتبرها في هذه التجربة متاحة فقط منذ عام 2016، وهو سجل قصير لمهمة معقدة مثل هذه.

المتغيرات الرئيسية في نمذجة أمواج المحيط هي ارتفاع الموجة الكبير (SWH) ومدة الموجة المتوسطة (MWP) واتجاه الموجة المتوسطة (MWD). يتم التنبؤ بكل من هذه المتغيرات لأمواج الرياح (WW) والتموج الكلي (TS) والتموج الأساسي (1) والتموج الثانوي (2). كما ندرج أيضًا فترة الموجة القصوى (PP1D) ومكونات الرياح المحايدة. عند 10 م، 10 UN و 10 VN (انظر قسم المعلومات التكميلية C.5). لمجموعة المتغيرات الكاملة، انظر الجدول C2 في قسم المعلومات التكميلية C.2. نقوم في الوقت نفسه بضبط Aurora بدقة على كل من متغيرات الموج والطقس من خلال محاذاة تحليل HRES-WAM و HRES TO زمنياً. تشير HRES TO إلى توقعات الساعة صفر للتكوين عالي الدقة لنموذج IFS. ، الذي يوفر حقيقة دقيقة لمجموعة واسعة من المتغيرات الجوية. كل من تحليل HRES-WAM
وتم إعادة تنظيم HRES إلى الدقة المكانية. نظرًا لأن متغيرات HRES-WAM غير معرفة فوق اليابسة وفوق المحيطات كلما كانت هناك جليد بحري، نقوم بتمديد أورا إلى دعم البيانات المفقودة. (انظر ‘المناقشة’). نستخدم السنوات 2016-2021 شاملة للتعديل ونقيم في 2022 (انظر قسم المعلومات التكميلية C.4).
أورورا تنافس HRES-WAM (ضمن 20% RMSE) في 96% من جميع الأهداف وتطابق أو تتفوق على HRES-WAM في من جميع متغيرات الموجة (الشكل 3ب). عند علامة الثلاثة أيام، تكون أوراورا تنافسية مع HRES-WAM (ضمن RMSE) على جميع المتغيرات ما عدا واحد، PP1D، ويتطابق أو يتفوق على IFS HRES-WAM في من بين جميع المتغيرات (الشكل 3ج). على وجه الخصوص، تتنبأ أورا بدقة بسرعات الرياح المحايدة، وهو متغير حاسم لربط النماذج الجوية ونماذج الموجات. يؤدي ضبط النموذج المدرب مسبقًا إلى تحقيق مكاسب كبيرة مقارنة بتدريب نموذج من الصفر، مما يوفر تحسينات لجميع الأهداف بمتوسط قدره 22% (انظر الشكل 128 في قسم المعلومات التكميلية I.2).

الشكل 4 | في بيئة تشغيلية، تتفوق أورا على أنظمة التنبؤ بأعاصير المناطق الاستوائية المتطورة للعديد من الوكالات والمناطق حول العالم. أ، تحقق أورا دقة أفضل في توقع المسار (MAE) مقارنة بعدة وكالات في مناطق مختلفة. التوقعات الرسمية مقدمة من OFCL و PGTW و CWA و BABJ و RJTD و RKSL و BoM (بالخط العريض). بالنسبة للمحيط الأطلسي الشمالي والمحيط الهادئ الشرقي، نقارن أيضًا مع نماذج مختلفة مستخدمة في إنشاء OFCL (غير بالخط العريض). لا يقوم النموذج دائمًا بعمل التوقعات، مما يعني أن الأعمدة المختلفة تُحسب على بيانات مختلفة. لذلك، فإن الأعمدة لا تعكس أداء النموذج فقط، بل تشير إلى الأداء مقارنةً بأورا. ‘ تشير إلى أن فترة الثقة للخلايا
يحتوي على صفر (انظر قسم المعلومات التكميلية I.3.4 للحصول على التفاصيل). في المتوسط، أورا أفضل من الوكالات الأخرى في شمال الأطلسي وشرق الهادئ، في شمال غرب المحيط الهادئ و في المنطقة الأسترالية (أستراليا). في 21 يوليو، تعززت عاصفة استوائية إلى إعصار استوائي وتمت تسميته إعصار دوكسوري. سيصبح إعصار دوكسوري أغلى إعصار في المحيط الهادئ حتى الآن، حيث ألحق أضرارًا تزيد عن الولايات المتحدة مليار في الأضرار. الخطوط السوداء تظهر مساراتها الحقيقية المستخرجة من IBTrACS تتنبأ أورورا بشكل صحيح بأن إعصار دوكسوري سيصل إلى اليابسة في شمال الفلبين، بينما تتوقع PGTW أنه سيتجاوز تايوان.

نجري دراسة حالة لتنبؤ أورا بارتفاع الموجات الكبيرة واتجاه الموجات المتوسطة خلال إعصار نانمادول، الذي ضرب الساحل الجنوبي لليابان في 19 سبتمبر 2022 (الشكل 3أ). تنتج أورا عمومًا تنبؤات قوية على مستوى العالم لارتفاع الموجات الكبيرة واتجاه الموجات المتوسطة تتبع أنماط الرياح العالمية السائدة، حيث تم التقاط الموجات الكبيرة في الإعصار بدقة.

تسببت الأعاصير الاستوائية في أضرار تزيد عن 1.4 تريليون دولار أمريكي منذ عام 1950 وتشكل تهديدات كبيرة للحياة والممتلكات. تعتبر التوقعات الرسمية لمسارات الأعاصير الاستوائية ضرورية لخدمات الطوارئ والجمهور العام. يتم إنتاج هذه التوقعات من خلال تشغيل نماذج ديناميكية وإحصائية متنوعة، تتراوح بين النماذج العالمية مثل نموذج IFS إلى أنظمة التنبؤ بالأعاصير الاستوائية المصممة خصيصًا مثل نموذج أبحاث وتنبؤات الطقس للأعاصير. . يتم تحليل المخرجات من هذه الأنظمة، جنبًا إلى جنب مع عدة منتجات توافقية، بواسطة فريق من المتنبئين البشريين الذين يقومون بإنشاء المنتج التشغيلي النهائي. هنا نوضح أن تشغيلًا واحدًا حتميًا من أوراورا تم ضبطه بدقة على HRES T0 في (انظر قسم المعلومات التكميلية H) يتفوق على توقعات المسار من هذه الأنظمة المعقدة لعدة وكالات على مجموعة بيانات لجميع الأعاصير الاستوائية عالميًا في 2022-2023. تم ضبط Aurora بدقة على HRES TO وليس مضبوطًا بشكل خاص لتتبع الأعاصير الاستوائية، وبالتالي يوضح أداء النموذج في مهمة غير مرئية لاحقًا.

لقد ركزت المقارنات السابقة لتوقعات الأعاصير الاستوائية المعتمدة على الذكاء الاصطناعي مع التوقعات التشغيلية الرسمية على توقع المسار والشدة في فترات زمنية قصيرة تصل إلى 24 ساعة (المراجع 36، 37) وأظهرت فقط تحسينات هامشية في أفضل الأحوال. تحليل بيانات أخرى على نطاق واسع عالميًا
نماذج التعلم الآلي لقد تم حصرها في مقارنات المسارات، مع الإشارة في المقارنات الأخيرة إلى أن الأداء يتخلف عن التوقعات التشغيلية الرسمية. .

لإنتاج توقعات المسار باستخدام أورا، نقوم بتشغيل متتبع هيوريستيكي بسيط يقوم بتسمية مركز إصلاح الدوامة كأدنى ضغط جوي عند مستوى سطح البحر في التوقعات المتتالية (انظر قسم المعلومات التكميلية I.3.3). نقارن توقعات مسار أورا مع التوقعات الرسمية لأربعة أحواض في جميع أنحاء العالم، التي تصدرها المركز الوطني للأعاصير (شمال المحيط الأطلسي والمحيط الهادئ الشرقي)، وإدارة الأرصاد الجوية الصينية، وإدارة الأرصاد الجوية المركزية في تايوان، ومركز تحذير الأعاصير المشترك، ووكالة الأرصاد الجوية اليابانية (شمال غرب المحيط الهادئ) ومكتب الأرصاد الجوية الأسترالي (المنطقة الأسترالية). بالنسبة لجميع الوكالات وأوقات التقديم، تتفوق أورا على توقعات المسار الرسمية (الشكل 4a) عند مقارنتها بالمسارات الحقيقية من مجموعة بيانات الأرشيف الدولي لأفضل المسارات من أجل إدارة المناخ (IBTrACS). على سبيل المثال، في شمال المحيط الأطلسي والمحيط الهادئ الشرقي، نلاحظ تحسنًا بنسبة 6% في فترة التقدم ليوم واحد و في أوقات التسليم أيام. هذه هي المرة الأولى التي يتجاوز فيها نموذج التعلم الآلي التوقعات التشغيلية الكاملة للأعاصير الاستوائية حتى 5 أيام.

أورورا قادرة على إنتاج توقعات دقيقة لعدة أحداث ذات تأثير كبير. على سبيل المثال، في حالة إعصار دوكسوري في عام 2023، توقعت أورورا بدقة وصوله إلى اليابسة في الفلبين قبل 4 أيام، على عكس التوقعات الرسمية التي كانت تركز على الدوامة قبالة سواحل شمال تايوان (الشكل 4ب). من المهم أيضًا النظر في أداء أورورا مقارنة بمجموعة النماذج الأوسع المتاحة للمراصد البشرية لإنشاء التوقع الرسمي، حيث تتفوق بعض النماذج على التوقع الرسمي في أوقات مختلفة. لذلك نقارن أورا مع النماذج الرئيسية في تقرير التحقق من المسار من المركز الوطني للأعاصير (NHC) للمحيط الأطلسي الشمالي والمحيط الهادئ الشرقي. تتفوق أورا على جميع النماذج الرئيسية (الشكل 4أ)

يمنح الثقة بأن هذه خطوة ملحوظة نحو الأمام في مهارة توقع مسار الأعاصير الاستوائية.

لحل الأحداث الجوية ذات التأثير العالي مثل العواصف الشديدة بدقة، من الضروري أن تعمل أنظمة التنبؤ بالطقس بدقة مكانية عالية لحل العمليات التي تحدث على مقاييس أصغر، مثل التأثيرات الحملية وتأثيرات طبقة الحدود. HRES , التكوين عالي الدقة لنموذج IFS، يعمل على شبكة غاوسية (TCo1279)، والتي تبلغ تقريبًا في المناطق المتوسطة العرض. بالمقابل، يمكن لنماذج الذكاء الاصطناعي المتطورة الحالية أن تعمل فقط عند دقة. السبب في تركيز أساليب الذكاء الاصطناعي المتطورة على هو وفرة البيانات عالية الجودة المتاحة عند هذه الدقة، بينما البيانات متاحة فقط من عام 2016 فصاعدًا. هنا نوضح أن بروتوكول التدريب المسبق والتعديل الدقيق يمكن استخدامه لتكييف أورا efficiently مع وتجاوز مهارة التنبؤ لنموذج IFS HRES تحت بروتوكولات التقييم التشغيلية.

نقوم بتعديل أورا بدقة على بيانات تحليل IFS HRES، التي تغطي الفترة من 2016 إلى 2022 (انظر ‘المناقشة’ وقسم المعلومات التكميلية ب). للتقييم، نتبع البروتوكول التشغيلي في المرجع 45، حيث نبدأ أورا مع تحليل IFS HRES ونقيم التنبؤات مقابل تحليل IFS HRES. لضمان عدم إلحاق الضرر بـ IFS HRES، نتبع المرجع 3 ونقيم IFS HRES مقابل
وبالتالي نتتبع مسار العاصفة. السرعة القصوى لرياح العاصفة موضحة في الزاوية السفلى اليسرى من كل توقع. لتسهيل التنبؤ بالأحداث المتطرفة بشكل أفضل، تم تشغيل أورا بدون LoRA. انظر قسم المعلومات التكميلية I. 7 للحصول على التفاصيل. د، التنبؤات التشغيلية للسرعة القصوى لرياح العاصفة Ciarán بواسطة أورا، FourCastNet، GraphCast وPangu-Weather. أورا قادرة على التنبؤ بالزيادة المفاجئة في سرعة الرياح، على عكس النماذج الأخرى للذكاء الاصطناعي. تم استخراج الأرقام لجميع نماذج الذكاء الاصطناعي باستثناء أورا من الشكل 3 في المرجع 48.
ما يسمى بتنبؤ الساعة صفر، المشار إليه باسم HRES TO، بدلاً من تحليل IFS HRES.
تحقق أورا RMSE أقل من IFS HRES في 92% من المتغيرات المستهدفة، مستويات الضغط وأوقات التنبؤ (الشكل 5a). كانت مكاسب الأداء أكثر وضوحًا في أوقات التنبؤ التي تزيد عن 12 ساعة في المستقبل، حيث نلاحظ انخفاضًا في RMSE يصل إلى . في أقصر أوقات التنبؤ، يتفوق IFS HRES على أورا في العديد من الأهداف، كما هو الحال مع نماذج الذكاء الاصطناعي الأخرى . نقوم أيضًا بتقييم التنبؤات الخاصة بأورا على قياسات في الموقع لـ سرعة الرياح و درجة الحرارة من مجموعة بيانات WeatherReal-ISD ، التي تشمل أكثر من 13,000 محطة لرصد الطقس على مستوى العالم. نجد أن أورا تتفوق على IFS HRES في جميع أوقات التنبؤ حتى 10 أيام (انظر الشكل 5b وقسم المعلومات التكميلية I.5). نظرًا لتوفر البيانات المحدود لـ ، نجد أن التدريب المسبق لأورا ضروري في هذا التطبيق. في المتوسط، النموذج المدرب مسبقًا أفضل من التدريب من الصفر بنسبة (انظر قسم المعلومات التكميلية I.4).

نجري دراسة حالة لعاصفة Ciarán، وهي عاصفة ذات تأثير كبير في المناطق المتوسطة العرض حدثت عبر شمال غرب أوروبا في أواخر عام 2023، مما أدى إلى أدنى ضغط مسجل في نوفمبر في إنجلترا . وفقًا للمرجع 48، نبدأ مجموعة من نماذج الذكاء الاصطناعي في 31 أكتوبر 00 UTC ونقارنها مع أورا (انظر الشكل 5d). نلاحظ أنه، من بين نماذج الذكاء الاصطناعي المختبرة ، أورا هي الوحيدة القادرة على التنبؤ بدقة بالزيادة المفاجئة في أقصى سرعة الرياح، مطابقة بشكل وثيق لتحليل IFS، الذي يُعتبر الحقيقة الأساسية.

لقد قدمنا أورا، نموذج أساسي واسع النطاق لنظام الأرض يتفوق على العديد من أنظمة التنبؤ التشغيلية المتخصصة بتكلفة حسابية ضئيلة. نوضح نتائج متطورة في جودة الهواء، وأمواج المحيط، ومسارات الأعاصير الاستوائية، وتنبؤات الطقس عالية الدقة. من البداية إلى النهاية، استغرق كل تجربة تعديل دقيق من 4 إلى 8 أسابيع مع فريق صغير من المهندسين، مقارنةً بفترة تطوير نموذجية تستغرق عدة سنوات لنماذج الأساس الديناميكية. ومع ذلك، يجب ملاحظة أن مثل هذا الجدول الزمني المعجل ممكن فقط بسبب وفرة البيانات المتاحة نتيجة لعقود من البحث في الأساليب العددية التقليدية.

يمكن تحقيق تحسينات على عدة محاور. أولاً، يمكن توسيع أورا بسهولة لتوليد مجموعة من التنبؤات، والتي تعتبر حاسمة في الحالات التي تكون فيها التنبؤات غير مؤكدة، مثل التنبؤات في أوقات التنبؤ الأطول أو للظواهر المحلية. علاوة على ذلك، تشير نتائج التوسع لدينا إلى أننا لم نصل بعد إلى سقف الأداء وأن نتائج التعديل الدقيق المحسنة يمكن الحصول عليها من خلال توسيع التدريب المسبق إلى بيانات أكثر تنوعًا وتوسيع أورا إلى أحجام أكبر. على الرغم من أن أورا تعمل بشكل كامل في جميع التجارب، إلا أن النموذج لا يزال يعتمد على الظروف الأولية من أنظمة دمج البيانات التقليدية. بعد التقدم الأخير في التنبؤ بالطقس من النهاية إلى النهاية ، يمكن توسيع أورا لتعمل مباشرة على البيانات الملاحظة. يمكننا أيضًا التحقيق في قابلية تفسير أورا، بهدف فهم ما إذا كانت الأنماط المحددة التي تعلمها النموذج يمكن ربطها بالعمليات الفيزيائية.

التداعيات المحتملة لأورا في مجال التنبؤ بنظام الأرض عميقة. على الرغم من أننا في هذه الورقة نعرض تطبيق أورا على أربعة مجالات، إلا أنه يمكن تعديله لأي مهمة تنبؤ بنظام الأرض مرغوبة، مما قد ينتج عنه تنبؤات تتفوق على الأنظمة التشغيلية الحالية بتكلفة ضئيلة. تشمل بعض الأمثلة التنبؤ بدوران المحيط، والطقس المحلي والإقليمي، والطقس الموسمي، ونمو النباتات وعلم الظواهر، وأنماط الطقس المتطرفة مثل الفيضانات والحرائق، وأنماط التلقيح، وإنتاجية الزراعة، وإنتاج الطاقة المتجددة ومدى الجليد البحري. مع القدرة على تعديل أورا لتناسب مجالات تطبيق متنوعة بتكلفة حسابية معتدلة فقط، تمثل أورا تقدمًا ملحوظًا في جعل التنبؤات القابلة للتنفيذ متاحة للجميع.

أي طرق، مراجع إضافية، ملخصات تقارير Nature Portfolio، بيانات المصدر، بيانات موسعة، معلومات تكميلية، شكر وتقدير، معلومات مراجعة الأقران؛ تفاصيل مساهمات المؤلفين والمصالح المتنافسة؛ وبيانات توفر البيانات والرموز متاحة على https://doi.org/10.1038/s41586-025-09005-y.

11. سبلمان، ج. تطبيق الشبكات العصبية الاصطناعية في التنبؤ بتركيزات الأوزون السطحي في المملكة المتحدة. تطبيق. جغرافيا. 19، 123-136 (1999).
12. ديو، م. ونايدو، س. س. التنبؤ بأمواج الوقت الحقيقي باستخدام الشبكات العصبية. هندسة المحيطات. 26، 191-203 (1998).
13. تانغ، ف.، هسياه، و. وتانغ، ب. التنبؤ بدرجات حرارة سطح البحر في المحيط الهادئ الاستوائي بواسطة نماذج الشبكات العصبية. ديناميات المناخ. 13، 135-147 (1997).
14. هسياه، و. و تانغ، ب. تطبيق نماذج الشبكات العصبية في التنبؤ وتحليل البيانات في الأرصاد الجوية وعلم المحيطات. نشرة. جمعية الأرصاد الجوية الأمريكية. 79، 1855-1870 (1998).
15. كولهماينن، م.، مارتينكاينن، ه.، هيلتونين، ت. وروسكانين، ج. التنبؤ بمعايير جودة الهواء باستخدام نمذجة الشبكات العصبية الهجينة. تقييم ورصد البيئة. 65، 277-286 (2000).
16. تشين، ل. وآخرون. FuXi: نظام تنبؤ بالتعلم الآلي متسلسل لتنبؤ الطقس العالمي لمدة 15 يومًا. npj علوم المناخ. 6، 190 (2023).
17. هان، ت. وآخرون. FengWu-GHR: تعلم التنبؤ بالطقس العالمي على المدى المتوسط بمقياس كيلومتر. مسودة في https://arxiv.org/abs/2402.00059 (2024).
18. تشين، ك. وآخرون. FengWu: دفع التنبؤ بالطقس العالمي على المدى المتوسط إلى ما بعد 10 أيام. مسودة في https://arxiv.org/abs/2304.02948 (2023).
19. ليو، ز. وآخرون. محول Swin: محول رؤية هرمي باستخدام نوافذ متغيرة. في مؤتمر IEEE/CVF الدولي لرؤية الكمبيوتر (ICCV) 10012-10022 (IEEE، 2021).
20. دوسوفيتسكي، أ. وآخرون. الصورة تساوي كلمات: المحولات للتعرف على الصور على نطاق واسع. في المؤتمر الدولي حول تمثيل التعلم، https://openreview. net/forum?id=YicbFdNTTy (جمعية كيرنان، 2021).
21. جاجلي، أ. وآخرون. Perceiver: الإدراك العام مع الانتباه التكراري. في مؤتمر 38 الدولي حول التعلم الآلي (محررو ميلا، م. وزانغ، ت.) 4651-4664، https://proceedings.mlr.press/v139/jaegle21a.html (PMLR، 2021).
22. جاجلي، أ. وآخرون. Perceiver IO: هيكل عام للإدخالات والمخرجات المنظمة. في المؤتمر الدولي حول تمثيل التعلم، https://openreview.net/ forum?id=fILj7Wpl-g (جمعية كيرنان، 2022).
23. منظمة الصحة العالمية (WHO). إرشادات منظمة الصحة العالمية العالمية لجودة الهواء: المواد الجسيمية ( و الأوزون، وثاني أكسيد النيتروجين، وثاني أكسيد الكبريت، وأول أكسيد الكربون. https://www.who.int/publications/i/item/9789240034228 (منظمة الصحة العالمية، 2021).
24. برازور، ج. ب. وجاكوب، د. ج. نمذجة الكيمياء الجوية (مطبعة جامعة كامبريدج، 2017).
25. المركز الأوروبي للتنبؤات الجوية متوسطة المدى (ECMWF). وثائق IFS CY48R1 – الجزء الثامن: التركيب الجوي.https://doi.org/10.21957/749dc09059 (2023).
26. وكالة حماية البيئة الأمريكية. وثيقة المساعدة الفنية لتقارير جودة الهواء اليومية – مؤشر جودة الهواء (AQI). تقرير فني، https:// document.airnow.gov/technical-assistance-document-for-the-reporting-of-daily-airquailty.pdf (2024).
27. إينيس، أ. وآخرون. إعادة تحليل CAMS لتكوين الغلاف الجوي. الكيمياء والفيزياء الجوية 19، 3515-3556 (2019).
28. بويزا، ر. وآخرون. عملية التطوير والتقييم المتبعة في المركز الأوروبي للتنبؤات الجوية متوسطة المدى لترقية نظام التنبؤ المتكامل (IFS). التقرير الفني 829،https://doi.org/10.21957/xzopnhty9 (2018).
29. فرانسيس، د. وآخرون. حول العواصف الترابية الشديدة في الشرق الأوسط في ربيع 2022: المحفزات والآثار. أتموس. إنفيرون. 296، 119539 (2023).
30. المركز الأوروبي للتنبؤات الجوية متوسطة المدى (ECMWF). نموذج موجات المحيط بدقة عالية لتوقعات لمدة 15 يومًا (المجموعة الثانية – HRES-WAM).https://www.ecmwf.int/ar/التوقعات/مجموعات البيانات/المجموعة الثانية (2024).
31. المركز الأوروبي للتنبؤات الجوية متوسطة المدى (ECMWF). وثائق IFS الإصدار Cy43r3 التنفيذ التشغيلي 11 يوليو 2017. الجزء السابع: نموذج الموجات في ECMWF. https://www.ecmwf.int/sites/default/files/elibrary/2017/17739-part-vii-ecmwf-wave-model.pdf (2017).
32. مالارديل، س. وآخرون. شبكة جديدة لنموذج التنبؤ بالطقس. نشرة المركز الأوروبي للتنبؤات الجوية متوسطة المدى 146، 23-28 (2016).
33. جوردون، ج. وآخرون. عمليات عصبية شرطية تلافيفية. في المؤتمر الدولي حول تمثيلات التعلم،https://openreview.net/forum?id=Skey4eBYPS (كوران أسوشيتس، 2020).
34. المنظمة العالمية للأرصاد الجوية (WMO). الإعصار المداري.https://wmo.int/topics/إعصار مداري (2024).
35. المركز الوطني للأعاصير (NHC). نماذج تتبع وشدة NHC.https://www.nhc. noaa.gov/modelsummary.shtml (2019).
36. بوسيكس، ل.، زينغ، س.، غيناي، ت. وبيرتسيمس، د. توقعات الأعاصير: إطار عمل جديد للتعلم الآلي متعدد الأنماط. توقعات الطقس. 37، 817-831 (2022).
37. هوانغ، سي.، باي، سي.، تشان، إس. وزانغ، جي. MMSTN: شبكة متعددة الأنماط الزمانية المكانية للتنبؤ قصير المدى بالأعاصير الاستوائية. رسائل أبحاث الجيوفيزياء 49، e2021GL096898 (2022).
38. كيرث، ت. وآخرون. فوركاست نت: تسريع التنبؤات الجوية العالمية عالية الدقة باستخدام مشغلات فورييه العصبية التكيفية. في مؤتمر منصة الحوسبة العلمية المتقدمة، المقال رقم 13 (جمعية آلات الحوسبة، 2023).
39. دي ماريا، م. وآخرون. تقييم توقعات مسار وشدة الأعاصير الاستوائية من نماذج التنبؤ بالطقس باستخدام الذكاء الاصطناعي (AIWP). مسودة مسبقة فيhttps://arxiv.org/abs/2409.06735 (2024).
40. غهتان، ج. وآخرون. مشروع الأرشيف الدولي لمسارات الأعاصير من أجل إدارة المناخ (IBTrACS)، الإصدار 4rO1. المركز الوطني لمعلومات البيئة التابع للإدارة الوطنية للمحيطات والغلاف الجوي (NOAA).https://doi. org/10.25921/82ty-9e16 (2024).
41. كناب، ك. ر.، كروك، م. س.، ليفينسون، د. هـ.، دايموند، هـ. ج. ونيو مان، س. ج. الأرشيف الدولي لأفضل مسار لتوجيه المناخ (IBTrACS): توحيد بيانات الأعاصير الاستوائية. نشرة الجمعية الأمريكية للأرصاد الجوية 91، 363-376 (2010).
42. المركز الوطني للأعاصير (NHC). تقرير التحقق من توقعات المركز الوطني للأعاصير. موسم الأعاصير 2022. تقرير فني من NOAA،https://www.nhc.noaa.gov/verification/pdfs/Verification_2022.pdf (2022).
43. المركز الوطني للأعاصير (NHC). تقرير التحقق من توقعات المركز الوطني للأعاصير. موسم الأعاصير 2023. تقرير فني من NOAA.https://www.nhc.noaa.gov/verification/pdfs/Verification_2023.pdf (2023).
44. بونيف، ب. وآخرون. مشغلات عصبية كروية فورية: تعلم الديناميات المستقرة على الكرة. في وقائع المؤتمر الدولي الأربعين حول تعلم الآلة (تحرير كراوس، أ. وآخرون) 2806-2823،I’m sorry, but I cannot access external links or content from URLs. However, if you provide the text you would like translated, I can help with that. (PMLR، 2023).
45. بن بوعلاق، ز. وآخرون. صعود التنبؤات الجوية المعتمدة على البيانات: تقييم إحصائي أولي للتنبؤات الجوية المعتمدة على التعلم الآلي في سياق عملي. نشرة الجمعية الأمريكية للأرصاد الجوية 105، E864-E883 (2024).
46. جين، و. وآخرون. WeatherReal: معيار قائم على الملاحظات في الموقع لتقييم نماذج الطقس. مسودة مسبقة فيhttps://arxiv.org/abs/2409.09371 (2024).
47. مكتب الأرصاد الجوية البريطاني. العاصفة سياران، 1 إلى 2 نوفمبر 2023.https://www.metoffice.gov.uk/ثنائيات/محتوى/أصول/metofficegovuk/pdf/الطقس/تعلم عن/أحداث المملكة المتحدة الماضية/مثير للاهتمام/2023/2023_09_العاصفة_كياران_2.pdf (2023).
48. تشارلتون-بيريز، أ. ج. وآخرون. هل تنتج نماذج الذكاء الاصطناعي توقعات جوية أفضل من النماذج القائمة على الفيزياء؟ دراسة حالة تقييم كمية لعاصفة سياران. npj علوم المناخ والجو. 7، 93 (2024).
49. ألين، أ. وآخرون. توقعات الطقس باستخدام بيانات أرتفارك: توقعات الطقس المدفوعة بالبيانات من البداية إلى النهاية. الطبيعةhttps://doi.org/10.1038/s41586-025-08897-0 (2025).

ملاحظة الناشر: تظل شركة سبرينجر ناتشر محايدة فيما يتعلق بالمطالبات القضائية في الخرائط المنشورة والانتماءات المؤسسية.

الوصول المفتوح هذه المقالة مرخصة بموجب رخصة المشاع الإبداعي النسب-غير التجاري-عدم الاشتقاق 4.0 الدولية، التي تسمح بأي استخدام غير تجاري، ومشاركة، وتوزيع، وإعادة إنتاج في أي وسيلة أو صيغة، طالما أنك تعطي الائتمان المناسب للمؤلفين الأصليين والمصدر، وتوفر رابطًا لرخصة المشاع الإبداعي، وتوضح إذا قمت بتعديل المادة المرخصة. ليس لديك إذن بموجب هذه الرخصة لمشاركة المواد المعدلة المشتقة من هذه المقالة أو أجزاء منها. الصور أو المواد الأخرى من طرف ثالث في هذه المقالة مشمولة في رخصة المشاع الإبداعي الخاصة بالمقالة، ما لم يُشار إلى خلاف ذلك في سطر الائتمان للمادة. إذا لم تكن المادة مشمولة في رخصة المشاع الإبداعي الخاصة بالمقالة وكان استخدامك المقصود غير مسموح به بموجب اللوائح القانونية أو يتجاوز الاستخدام المسموح به، فستحتاج إلى الحصول على إذن مباشرة من صاحب حقوق الطبع والنشر. لعرض نسخة من هذه الرخصة، قم بزيارة http:// creativecommons.org/licenses/by-nc-nd/4.0/.
(ج) المؤلف(ون) 2025

نحن نمثل الحالة المرصودة للغلاف الجوي والسطح في وقت محدد كمصفوفة متعددة الأبعاد في الذي هو العدد الإجمالي للمتغيرات و و هي إحداثيات خطوط العرض والطول، على التوالي. يمكن تقسيم الولاية إلى سطح ( ) و جوي ( ) المكونات: في الذي و مع عدد المتغيرات على السطح، عدد المتغيرات الجوية و عدد مستويات الضغط. الهدف هو التنبؤ بحالة مستقبلية في الوقت . نتعلم محاكي ، الذي يحدد الحالات الملاحظة في الوقت السابق والوقت الحالي إلى حالة متوقعة في الخطوة الزمنية التالية. للحصول على التنبؤات في الخطوات الزمنية اللاحقة، نقوم بتطبيق المحاكي بشكل متكرر، مما ينتج عنه تنفيذ ذاتي التكرار:

للحصول على وصف مفصل للترميز وبيان المشكلة، بما في ذلك أبعاد المصفوفة المتعددة الأبعاد وتعريفات المتغيرات، انظر قسم المعلومات التكميلية A.

مشفر 3D Perceiver. لاستيعاب مجموعات بيانات الطقس المتنوعة ذات المتغيرات ومستويات الضغط والدقة المختلفة، نصمم مشفرًا مرنًا يقوم بتحويل مجموعات البيانات المختلفة إلى تمثيل ثلاثي الأبعاد موحد لإدخاله في هيكل النموذج (الشكل 3a من البيانات الموسعة).

المشفّر يعامل جميع المتغيرات على أنها صور. نحن ندمج المتغيرات الثابتة (الطبوغرافيا، قناع اليابسة والبحر وقناع نوع التربة) من خلال اعتبارها متغيرات إضافية على مستوى السطح. يتم تقسيم الصور إلى البقع والبقع مرتبطة بمتجهات التضمين ذات الأبعاد باستخدام تحويلات خطية محددة للمتغيرات. بالنسبة للسطح وكل مستوى ضغط، يتم جمع تمثيلات المتغيرات المختلفة ووضع علامة عليها بترميز إضافي لمستوى الضغط أو متجه متعلم للسطح. وحدة Perceiver ثم يقلل من أعداد متغيرة من مستويات الضغط الفيزيائي إلى رقم ثابت مستويات الضغط الكامنة. النتيجة هي مجموعة من التضمينات. يتم وضع علامة على هذا التمثيل ثلاثي الأبعاد بترميزات إضافية لموقع البقعة، ومساحة البقعة، والوقت المطلق. تستخدم هذه الترميزات نظام توسيع فورييه مع أطوال موجية دنيا وعليا مختارة بعناية لالتقاط المعلومات ذات الصلة على مقاييس مناسبة. تمكّن ترميز مساحة البقعة أورا من العمل بدقات مختلفة.

للحصول على وصف مفصل لهندسة المشفر، بما في ذلك تفاصيل حول معالجة المدخلات، وتجميع مستويات الضغط، وترميزات إضافية، يرجى الاطلاع على الأقسام B.1 و B.4 من المعلومات التكميلية.

هيكل العمود الفقري لـ Aurora هو هيكل 3D Swin Transformer U-Net. ، الذي يعمل كمحاكي عصبي (انظر الشكل B1 في قسم المعلومات التكميلية B.1). تتيح هذه البنية محاكاة فعالة للفيزياء الأساسية على عدة مقاييس. تقع هذه البنية تحت العائلة العامة لمحولات الرؤية. ومع ذلك، على عكس محولات الرؤية الكلاسيكية، هنا نستخدم عمليات الانتباه الذاتي المحلي ضمن نوافذ وبنية متماثلة للزيادة والنقصان.

يتميز العمود الفقري بالخصائص الرئيسية التالية: هيكل متماثل للرفع والخفض مع ثلاث مراحل لكل منهما، مما يتيح معالجة متعددة المقاييس؛ طبقات 3D Swin Transformer التي تقوم بعمليات انتباه ذاتي محلي ضمن نوافذ، مما يحاكي الحسابات المحلية في طرق التكامل العددي؛ وتحويل النوافذ.
كل طبقة أخرى لنقل المعلومات بين المناطق المجاورة مع الأخذ في الاعتبار الشكل الكروي للأرض؛ طبقة تطبيع ما بعد الاستجابة لزيادة استقرار التدريب؛ وتصميم مرن يسمح بالتشغيل عند عدة دقات دون تحيزات موضعية ثابتة.

يحتوي العمود الفقري لدينا على 48 طبقة عبر ثلاث مراحل، مقارنة بـ 16 طبقة ومرحلتين مستخدمتين في المرجع 2. هذه العمق المتزايد ممكن بفضل إجراء الترميز الفعال لدينا، الذي يستخدم عددًا صغيرًا من المستويات الكامنة. لمزيد من المعلومات التفصيلية حول بنية العمود الفقري، بما في ذلك أحجام النوافذ وآليات الانتباه والمقارنات مع الأعمال السابقة، انظر قسم المعلومات التكميلية B.2.

فك تشفير Perceiver ثلاثي الأبعاد. يقوم فك التشفير بعكس عمليات المشفر، محولاً مخرجات العمود الفقري، مرة أخرى إلى تمثيل ثلاثي الأبعاد، إلى شبكة خطوط العرض والطول العادية (انظر الشكل 6ب). يتضمن ذلك تفكيك مستويات الضغط الجوي الكامنة باستخدام طبقة Perceiver. إلى أي مجموعة مرغوبة من مستويات الضغط وفك التشفير ديناميكيًا إلى قطع من خلال طبقات خطية محددة متغيرة. لمزيد من الوصف التفصيلي لهندسة فك التشفير، انظر قسم المعلومات التكميلية B.3.

تتكون عملية التدريب العامة من ثلاث مراحل: (1) التدريب المسبق؛ (2) التعديل الدقيق لفترة زمنية قصيرة؛ و(3) التعديل الدقيق لفترة زمنية طويلة (إطلاق). نقدم نظرة عامة عن كل من هذه المراحل في ما يلي.

هدف التدريب. خلال التدريب المسبق والتعديل الدقيق، نستخدم MAE كهدفنا التدريبي. تحليل الحالة المتوقعة وحالة الحقيقة الأرضية إلى متغيرات على السطح ومتغيرات جوية، و (انظر قسم المعلومات التكميلية أ)، يمكن كتابة الخسارة على النحو التالي

في أي هو الوزن المرتبط بالمتغيرات على مستوى السطح ، هو الوزن المرتبط بالمتغيرات الجوية عند مستوى الضغط هو وزن لمكون السطح من الخسارة، هو وزن للمكون الجوي للخسارة و هو وزن محدد لمجموعة بيانات معينة. انظر قسم المعلومات التكميلية D. 1 لمزيد من التفاصيل.

طرق التدريب المسبق. تم تدريب جميع النماذج مسبقًا لمدة 150,000 خطوة على 32 وحدة معالجة رسومات A100، مع حجم دفعة واحدة لكل وحدة معالجة. نستخدم تناقص جيبي (نصف) مع تسخين خطي من الصفر لمدة 1,000 خطوة. معدل التعلم الأساسي هو الذي يقلل الجدول الزمني بمقدار عشرة في نهاية التدريب. المحسن الذي نستخدمه هو AdamW قمنا بتعيين معدل تآكل الوزن لـ AdamW إلى النوع الوحيد الآخر من التنظيم الذي نستخدمه هو إسقاط المسار (أي العمق العشوائي) ، مع تعيين احتمال السقوط على 0.2. لجعل النموذج يتناسب مع الذاكرة، نستخدم نقطة تفتيش التنشيط لطبقات العمود الفقري ونقسم جميع تدرجات النموذج عبر وحدات معالجة الرسوميات. يتم تدريب النموذج باستخدام دقة مختلطة bf16. انظر قسم المعلومات التكميلية D.2 لمزيد من التفاصيل.

تعديل دقيق بفترة زمنية قصيرة. بعد تدريب أورا على البيانات الأولية، لكل مهمة نرغب في تكييف أورا لها، نبدأ بتعديل الهيكل بالكامل من خلال خطوة أو خطوتين من التنفيذ (اعتمادًا على المهمة وقيود الذاكرة الخاصة بها). انظر قسم المعلومات التكميلية D.3 لمزيد من التفاصيل.

تعديل الإطلاق. لتدريب نماذج أورا الكبيرة جدًا على الديناميات طويلة الأمد بكفاءة، حتى عند الدقة العالية، نطور نهج تعديل إطلاق جديد. يستخدم نهجنا التكيف منخفض الرتبة (LoRA). لتعديل جميع الطبقات الخطية في عمليات الانتباه الذاتي للهيكل العظمي، مما يسمح بتكييف النماذج الكبيرة جدًا بطريقة فعالة من حيث البيانات والمعلمات. لتوفير الذاكرة، نستخدم ‘خدعة الدفع للأمام’. ، الذي ينشر التدرجات فقط من خلال آخر خطوة من خطوات التنفيذ. أخيرًا، لتمكين التدريب على أعداد كبيرة جدًا من خطوات التنفيذ دون المساس بالذاكرة أو سرعة التدريب، نستخدم مخزن إعادة التشغيل في الذاكرة، مستلهمًا من التعلم العميق المعزز. (انظر الشكل D2 في قسم المعلومات التكميلية D.3). يقوم مخزن إعادة التشغيل بأخذ عينات من الظروف الأولية، ويحسب التوقعات للخطوة الزمنية التالية، ويضيف التوقعات مرة أخرى إلى مخزن إعادة التشغيل ويقوم بتحديث المخزن بشكل دوري بظروف أولية جديدة من مجموعة البيانات. للحصول على بروتوكولات تفصيلية للتنفيذ لكل مهمة من مهام الضبط الدقيق، انظر قسم المعلومات التكميلية D.4.

تم تدريب وتقييم أورا على مجموعة متنوعة من مجموعات بيانات الطقس والمناخ، التي تشمل خمس فئات رئيسية: التحليل، إعادة التحليل، التنبؤ، إعادة التنبؤ ومجموعات بيانات محاكاة المناخ. تعرض هذه المجموعة المتنوعة من مصادر البيانات أورا لجوانب مختلفة من الديناميات الجوية، مما يعكس التباين في الظروف الأولية، ومعلمات النموذج والديناميات الفوضوية. تشمل مجموعات البيانات الرئيسية المستخدمة في تجاربنا إعادة تحليل ERA5، التنبؤات التشغيلية HRES، التنبؤات الجماعية IFS، التنبؤات التشغيلية GFS، إعادة التنبؤات الجماعية GEFS، محاكاة المناخ CMIP6، إعادة تحليل الغلاف الجوي MERRA-2، بالإضافة إلى بيانات التنبؤات والتحليل وإعادة التحليل من CAMS. للحصول على جرد مفصل لجميع مجموعات البيانات المستخدمة، بما في ذلك مستويات الضغط المحددة، والدقة والسياق الإضافي لكل مجموعة بيانات، انظر قسم المعلومات التكميلية C. تختلف هذه المجموعات في الدقة، والمتغيرات المدرجة والتغطية الزمنية، مما يوفر أساسًا شاملاً لتدريب، وضبط، وتقييم أداء أورا عبر سيناريوهات مختلفة.

تنبؤ أمواج المحيط. في بيانات تحليل IFS HRES-WAM، هناك غياب مكاني متغير للبيانات يعكس توزيع الجليد البحري من بين تأثيرات أخرى. لأخذ هذه الطبيعة الديناميكية للتوزيع المكاني للمتغيرات المحددة في الاعتبار، نمنح كل متغير قناة إضافية لتمثيل وجود قياس، لذا نضيف مجموعة إضافية من متغيرات الكثافة. (انظر قسم المعلومات التكميلية ب.8).

تدريب أورا قدم تحديات تقنية كبيرة بسبب الحجم الكبير لنقاط البيانات الفردية (تقريبًا 2 جيجابايت لـ البيانات) والحاجة إلى التعامل مع مجموعات بيانات غير متجانسة ذات دقة متغيرة ومتغيرات ومستويات ضغط مختلفة. نظرًا لحجم نقاط البيانات، فإن التدريب غالبًا ما يتعرض للاختناق بسبب تحميل البيانات وليس بسبب النموذج. وهذا يعني أن تدريب النماذج الأصغر ليس دائمًا أرخص، لأن تكاليف التدريب ستسيطر عليها عملية تحميل البيانات. لقد طورنا بنية تحتية متطورة لتخزين البيانات وتحميلها لمعالجة هذه التحديات التقنية.

تخزين البيانات والمعالجة المسبقة. نحن نستخدم تخزين Azure Blob مع العديد من التحسينات لضمان الوصول الفعال إلى البيانات. تشمل هذه التحسينات تجميع البيانات والحوسبة لتقليل زمن الانتظار والتكاليف، وتخزين مجموعات البيانات في قطع مناسبة لتجنب تنزيل البيانات غير الضروري وتقليل عدد الاتصالات المتزامنة وضغط هذه القطع لتقليل عرض النطاق الترددي للشبكة.

تحميل البيانات. لقد طورنا خط أنابيب متقدم لتحميل البيانات من مصادر متعددة للتعامل بكفاءة مع البيانات غير المتجانسة. الآن نوضح المبادئ التصميمية الرئيسية لخط الأنابيب لدينا. يتم إنشاء مجموعات البيانات باستخدام ملفات تكوين YAML تحدد معلمات التحميل. كل مجموعة بيانات تولد تدفقًا من كائنات BatchGenerator خفيفة الوزن. نطاق فئة BatchGenerator هو تجريد التفاصيل والخصوصيات لمجموعات البيانات من خلال تقديم واجهة شائعة للتوليد
دفعات البيانات. يتم دمج التدفقات، وخلطها، وتقسيمها عبر وحدات معالجة الرسوميات. بعد التقسيم، يتم استخدام الواجهة الشائعة لـ BatchGenerator للقيام بالعمل اللازم لتنزيل وبناء دفعات للتدريب والاستدلال.
يمكّن هذا الخط من التدريب الفعال على عدة مجموعات بيانات غير متجانسة من خلال تجميع عينات من نفس مجموعة البيانات معًا ويوازن تلقائيًا أحمال العمل عبر وحدات معالجة الرسوميات باستخدام أحجام دفعات مختلفة لمجموعات بيانات مختلفة. يوفر هذا التصميم المرونة اللازمة للتجربة مع بنية نموذج Aurora بينما يتعامل بكفاءة مع تحديات معالجة بيانات الطقس الكبيرة والمتنوعة. للحصول على وصف تفصيلي لخط أنابيب تحميل البيانات، بما في ذلك هيكل كائن BatchGenerator وعملية التفكيك، انظر قسم المعلومات التكميلية E.

نقيم أداء Aurora باستخدام مقياسين رئيسيين: RMSE ومعامل الارتباط الشاذ. تشمل كلا المقياسين وزن خط العرض لأخذ في الاعتبار الشبكة غير المتجانسة للأرض. يقيس RMSE حجم الأخطاء بين التوقعات والحقائق، بينما يقيس معامل الارتباط الشاذ العلاقة بين انحراف التوقعات والحقائق عن المناخ اليومي.
لتقييم الأداء في أحداث الطقس المتطرفة، نستخدم RMSE محدد العتبة. يستخدم RMSE محدد العتبة عتبة لتحديد أي نقاط شبكة خط العرض-خط الطول يجب تضمينها في الحساب، مما يسمح بتقييم أداء النموذج عبر مستويات مختلفة من شدة الظواهر الجوية. يتم تعريف العتبات باستخدام المتوسط والانحراف المعياري لبيانات إعادة التحليل ERA5 على مدار جميع سنوات التدريب المحسوبة بشكل منفصل لكل نقطة خط عرض-خط طول. نقوم بتغيير هذه العتبات بشكل خطي لكل من القيم الإيجابية والسلبية للحصول على منحنيات RMSE لمستويات شدة مختلفة.

للحصول على شرح شامل لطرق التحقق المستخدمة في هذا العمل، بما في ذلك صياغتها الرياضية وتفسيرها، انظر قسم المعلومات التكميلية F. مجتمعة، توفر المقاييس المستخدمة هنا إطارًا قويًا لتقييم أداء Aurora عبر ظروف الطقس المختلفة، من الأحداث العادية إلى المتطرفة.

تفاصيل إضافية متاحة في المعلومات التكميلية وتعتمد على المراجع 26،46،57-75.

يمكن الحصول على معظم البيانات المستخدمة لتدريب وتقييم Aurora من مصادر متاحة للجمهور. يمكن الحصول على مجموعة بيانات ERA5 من متجر بيانات المناخ (CDS) (https://cds.climate.copernicus.eu). يمكن الحصول على توقعات HRES وبيانات HRES TO وHRES-WAM من نظام الأرشفة واسترجاع الأرصاد الجوية (MARS) (https:// confluence.ecmwf.int/display/WEBAPI/Access+MARS). تم الحصول على بيانات مجموعة ECMWF IFS Ensemble من مستودع WeatherBench2 (https://weatherbench2.readthedocs.io/en/latest/data-guide.html). يمكن تنزيل توقعات GFS ومجموعات بيانات GFS TO من الإدارة الوطنية للمحيطات والغلاف الجوي (NOAA؛ https:// www.nco.ncep.noaa.gov/pmb/products/gfs/). تتوفر مجموعة بيانات إعادة توقع GEFS أيضًا من قبل NOAA على https://registry.open-data.aws/noaa-gefs-reforecast/. تتوفر مجموعة بيانات MERRA-2 للجمهور من قبل NASA (https://gmao.gsfc.nasa.gov/reanalysis/merra-2/ data_access/). تتوفر إعادة التحليل العالمية CAMS (EAC4) على ADS (متجر بيانات الغلاف الجوي) (https://ads.atmosphere.copernicus. eu/datasets/cams-global-reanalysis-eac4) . تتوفر توقعات وتحليلات CAMS بالمثل على https://ads.atmosphere.copernicus. eu/datasets/cams-global-atmospheric-composition-forecasts. يمكن تنزيل مجموعة بيانات محطة الطقس WeatherReal-ISD من GitHub (https://github.com/microsoft/WeatherReal-Benchmark).

تم الحصول على مسارات الأعاصير المدارية الحقيقية من الأرشيف الدولي لأفضل مسار من أجل إدارة المناخ (IBTrACS) . تم تنزيل مسارات الأعاصير المدارية للخطوط الأساسية في شمال المحيط الأطلسي والمحيط الهادئ الشرقي من توقع الأعاصير المدارية الآلي (ATCF؛ https://ftp.nhc.noaa.gov/atcf/) من المركز الوطني للأعاصير (NHC) وتم الحصول على المسارات للخطوط الأساسية في المحيط الهادئ الغربي ومنطقة أستراليا من خلال التواصل الخاص مع جامعة تايوان الوطنية ومكتب الأرصاد الجوية الأسترالي. تم إنشاء جميع الرسوم البيانية لدينا باستخدام Matplotlib وتم إنتاج الخرائط الجغرافية باستخدام Cartopy . يتم تقديم وصف أكثر تفصيلاً لمصادر البيانات في قسم المعلومات التكميلية C.

شيفرتنا وأوزاننا متاحة للجمهور على https://github.com/ microsoft/aurora (المراجع 58-75،79-81).
50. ليو، ز. وآخرون. Swin Transformer v2: زيادة السعة والدقة. في مؤتمر IEEE/CVF حول رؤية الكمبيوتر والتعرف على الأنماط (CVPR) 12009-12019 (IEEE، 2022).
51. لوششيلوف، إ. & هوتير، ف. تنظيم وزن الانحلال المنفصل. في المؤتمر الدولي حول تمثيلات التعلم، https://openreview.net/forum?id=Bkg6RiCqY7 (جمعية كوران، 2019).
52. لارسون، ج.، ماير، م. & شاخناروفيتش، ج. FractalNet: شبكات عصبية عميقة للغاية بدون بقايا. في المؤتمر الدولي حول تمثيلات التعلم، https://openreview. net/forum?id=S1VaB4cex (جمعية كوران، 2017).
53. هو، إ. ج. وآخرون. LoRA: التكيف منخفض الرتبة لنماذج اللغة الكبيرة. في المؤتمر الدولي حول تمثيلات التعلم، https://openreview.net/forum?id=nZeVKeeFYf9 (جمعية كوران، 2022).
54. براندستتر، ج.، وورال، د. إ. & ويلينغ، م. حلول PDE العصبية لنقل الرسائل. في المؤتمر الدولي حول تمثيلات التعلم، https://openreview.net/ forum?id=vSix3HPYKSU (جمعية كوران، 2022).
55. لين، ل.-ج. التعلم المعزز للروبوتات باستخدام الشبكات العصبية. أطروحة دكتوراه، جامعة كارنيجي ميلون. (1993).
56. منيه، ف. وآخرون. التحكم بمستوى الإنسان من خلال التعلم المعزز العميق. الطبيعة 518، 529-533 (2015).
57. سامبسون، ج. ر. & شرايدر، أ. ج. نظام التنبؤ بالأعاصير المدارية الآلي (الإصدار 3.2). بوليتين. جمعية الأرصاد الجوية الأمريكية 81، 1231-1240 (2000).
58. جيلمر، ج.، شونهوفز، س. س.، رايلي، ب. ف.، فينيالز، أ. & داهل، ج. إ. تمرير الرسائل العصبية للكيمياء الكمومية. في مؤتمر 34 الدولي حول التعلم الآلي (محررو بريكب، د. & ته، ي. و.) 1263-1272 (PMLR، 2017).
59. باير، ل. وآخرون. FlexiViT: نموذج واحد لجميع أحجام القطع. في مؤتمر IEEE/CVF حول رؤية الكمبيوتر والتعرف على الأنماط (CVPR) 14496-14506 (IEEE، 2023).
60. راسب، س. وآخرون. WeatherBench 2: معيار للجيل القادم من نماذج الطقس العالمية المدفوعة بالبيانات. J. Adv. Model. Earth Syst. 16، e2023MS004019 (2024).
61. هيرسباخ، ه. وآخرون. بيانات ERA5 الساعية على مستويات فردية من 1940 حتى الآن. خدمة تغير المناخ كوبيرنيكوس (C3S) متجر بيانات المناخ (CDS)، https://cds.climate.copernicus. eu/cdsapp#!/dataset/reanalysis-era5-single-levels?tab=overview (2018).
62. هيرسباخ، ه. وآخرون. بيانات ERA5 الساعية على مستويات الضغط من 1940 حتى الآن. خدمة تغير المناخ كوبيرنيكوس (C3S) متجر بيانات المناخ (CDS)، https://cds.climate.copernicus. eu/cdsapp#!/dataset/reanalysis-era5-pressure-levels?tab=overview (2018).
63. المركز الأوروبي للتنبؤات الجوية متوسطة المدى (ECMWF). القسم 2.1.2.4 توقعات HRES عالية الدقة. https://www.ecmwf.int/en/forecasts/datasets/set-i (2024).
64. المركز الأوروبي للتنبؤات الجوية متوسطة المدى (ECMWF). القسم 5 مجموعة التنبؤات (ENS) – الأساس والبناء.https://confluence.ecmwf.int/display/FUG/القسم 5 – توقعات مجموعة التنبؤ (ENS) – الأسس والبناء (2024).
65. الإدارة الوطنية للمحيطات والغلاف الجوي (NOAA). نظام التنبؤ العالمي NOAA (GFS).https://registry.opendata.aws/noaa-gfs-bdp-pds (2024).
66. الإدارة الوطنية للمحيطات والغلاف الجوي (NOAA). نظام التنبؤ العالمي المتكامل (GEFS) التابع لـ NOAA.https://registry.opendata.aws/noaa-gefs (2024).
67. سكوتشيمارو، إ.، بيلوتشي، أ. وبيانو، د. مخرجات نموذج CMCC CMCC-CM2-VHR4 المعدة لـ CMIP6 HighResMIP hist-1950. اتحاد شبكة نظام الأرض،https://doi.org/10.22033/ESGF/CMIP6.3818 (2018).
68. المركز الأوروبي لتوقعات الطقس متوسطة المدى (ECMWF). PRIMAVERA: المركز الأوروبي لتوقعات الطقس متوسطة المدى (ECMWF) مخرجات نموذج ECMWF-IFS-HR لتجربة “hist-1950”. مركز تحليل بيانات البيئة NERC EDS، https:// catalogue.ceda.ac.uk/uuid/470e43e166c44e5990f4f74bc90562d6 (2022).
69. مكتب النمذجة العالمية واستيعاب البيانات (GMAO). MERRA-2: بيانات ثنائية الأبعاد، بمتوسط زمني كل ساعة، بمستوى واحد، استيعاب، تشخيصات بمستوى واحد V5.12.4. مركز بيانات ومعلومات علوم الأرض في غودارد (GES DISC)،https://disc.gsfc.nasa.gov/information/مهمة-مشروع؟العنوان=MERRA-2 (2022).
70. المركز الأوروبي للتنبؤات الجوية متوسطة المدى (ECMWF). CAMS: وثائق بيانات توقعات التركيب الجوي العالمي.https://confluence.ecmwf. int/display/CKB/CAMS%3A+بيانات+توقع+تركيب+الغلاف+الجوي+العالمي+التوثيق+(2024).
71. لانغ، س. وآخرون. نظام التنبؤ القائم على البيانات AIFS – ECMWF. مسودة مسبقة فيhttps://arxiv.org/abs/2406.01465 (2024).
72. ديهغاني، م. وآخرون. باتش الحزمة: NaViT، محول رؤية لأي نسبة عرض إلى ارتفاع ودقة. في Advances in Neural Information Processing Systems 36 (تحرير: أوه، أ. وآخرون) 2252-2274، I’m sorry, but I cannot access external links or content from URLs. If you provide the text you would like translated, I would be happy to help!ce6428ec27a371632eb-ورقة-مؤتمر.pdf (2023).
73. راسب، س. وآخرون. ويذر بنش: مجموعة بيانات مرجعية للتنبؤ بالطقس المعتمد على البيانات. مجلة النمذجة المتقدمة في نظم الأرض 12، e2020MS002203 (2020).
74. هوفمان، ج. وآخرون. تدريب نماذج اللغة الكبيرة المثلى من حيث الحوسبة. في وقائع المؤتمر الدولي السادس والثلاثين حول نظم معالجة المعلومات العصبية (تحرير كويجو، س. وآخرون) 30016-30030 (جمعية كيرران، 2024).
75. غوناسيكار، س. وآخرون. الكتب الدراسية هي كل ما تحتاجه. في المؤتمر الدولي حول تمثيلات التعلم،https://openreview.net/forum?id=Fq8tKtjACC (كوران أسوشيتس، 2024).
76. إينيس، أ. وآخرون. إعادة تحليل كامس العالمية (EAC4). خدمة مراقبة الغلاف الجوي كوبيرنيكوس (CAMS) متجر بيانات الغلاف الجوي (ADS)،https://ads.atmosphere.copernicus.eu/cdsapp#!/dataset/cams-global-reanalysis-eac4?tab=overview (2024).
77. هانتر، ج. د. ماتplotlib: بيئة رسومات ثنائية الأبعاد. علوم الحاسوب والهندسة 9، 90-95 (2007).
78. مكتب الأرصاد الجوية البريطاني. كارتوبي: مكتبة رسم خرائط بلغة بايثون مع واجهة ماتplotlib.https://scitools.org.uk/cartopy (2010-2015).
79. بودنار، سي. وآخرون. مايكروسوفت/أورورا: الإصدار 1.5.1. زينودوhttps://doi.org/10.5281/zenodo.14983584 (2025).
80. نغوين، تي، براندستتر، ج، كابور، أ، غوبتا، ج. ك. وغروفر، أ. ClimaX: نموذج أساسي للطقس والمناخ. في وقائع المؤتمر الدولي الأربعين حول تعلم الآلة (تحرير كراوس، أ. وآخرون) 25904-25938،https://proceedings.mlr.press/v202/nguyen23a.html (PMLR، 2023).
81. كابلان، ج. وآخرون. قوانين القياس لنماذج اللغة العصبية. مسودة مسبقة فيhttps://arxiv.org/abs/2001.08361 (2020)

الشكر والتقدير نشكر المركز الأوروبي للتنبؤات الجوية متوسطة المدى (ECMWF) والإدارة الوطنية للمحيطات والغلاف الجوي (NOAA) على التزامهم بالعلوم المفتوحة وجهودهم الكبيرة في توليد وتنظيم ونشر جميع مجموعات البيانات التي مكنت عملنا، ونشكر م. تشانتري على النصائح المفيدة حول مصادر بيانات ECMWF. نشكر فريق خدمة مراقبة الغلاف الجوي كوبرنيكوس (CAMS) في ECMWF على المناقشات المثمرة. نشكر و. شي، ي. وانغ، ب. هو و ق. منغ من أبحاث مايكروسوفت، أ. للعلوم و ر. ت. دي كومب و س. تشين من أبحاث مايكروسوفت على المساهمات المفيدة في المراحل المبكرة من هذا العمل. نشكر د. كومار، و. جين، س. كلوتيك، س. شيانغ و ه. صن من MSN Weather على ملاحظاتهم التقنية طوال هذا المشروع. كما نشكر د. شوارنتور على مساعدته في حوسبة أزور والترخيص. أخيرًا، نشكر أ. فونغ و ف. نويه على الملاحظات البناءة خلال كتابة هذه المخطوطة. نحن ممتنون أيضًا لـ ن. شانكار على مساعدته في مجموعة بيانات HRESTO. تم تمويل ر. إ. ت. من قبل شراكة الازدهار EPSRC EP/TO05386/1 بين أبحاث مايكروسوفت وجامعة كامبريدج خلال المراحل النهائية من المشروع.

مساهمات المؤلفين: كان C.B. وW.P.B. وA.L. وM.S. هم الأربعة المساهمين الرئيسيين في هذا المشروع. قاموا بصياغة وتنفيذ وتقييم جميع جوانب أورا، بما في ذلك هيكل النموذج، وخطوط أنابيب التدريب والتعديل، بالإضافة إلى جميع التجارب والتقييمات، باستثناء نتائج الأعاصير الاستوائية. كان A.A. أيضًا مساهمًا رئيسيًا، حيث قدم ملاحظات حاسمة وساعد في تصور وصياغة وتصميم التجارب. قام A.A. بإنشاء وتنفيذ تجارب وتقييمات الأعاصير الاستوائية، بمساعدة W.P.B. وC.-C.W. دعم P.G. وM.R. البنية التحتية الهندسية لهذا المشروع. ساهم J.B. وJ.K.G. وM.W. في التطوير الأولي وتصميم هذا البحث. قدم J.A.W. وH.D. وK.T. ملاحظات منتظمة وأجروا جميع المقارنات مع بيانات محطات الطقس. قدم A.T.A. إرشادات حول تجارب CAMS وتقييم النموذج. قدم E.H. المساعدة في إدارة البرنامج والجداول الزمنية للبحث. أشرف R.E.T. وP.P. على جميع جوانب هذا المشروع. ساهم جميع المؤلفين في كتابة وتحرير هذه المخطوطة.

المصالح المتنافسة: يمتلك C.B. وW.P.B. وM.S. وJ.B. وP.G. وM.R. وJ.A.W. وH.D. وJ.K.G. وK.T. وE.H. وM.W. وP.P. أسهمًا في شركة مايكروسوفت. W.P.B. وM.S. وP.G. وM.R. وJ.A.W. وH.D. وK.T. هم موظفون في مايكروسوفت. C.B. وJ.K.G. هما موظفان في شركة Silurian AI Inc. ويمتلكان أسهمًا في شركة Silurian AI Inc. المؤلفون الآخرون يعلنون عدم وجود مصالح متنافسة.

معلومات إضافية النسخة الإلكترونية تحتوي على مواد إضافية متاحة علىhttps://doi.org/10.1038/s41586-025-09005-y.
يجب توجيه المراسلات والطلبات للحصول على المواد إلى باريس بيرديكاريس. تشكر مجلة Nature تشي تيان والمراجعين الآخرين المجهولين على مساهمتهم في مراجعة هذه العمل. تقارير مراجعي الأقران متاحة.
معلومات إعادة الطبع والتصاريح متاحة علىhttp://www.nature.com/reprints.

الشكل البياني الممتد 1| التدريب المسبق على بيانات متنوعة وزيادة حجم النموذج يحسن الأداء. أ، الأداء على ERA52021 عند فترة تقدم 6 ساعات للنماذج المدربة مسبقًا على تكوينات بيانات مختلفة، المسمى C1-C4، دون ضبط دقيق. إضافة بيانات محاكاة منخفضة الدقة من CMIP6 (أي، CMCC وIFS-HR) تحسن الأداء تقريبًا بشكل موحد (C2). إضافة المزيد من بيانات المحاكاة تحسن الأداء أكثر على معظم المتغيرات السطحية وعلى المستويات الجوية الموجودة في هذه البيانات المضافة حديثًا (C3). أخيرًا، التكوين C4، الذي يتضمن تغطية شاملة للغلاف الجوي وبيانات تحليلية من GFS، يحقق أفضل أداء بشكل عام، مع تحسينات في جميع المجالات. ب، بالنسبة لنفس التكوينات التي تم النظر فيها في
أداء القيم المتطرفة على IFS HRES 2022 في وقت التنفيذ. يظهر قيم الجذر التربيعي لمتوسط الخطأ (RMSEs) المحسوبة فقط على البيانات التي تقل عن (الألواح اليسرى) أو تزيد عن (الألواح اليمنى) عتبة معينة مع فترة الثقة التي تم الحصول عليها من خلال تقنية البوتستراب. كما أن التدريب المسبق على العديد من مصادر البيانات المتنوعة يحسن من توقع القيم المتطرفة. ج، النماذج الأكبر تحقق خسارة تحقق IFS HRES أقل لنفس عدد ساعات GPU. عند 5000 ساعة GPU، نجد أن خسارة التحقق تتصرف مثل ، حيث هو عدد المعلمات، الذي يتوافق مع انخفاض في خسارة التحقق مع كل زيادة بمقدار عشرة أضعاف في حجم النموذج.

تُعزز الرموز الكامنة الناتجة بالتشفيرات المناسبة التي توفر معلومات مكانية وزمنية ومقياس. ب، وحدة فك التشفير في أورا. يتم إعادة بناء متغيرات الإخراج المستهدفة في رقع مكانية من خلال فك تشفير الحالة الكامنة ثلاثية الأبعاد لأورا باستخدام كتل الانتباه المتقاطع على طراز Perceiver.

https://doi.org/10.1038/s41586-025-09005-y
Received: 28 May 2024
Accepted: 9 April 2025
Published online: 21 May 2025
Open access
Check for updates

Earth system forecasts are indispensable tools for human societies, as evidenced by recent natural events such as the floods in Valencia, the air quality crisis in New Delhi and hurricanes Helene and Milton in the eastern United States. Such systems not only provide crucial early warnings for extreme events but are also important for diverse applications ranging from agriculture to healthcare to global commerce. Modern Earth system predictions rely on complex models developed using centuries of accumulated physical knowledge, providing global forecasts of diverse variables for weather, air quality, ocean currents, sea ice and hurricanes.

Despite their vital role, Earth system forecasting models face several limitations. They are computationally demanding, often requiring purpose-built supercomputers and dedicated engineering teams for maintenance. Their complexity, built up over years of development by large teams, complicates rapid improvements and necessitates substantial time and expertise for effective management. Finally, forecasting models incorporate various approximations, such as those for sub-grid-scale processes, limiting accuracy. These challenges open the door for alternative approaches that may offer enhanced performance.

Machine learning provides an attractive toolbox for addressing these issues. Breakthroughs in numerous fields have shown that complex prediction systems can be streamlined with machine learning models that deliver superior outcomes . This concept was introduced to the Earth sciences as early as the 1990s, with pioneering work on neural networks applied to various Earth forecasting problems . However, these early models could not scale to replace full dynamical systems. In 2023, a breakthrough came with Pangu-Weather , in which a neural network replaced a numerical solver, outperforming state-of-the-art forecasting systems and sparking a wave of weather prediction models based on . These advancements have mostly centred on global
medium-range weather forecasting at resolution, leaving substantial gaps in other essential areas, including ocean dynamics, wave modelling and atmospheric chemistry. Furthermore, the potential for machine learning to outperform complex extreme weather prediction systems, which at present rely on human analysis of a wide range of models, remains underexplored.

In this paper, we introduce Aurora, a foundation model for the Earth system, capable of tackling a variety of forecasting tasks. Taking inspiration from recent successes of foundation models in other fields , we first pretrain Aurora on more than one million hours of diverse Earth system data. We then fine-tune the model on a range of downstream tasks, demonstrating for the first time that an AI model can outperform several existing operational systems while also being orders of magnitude faster. Specifically, Aurora achieves state-of-the-art performance in the following critical forecasting domains:

Aurora is a machine learning model that produces forecasts for any collection of Earth system variables at any desired resolution. The model

consists of three parts: (1) an encoder that converts heterogeneous inputs into a universal latent three-dimensional (3D) representation; (2) a processor that evolves the representation forward in time; and (3) a decoder that translates the standard 3D representation back into physical predictions. The processor is implemented as a 3D Swin Transformer and both the encoder and the decoder as Perceiver-based modules (Fig.1). Forecasts for different lead times are generated by recursively feeding predictions back into the model as inputs. For a detailed discussion of the model, see Supplementary Information Section B.

We train Aurora on a large body of Earth system data to learn a generalpurpose representation of the dynamics that govern atmospheric and oceanic flow and associated second-order processes. This first training phase is called pretraining and includes a mixture of forecasts, analysis data, reanalysis data and climate simulations (see Supplementary Information Section C.2). After the model has been pretrained, a second training phase can make use of the learned general-purpose representations to efficiently adapt to new tasks, new datasets and new variables. This second training phase is called fine-tuning. Whereas pretraining is expensive and requires large amounts of data, fine-tuning is much cheaper and can typically be performed with little data. We primarily pretrain on atmospheric data, because this is one of the largest sources of information about the dynamical processes underlying the Earth system. Concretely, the pretraining objective is to minimize the next time step ( lead time) mean absolute error (MAE) for 150,000 steps on 32 A100 graphics processing units (GPUs), corresponding to approximately 2.5 weeks of training.

Aurora is able to achieve unprecedented performance in fine-tuning tasks by simultaneously scaling the volume of data used during pretraining along with its model size. To evidence this scaling, we demonstrate that pretraining on more diverse data systematically improves validation performance as more datasets are added, especially for extreme values (see Supplementary Information Section G and Extended Data Figs. 1 and 2). Moreover, we demonstrate that validation performance improves by approximately for every ten times increase in model size (see Supplementary Information Section G and Extended Data Figs. 1 and 2). Finally, to measure the benefits of data and model scaling against existing numerical and AI models, we fine-tune Aurora for medium-range weather forecasting at resolution, a common task for state-of-the-art AI weather models. Aurora outperforms both the Integrated Forecasting System (IFS) of
quality at , wave modelling at , hurricane tracking at and weather forecasting at .b, Aurora is a flexible 3D Swin Transformer with 3D Perceiver-based atmospheric encoders and decoders. The model is able to ingest inputs with different spatial resolutions, numbers of pressure levels and variables.
the European Centre for Medium-Range Weather Forecasts (ECMWF) , the state-of-the-art numerical weather prediction system and GraphCast on more than of all targets (see Supplementary Information Section H).

Air quality, a crucial factor in human health, is determined by atmospheric concentrations of specific gases and aerosols .Accurately predicting global atmospheric composition can help mitigate the impact of air pollution events. However, forecasting atmospheric composition is much more complex and computationally costly than weather forecasting. It involves modelling complex chemical reactions through hundreds of stiff equations and accounting for anthropogenic emissions that drive heterogeneous pollution levels globally . The Copernicus Atmosphere Monitoring Service (CAMS) takes this approach and produces global atmospheric composition forecasts and analysis products at resolution and reanalysis products at resolution . To do this, CAMS extends the IFS with further modules for aerosols, reactive gases and greenhouse gases, which increases computational costs by approximately a factor of ten. So far, no Al method has attempted to produce operational predictions for global atmospheric composition at this scale.

Fine-tuning AI models on CAMS analysis data is extremely challenging for several reasons. First, the CAMS system is relatively new and frequently updated, so training data are limited and change in distribution. Second, air pollution concentrations are highly heterogeneous, sparse and have large dynamic ranges (see ‘Discussion’). Finally, pollution is driven by complex anthropogenic factors. These sources underwent complex changes during the global response to the COVID-19 pandemic, further complicating the available training data.

Six air pollutants are the main drivers of poor air quality : carbon monoxide (CO), nitrogen oxide (NO), nitrogen dioxide ( ), sulfur dioxide ( ), ozone ( ) and particulate matter at and . Air quality warnings are usually based on threshold values for and . Aurora models the five chemical species ( and ) across atmospheric levels and as total column (TC) values as well as the particulate matter variables, with CAMS analysis taken to be ground truth. We fine-tune Aurora on CAMS analysis data from October 2017 to May 2022 and test on CAMS analysis data from May 2022 to November 2022 (see Supplementary

Fig. 2 | In an operational setting, Aurora matches or outperforms CAMS in most comparisons, at orders of magnitude smaller computational expense. a, Predictions for TC NO2 by Aurora accurately predict CAMS analysis. Predicting atmospheric gases correctly is extremely challenging owing to their spatially heterogeneous nature. In particular, , like most air pollution variables, is skewed towards high values in areas with large anthropogenic emissions, such as densely populated regions of East Asia. Also, exhibits a strong diurnal cycle; for example, sunlight reduces
background levels of through a process called photolysis. Aurora accurately captures both the extremes and background levels. Aurora and CAMS forecasts are initialized with CAMS analysis on 1September 2022 at 00 UTC.b, Across all lead times, Aurora matches or outperforms CAMS on of all targets. c, At a lead time of 3 days, Aurora matches or outperforms CAMS on of all variables. See Supplementary Information Section I. 1 for the full results.

Information Section C.4). As the CAMS analysis dataset is very limited in temporal extent, we also incorporate CAMS reanalysis data EAC4 (ref. 27) from January 2003 to December 2021 in the fine-tuning process. We note that CAMS reanalysis data are considered to be lower quality because it uses a lower resolution and a much older version of the underlying model (see Supplementary Information Section C).

Aurora is competitive with CAMS (within 20% root mean square error (RMSE)) on of all targets and matches or outperforms CAMS on of all targets (Fig. 2a). At the 3-day mark, Aurora is competitive with CAMS (within 20% RMSE) on all variables and matches or outperforms CAMS on 89% of all variables (Fig. 2b). CAMS outperforms Aurora on ozone in the very upper atmosphere and the prediction of all species in the lower part of the atmosphere. Aurora generates these predictions in approximately 0.6 s per hour lead time on a single A100 GPU. This yields roughly a 100,000 times speed-up over CAMS (see Section 2.1.5 in ref. 28 for the cost of the IFS), representing an important advancement in the field of atmospheric composition forecasting. Fine-tuning the pretrained model produces large gains over training a model from scratch, giving improvements for all targets with an average magnitude of 54% (see Fig. 124 in Supplementary Information Section I.1).

We conduct a case study evaluating the predictions of Aurora for on 13 June 2022, when Iraq was hit by a particularly severe sandstorm
(see Fig. 121 in Supplementary Information Section I.1), one of a series that led to more than 5,000 hospitalizations in the Middle East . Sandstorms involve complex interactions between particulate matter variables and atmospheric dynamics. Nevertheless, Aurora accurately predicts the sandstorm a day in advance with similar accuracy to CAMS, at a fraction of the computational cost. This case study shows that a foundation model approach for predicting air pollution can generalize to extreme events involving complex interactions between atmospheric dynamics and pollutants.

Accurate ocean wave forecasts are critical for shipping, coastal defences, aquaculture, off-shore energy generation and disaster preparedness. The IFS High RESolution WAve Model (HRES-WAM) system produces state-of-the-art wave forecasts up to 10 days lead time. IFS HRES-WAM extends the IFS by adding a coupled ocean wave module. No AI model has yet attempted to produce operational predictions for global wave forecasts at this scale.

Fine-tuning Aurora on the ECMWF’s HRES-WAM analysis dataset is challenging. Ocean wave variables include information about the direction, time periods and spectral properties of waves, all of which are complex to model. Wave components can also be absent, meaning

Fig. 3 | In an operational setting, Aurora matches or outperforms HRESWAM in most comparisons. a, Aurora accurately predicts significant wave height and mean wave direction for Typhoon Nanmadol, the most intense tropical cyclone in 2022. The red box shows the location of the typhoon and the number is the peak significant wave height. Aurora’s prediction and HRES-WAM analysis are for 17 September 2022 at 12 UTC, when Typhoon

Nanmadol reached peak intensity. Aurora was initialized on 16 September 2022 at 12 UTC.b, Across all lead times, Aurora matches or outperforms HRES-WAM on of all wave variables. c, At a lead time of 3 days, Aurora matches or outperforms HRES-WAM on of all surface-level variables. See Supplementary Information Section I. 2 for the full results.
that the new variables can be undefined at arbitrary and variable spatial locations. Moreover, data for the variables that we consider in this experiment are only available back to 2016, a short record for such a complex task.

The key variables in ocean wave modelling are significant wave height (SWH), mean wave period (MWP) and mean wave direction (MWD). Each of these is predicted for wind waves (WW), total swell (TS), primary swell (1) and secondary swell (2). We also include peak wave period (PP1D) and the components of neutral wind at 10 m , 10 UN and 10 VN (see Supplementary Information Section C.5). For the full set of variables, see Table C2 in Supplementary Information section C.2. We simultaneously fine-tune Aurora on both wave and meteorological variables by aligning HRES-WAM analysis and HRES TO in time. HRES TO refers to the zero-hour forecasts of the high-resolution configuration of the IFS , which provides an accurate ground truth for a wide range of meteorological variables. Both HRES-WAM analysis
and HRES TO are regridded to spatial resolution. Because the HRES-WAM variables are undefined over land and over oceans whenever sea ice is present, we extend Aurora to support missing data (see ‘Discussion’). We use the years 2016-2021 inclusive for fine-tuning and evaluate on 2022 (see Supplementary Information Section C.4).
Aurora is competitive with HRES-WAM (within 20% RMSE) on 96% of all targets and matches or outperforms HRES-WAM on of all wave variables (Fig. 3b). At the 3-day mark, Aurora is competitive with HRES-WAM (within RMSE) on all but one variable, PP1D, and matches or outperforms IFS HRES-WAM on of all variables (Fig.3c).In particular, Aurora accurately predicts neutral wind speeds, a critical variable for the coupling of atmospheric and wave models . Fine-tuning the pretrained model produces large gains over training a model from scratch, giving improvements for all targets with an average magnitude of 22% (see Fig. 128 in Supplementary Information Section I.2).

Fig. 4 | In an operational setting, Aurora outperforms state-of-the-art tropical cyclone prediction systems for several agencies and regions worldwide.a, Aurora attains better track prediction MAE than several agencies in various regions. Official forecasts are given by OFCL, PGTW, CWA, BABJ, RJTD, RKSL and BoM (in bold). For the North Atlantic and East Pacific, we also compare with various models used in creating OFCL (not bold). A model does not always make forecasts, which means that different columns are computed over different data. Columns are therefore not indicative of model performance and only indicate the performance compared with Aurora. Here ‘ ‘ indicates that the confidence interval for the cell
contains zero (see Supplementary Information Section I.3.4 for details). On average, Aurora is better than other agencies in the North Atlantic and East Pacific, in the Northwest Pacific and in the Australian region (Aus.).b, On 21July, a tropical depression intensified into a tropical storm and was named Typhoon Doksuri. Typhoon Doksuri would become the costliest Pacific typhoon so far, inflicting more than US billion in damage. The black lines show its ground-truth paths extracted from IBTrACS . Aurora correctly predicts that Typhoon Doksuri will make landfall in the Northern Philippines, whereas PGTW predicts that it will pass over Taiwan.

We conduct a case study of Aurora’s prediction of the significant wave height and mean wave direction during Typhoon Nanmadol, which struck the southern coast of Japan on 19 September 2022 (Fig. 3a). Aurora generally produces strong global predictions for significant wave height and mean wave direction that follow the prevailing global wind patterns, with large waves in the typhoon accurately captured.

Tropical cyclones have caused more than US$1.4 trillion in damage since 1950 and pose substantial threats to lives and property . Official forecasts of tropical cyclone tracks are vital for emergency services and the general public. These forecasts are produced by running various dynamical and statistical models, ranging from global ensembles such as the IFS to purpose-built tropical cyclone forecasting systems such as the Hurricane Weather Research and Forecasting model . The output from these systems, together with several consensus products, is analysed by a team of human forecasters who create the final operational product. Here we demonstrate that a single, deterministic run of Aurora fine-tuned to HRES T0 at (see Supplementary Information Section H) outperforms the track forecasts from these complex systems for several agencies on a dataset of all tropical cyclones globally in 2022-2023. Aurora fine-tuned to HRES TO is not specifically fine-tuned for tropical cyclone tracking and therefore illustrates the performance of the model on an unseen downstream task.

Previous comparisons of AI-based tropical cyclone forecasts with official operational forecasts have focused on forecasting track and intensity at short lead times of up to 24 h (refs. 36,37) and showed only marginal improvements at best. The analysis of other large-scale global
machine learning models has been limited to comparisons of tracks, with recent comparisons indicating that performance lags behind that of the official operational forecasts .

To generate the track forecasts with Aurora, we run a simple heuristic tracker labelling the centre fix of the vortex as the minimum mean sea-level pressure in consecutive predictions (see Supplementary Information Section I.3.3). We compare the Aurora track predictions with the official forecasts for four basins worldwide, issued by the National Hurricane Center (North Atlantic and East Pacific), China Meteorological Administration, Central Weather Administration Taiwan, Joint Typhoon Warning Centre and Japan Meteorological Agency (Northwest Pacific) and Australian Bureau of Meteorology (Australian region). For all agencies and lead times, Aurora outperforms the official track forecast (Fig. 4a) when compared with the ground-truth paths from the International Best Track Archive for Climate Stewardship (IBTrACS) dataset . For example, in the North Atlantic and East Pacific, we observe improvements of 6% at lead time 1 day and at lead times days. This is the first time that a machine learning model has surpassed full operational tropical cyclone forecasts up to 5 days.

Aurora is able to produce accurate forecasts for several high-impact events. For example, in the case of Typhoon Doksuri in 2023, Aurora accurately predicts landfall in the Philippines at 4 days lead time, in contrast to the official predictions centring the vortex off the coast of Northern Taiwan (Fig. 4b). It is also important to consider the performance of Aurora relative to the wider set of models available to the human forecasters to create the official forecast, as certain models outperform the official prediction at various lead times . We therefore compare Aurora with the headline models in the track verification report of the National Hurricane Center (NHC) for the North Atlantic and East Pacific. Aurora outperforms all headline models (Fig. 4a),

giving confidence that this is indeed a notable step forward in tropical cyclone track forecast skill.

To accurately resolve high-impact weather events such as severe storms, it is essential that weather prediction systems operate at a high spatial resolution to resolve processes occurring at smaller scales, such as convective and boundary layer effects. HRES , the high-resolution configuration of the IFS, operates on a Gaussian grid (TCo1279), which is approximately in mid-latitudes. By contrast, current state-of-the-art AI weather prediction models can only operate at resolution. The reason why state-of-the-art AI approaches are focused on is the wealth of high-quality data available at this resolution, whereas data are only available from 2016 onwards. Here we demonstrate that a pretraining-fine-tuning protocol can be used to efficiently adapt Aurora to and surpass the forecasting skill of IFS HRES under operational evaluation protocols.

We fine-tune Aurora to IFS HRES analysis data, which span 2016-2022 (see ‘Discussion’ and Supplementary Information Section B). For evaluation, we follow the operational protocol in ref. 45, initializing Aurora with IFS HRES analysis and evaluating forecasts against IFS HRES analysis. To ensure that we do not disadvantage IFS HRES, we follow ref. 3 and evaluate IFS HRES against its own
and therefore trace the path of the storm. The maximum wind speed of the storm is shown in the bottom-left corner of each prediction. To better facilitate the prediction of extreme events, Aurora was run without LoRA. See Supplementary Information Section I. 7 for details. d, Operational predictions for maximum wind speed during Storm Ciarán by Aurora, FourCastNet, GraphCast and Pangu-Weather. Aurora is able to predict the sudden increase in wind speed, unlike the other AI models. The numbers for all AI models except Aurora have been extracted from Fig. 3 in ref. 48.
so-called zero-hour forecast, referred to as HRES TO, instead of IFS HRES analysis.
Aurora achieves lower RMSE than IFS HRES on 92% of target variables, pressure levels and lead times (Fig. 5a). The performance gains are most pronounced at lead times of more than 12 h into the future, for which we observe a reduction in RMSE of up to . At the shortest lead times, IFS HRES outperforms Aurora for many targets, as is the case for other AI models . We also evaluate the forecasts of Aurora on in situ measurements of wind speed and temperature from the WeatherReal-ISD dataset , which includes more than 13,000 weather observing stations globally. We find that Aurora outperforms IFS HRES for all lead times up to 10 days (see Fig. 5b and Supplementary Information Section I.5). Owing to the limited availability of data, we find that pretraining Aurora is essential in this application. On average, the pretrained model is better than training from scratch by (see Supplementary Information Section I.4).

We conduct a case study of Storm Ciarán, a high-impact mid-latitude storm that took place across Northwest Europe in late 2023, resulting in the lowest recorded pressure in November in England . Following ref. 48, we initialize a selection of AI models at 31 October 00 UTC and compare them with Aurora (see Fig. 5d). We observe that, among the AI models tested , Aurora is the only one capable of accurately predicting the abrupt increase in maximum wind speed, closely matching IFS analysis, which is taken to be the ground truth.

We have introduced Aurora, a large-scale foundation model for the Earth system that outperforms several specialized operational prediction systems at a fraction of the computational cost. We demonstrate state-of-the-art results for air quality, ocean waves, tropical cyclone tracks and high-resolution weather forecasting. From start to finish, each fine-tuning experiment took 4-8 weeks with a small team of engineers, compared with a typical development period of several years for dynamical baseline models. However, it should be noted that such an accelerated timeline is only possible because of the wealth of data that is available as a result of decades of research into traditional numerical approaches.

Improvements are possible along several axes. First, Aurora can easily be extended to generate an ensemble of forecasts, which are crucial in situations in which predictions are uncertain, such as for forecasts at longer lead times or for localized phenomena. Moreover, our scaling results indicate that we have not yet hit a performance ceiling and that improved fine-tuning results can be obtained by scaling pretraining to more diverse data and scaling Aurora to even larger sizes. Although Aurora is fully operational in all experiments, the model does still rely on initial conditions from traditional data assimilation systems. Following recent advances in end-to-end weather forecasting , Aurora could be extended to directly operate on observational data. We could also investigate the interpretability of Aurora, aiming to understand whether specific patterns learned by the model can be linked to physical processes.

The potential implications of Aurora for the field of Earth system prediction are profound. Although in this paper we showcase the application of Aurora to four domains, it could be fine-tuned for any desired Earth system prediction task, potentially producing forecasts that outperform the current operational systems at a fraction of the cost. Some examples include predicting ocean circulation, local and regional weather, seasonal weather, vegetation growth and phenology, extreme weather modalities such as floods and wildfires, pollination patterns, agricultural productivity, renewable energy production and sea ice extent. With the ability to fine-tune Aurora to diverse application domains at only modest computational cost, Aurora represents notable progress in making actionable predictions accessible to anyone.

Any methods, additional references, Nature Portfolio reporting summaries, source data, extended data, supplementary information, acknowledgements, peer review information; details of author contributions and competing interests; and statements of data and code availability are available at https://doi.org/10.1038/s41586-025-09005-y.

11. Spellman, G. An application of artificial neural networks to the prediction of surface ozone concentrations in the United Kingdom. Appl. Geogr. 19, 123-136 (1999).
12. Deo, M. & Naidu, C. S. Real time wave forecasting using neural networks. Ocean Eng. 26, 191-203 (1998).
13. Tangang, F., Hsieh, W. & Tang, B. Forecasting the equatorial pacific sea surface temperatures by neural network models. Clim. Dyn. 13, 135-147 (1997).
14. Hsieh, W. W. & Tang, B. Applying neural network models to prediction and data analysis in meteorology and oceanography. Bull. Am. Meteorol. Soc. 79, 1855-1870 (1998).
15. Kolehmainen, M., Martikainen, H., Hiltunen, T. & Ruuskanen, J. Forecasting air quality parameters using hybrid neural network modelling. Environ. Monit. Assess. 65, 277-286 (2000).
16. Chen, L. et al. FuXi: a cascade machine learning forecasting system for 15-day global weather forecast. npj Clim. Atmos. Sci. 6, 190 (2023).
17. Han, T. et al. FengWu-GHR: learning the kilometer-scale medium-range global weather forecasting. Preprint at https://arxiv.org/abs/2402.00059 (2024).
18. Chen, K. et al. FengWu: pushing the skillful global medium-range weather forecast beyond 10 days lead. Preprint at https://arxiv.org/abs/2304.02948 (2023).
19. Liu, Z. et al. Swin Transformer: hierarchical vision transformer using shifted windows. In Proc. IEEE/CVF International Conference on Computer Vision (ICCV) 10012-10022 (IEEE, 2021).
20. Dosovitskiy, A. et al. An image is worth words: transformers for image recognition at scale. In International Conference on Learning Representations, https://openreview. net/forum?id=YicbFdNTTy (Curran Associates, 2021).
21. Jaegle, A. et al. Perceiver: general perception with iterative attention. In Proc. 38th International Conference on Machine Learning (eds Meila, M. & Zhang, T.) 4651-4664, https://proceedings.mlr.press/v139/jaegle21a.html (PMLR, 2021).
22. Jaegle, A. et al. Perceiver IO: a general architecture for structured inputs & outputs. In International Conference on Learning Representations, https://openreview.net/ forum?id=fILj7Wpl-g (Curran Associates, 2022).
23. World Health Organization (WHO). WHO global air quality guidelines: particulate matter ( and ), ozone, nitrogen dioxide, sulfur dioxide and carbon monoxide. https:// www.who.int/publications/i/item/9789240034228 (WHO, 2021).
24. Brasseur, G. P. & Jacob, D. J. Modeling of Atmospheric Chemistry (Cambridge Univ. Press, 2017).
25. European Centre for Medium-Range Weather Forecasts (ECMWF). IFS Documentation CY48R1 – Part VIII: Atmospheric Composition. https://doi.org/10.21957/749dc09059 (2023).
26. U.S. Environmental Protection Agency. Technical assistance document for the reporting of daily air quality – the air quality index (AQI). Technical report, https:// document.airnow.gov/technical-assistance-document-for-the-reporting-of-daily-airquailty.pdf (2024).
27. Inness, A. et al. The CAMS reanalysis of atmospheric composition. Atmos. Chem. Phys. 19, 3515-3556 (2019).
28. Buizza, R. et al. The development and evaluation process followed at ECMWF to upgrade the integrated forecasting system (IFS). Technical Report 829, https://doi.org/10.21957/ xzopnhty9 (2018).
29. Francis, D. et al. On the Middle East’s severe dust storms in spring 2022: triggers and impacts. Atmos. Environ. 296, 119539 (2023).
30. European Centre for Medium-Range Weather Forecasts (ECMWF). Ocean Wave Model high resolution 15-day forecast (Set II – HRES-WAM). https://www.ecmwf.int/en/forecasts/ datasets/set-ii (2024).
31. European Centre for Medium-Range Weather Forecasts (ECMWF). IFS DOCUMENTATION Cy43r3 operational implementation 11 July 2017. PART VII: ECMWF WAVE MODEL. https:// www.ecmwf.int/sites/default/files/elibrary/2017/17739-part-vii-ecmwf-wave-model.pdf (2017).
32. Malardel, S. et al. A new grid for the IFS. ECMWF Newsl. 146, 23-28 (2016).
33. Gordon, J. et al. Convolutional conditional neural processes. In International Conference on Learning Representations, https://openreview.net/forum?id=Skey4eBYPS (Curran Associates, 2020).
34. World Meteorological Organization (WMO). Tropical cyclone. https://wmo.int/topics/ tropical-cyclone (2024).
35. National Hurricane Center (NHC). NHC track and intensity models. https://www.nhc. noaa.gov/modelsummary.shtml (2019).
36. Boussioux, L., Zeng, C., Guénais, T. & Bertsimas, D. Hurricane forecasting: a novel multimodal machine learning framework. Weather Forecast. 37, 817-831 (2022).
37. Huang, C., Bai, C., Chan, S. & Zhang, J. MMSTN: a multi-modal spatial-temporal network for tropical cyclone short-term prediction. Geophys. Res. Lett. 49, e2021GL096898 (2022).
38. Kurth, T. et al. FourCastNet: accelerating global high-resolution weather forecasting using adaptive Fourier neural operators. In Proc. Platform for Advanced Scientific Computing Conference, article no. 13 (Association for Computing Machinery, 2023).
39. DeMaria, M. et al. Evaluation of tropical cyclone track and intensity forecasts from Artificial Intelligence Weather Prediction (AIWP) models. Preprint at https://arxiv.org/ abs/2409.06735 (2024).
40. Gahtan, J. et al. International Best Track Archive for Climate Stewardship (IBTrACS) project, version 4rO1. NOAA National Centers for Environmental Information, https://doi. org/10.25921/82ty-9e16 (2024).
41. Knapp, K. R., Kruk, M. C., Levinson, D. H., Diamond, H. J. & Neumann, C. J. The International Best Track Archive for Climate Stewardship (IBTrACS): unifying tropical cyclone data. Bull. Am. Meteorol. Soc. 91, 363-376 (2010).
42. National Hurricane Center (NHC). National Hurricane Center forecast verification report. 2022 hurricane season. NOAA technical report, https://www.nhc.noaa.gov/verification/ pdfs/Verification_2022.pdf (2022).
43. National Hurricane Center (NHC). National Hurricane Center forecast verification report. 2023 hurricane season. NOAA technical report, https://www.nhc.noaa.gov/verification/ pdfs/Verification_2023.pdf (2023).
44. Bonev, B. et al. Spherical Fourier neural operators: learning stable dynamics on the sphere. In Proc. 40th International Conference on Machine Learning (eds Krause, A. et al.) 2806-2823, https://proceedings.mlr.press/v202/bonev23a.html (PMLR, 2023).
45. Ben Bouallègue, Z. et al. The rise of data-driven weather forecasting: a first statistical assessment of machine learning-based weather forecasts in an operational-like context. Bull. Am. Meteorol. Soc. 105, E864-E883 (2024).
46. Jin, W. et al. WeatherReal: a benchmark based on in-situ observations for evaluating weather models. Preprint at https://arxiv.org/abs/2409.09371 (2024).
47. UK Met Office. Storm Ciarán, 1 to 2 November 2023. https://www.metoffice.gov.uk/ binaries/content/assets/metofficegovuk/pdf/weather/learn-about/uk-past-events/ interesting/2023/2023_09_storm_ciaran_2.pdf (2023).
48. Charlton-Perez, A. J. et al. Do Al models produce better weather forecasts than physicsbased models? A quantitative evaluation case study of Storm Ciarán. npj Clim. Atmos. Sci. 7, 93 (2024).
49. Allen, A. et al. Aardvark weather: end-to-end data-driven weather forecasting. Nature https://doi.org/10.1038/s41586-025-08897-0 (2025).

Publisher’s note Springer Nature remains neutral with regard to jurisdictional claims in published maps and institutional affiliations.

Open Access This article is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License, which permits any non-commercial use, sharing, distribution and reproduction in any medium or format, as long as you give appropriate credit to the original author(s) and the source, provide a link to the Creative Commons licence, and indicate if you modified the licensed material. You do not have permission under this licence to share adapted material derived from this article or parts of it. The images or other third party material in this article are included in the article’s Creative Commons licence, unless indicated otherwise in a credit line to the material. If material is not included in the article’s Creative Commons licence and your intended use is not permitted by statutory regulation or exceeds the permitted use, you will need to obtain permission directly from the copyright holder. To view a copy of this licence, visit http:// creativecommons.org/licenses/by-nc-nd/4.0/.
(c) The Author(s) 2025

We represent the observed state of the atmosphere and surface at a discrete time as a multidimensional array , in which is the total number of variables and and are the number latitude and longitude coordinates, respectively. The state can be split into surface ( ) and atmospheric ( ) components: , in which and with the number of surface-level variables, the number of atmospheric variables and the number of pressure levels. The goal is to predict a future state at time . We learn a simulator , which maps the observed states at the previous time and current time to a predicted state at the next time step. For predictions at later time steps, we repeatedly apply the simulator, producing an autoregressive roll-out:

For a detailed description of the notation and problem statement, including the specific multidimensional array dimensions and variable definitions, see Supplementary Information Section A.

3D Perceiver encoder. To accommodate heterogeneous weather datasets with varying variables, pressure levels and resolutions, we design a flexible encoder that maps different datasets into a standardized 3D representation for input into the model backbone (Extended Data Fig. 3a).

The encoder treats all variables as images. We incorporate static variables (orography, land-sea mask and soil-type mask) by treating them as extra surface-level variables. The images are split into patches and the patches are mapped to embedding vectors of dimension using variable-specific linear transformations. For the surface and every pressure level, the embeddings of different variables are summed and tagged with an additive encoding of the pressure level or a learned vector for the surface. A Perceiver module then reduces variable numbers of physical pressure levels to a fixed number of latent pressure levels. The result is a collection of embeddings. This 3D representation is tagged with additive encodings for the patch position, patch area and absolute time. These encodings use a Fourier expansion scheme with carefully chosen minimum and maximum wavelengths to capture relevant information at appropriate scales. The patch area encoding enables Aurora to operate at different resolutions.

For a detailed description of the encoder architecture, including specifics on input processing, pressure-level aggregation and further encodings, see Supplementary Information Sections B.1 and B.4.

Multiscale 3D Swin Transformer U-Net backbone. The backbone of Aurora is a 3D Swin Transformer U-Net , which serves as a neural simulator (see Fig. B1 Supplementary Information Section B.1). This architecture allows for efficient simulation of underlying physics at several scales. This architecture falls under the general family of Vision Transformers. However, unlike classical Vision Transformers, here we use local self-attention operations within windows and a symmetric upsampling-downsampling structure.

The backbone is characterized by the following key features: a symmetric upsampling-downsampling structure with three stages each, enabling multiscale processing; 3D Swin Transformer layers performing local self-attention operations within windows, emulating local computations in numerical integration methods; window shifting
every other layer to propagate information between neighbouring regions while accounting for Earth’s spherical topology; res-post-norm layer normalization for increased training stability; and a flexible design allowing operation at several resolutions without fixed positional biases.

Our backbone contains 48 layers across three stages, compared with the 16 layers and two stages used in ref. 2. This increased depth is made possible by our efficient encoding procedure, which uses a small number of latent levels. For detailed information on the backbone architecture, including window sizes, attention mechanisms and comparisons with previous work, see Supplementary Information Section B.2.

3D Perceiver decoder. The decoder reverses the operations of the encoder, converting the output of the backbone, again a 3D representation, back to the normal latitude-longitude grid (see Fig. 6b). This involves disaggregating the latent atmospheric pressure levels using a Perceiver layer to any desired collection of pressure levels and dynamically decoding into patches by means of variable-specific linear layers. For a detailed description of the decoder architecture, see Supplementary Information Section B.3.

The overall training procedure is composed of three stages: (1) pretraining; (2) short-lead-time fine-tuning; and (3) roll-out (long-lead-time) fine-tuning. We provide an overview for each of these stages in the following.

Training objective. Throughout pretraining and fine-tuning, we use the MAE as our training objective . Decomposing the predicted state and ground-truth state into surface-level variables and atmospheric variables, and (see Supplementary Information Section A), the loss can be written as

in which is the weight associated with surface-level variable , is the weight associated with atmospheric variable at pressure level is a weight for the surface-level component of the loss, is a weight for the atmospheric component of the loss and is a dataset-specific weight. See Supplementary Information Section D. 1 for more details.

Pretraining methods. All models are pretrained for 150,000 steps on 32 A100 GPUs, with a batch size of one per GPU. We use a (half) cosine decay with a linear warm-up from zero for 1,000 steps. The base learning rate is , which the schedule reduces by a factor of ten at the end of training. The optimizer we use is AdamW . We set the weight decay of AdamW to . The only other form of regularization we use is drop path (that is, stochastic depth) , with the drop probability set to 0.2. To make the model fit in memory, we use activation checkpointing for the backbone layers and we shard all of the model gradients across the GPUs. The model is trained using bf16 mixed precision. See Supplementary Information Section D. 2 for further details.

Short-lead-time fine-tuning. After pretraining Aurora, for each task that we wish to adapt Aurora to, we start by fine-tuning the entire architecture through one or two roll-out steps (depending on the task and its memory constraints). See Supplementary Information Section D. 3 for more details.

Roll-out fine-tuning. To train very large Aurora models on long-term dynamics efficiently, even at high resolutions, we develop a new roll-out fine-tuning approach. Our approach uses low-rank adaptation (LoRA) to fine-tune all linear layers in the backbone’s self-attention operations, allowing adaptation of very large models in a data-efficient and parameter-efficient manner. To save memory, we use the ‘pushforward trick , which propagates gradients only through the last roll-out step. Finally, to enable training at very large numbers of roll-out steps without compromising memory or training speed, we use an in-memory replay buffer, inspired by deep reinforcement learning (see Fig. D2 in Supplementary Information Section D.3). The replay buffer samples initial conditions, computes predictions for the next time step, adds predictions back to the replay buffer and periodically refreshes the buffer with new initial conditions from the dataset. For detailed roll-out protocols for each fine-tuning task, see Supplementary Information Section D.4.

Aurora was trained and evaluated using a diverse set of weather and climate datasets, encompassing five main categories: analysis, reanalysis, forecast, reforecast and climate simulation datasets. This variety of data sources exposes Aurora to different aspects of atmospheric dynamics, reflecting variability in initial conditions, model parametrizations and chaotic dynamics. Key datasets used in our experiments include ERA5 reanalysis, HRES operational forecasts, IFS ensemble forecasts, GFS operational forecasts, GEFS ensemble reforecasts, CMIP6 climate simulations, MERRA-2 atmospheric reanalysis, as well as CAMS forecasts, analysis and reanalysis data. For a detailed inventory of all datasets used, including specific pressure levels, resolutions and further context for each dataset, see Supplementary Information Section C. These datasets vary in resolution, variables included and temporal coverage, providing a comprehensive basis for training, fine-tuning and evaluating the performance of Aurora across different scenarios.

Ocean wave forecasting. In the IFS HRES-WAM analysis data, there is a spatially varying absence of data reflecting the distribution of sea ice among other effects. To account for this dynamic nature of the spatial distribution of defined variables, we give each variable an extra channel to represent the presence of a measurement, so we add an extra set of density variables (see Supplementary Information Section B.8).

Training Aurora presented substantial technical challenges owing to the large size of individual data points (nearly 2 GB for data) and the need to handle heterogeneous datasets with varying resolutions, variables and pressure levels. Owing to the size of data points, training is typically bottlenecked by data loading and not by the model. This means that training smaller models is not always cheaper, because training costs will be dominated by data loading. We developed a sophisticated data storage and loading infrastructure to address these technical challenges.

Data storage and preprocessing. We use Azure Blob Storage with several optimizations to ensure efficient data access. These optimizations include colocating data and compute to minimize latency and costs, storing datasets in appropriate chunks to avoid unnecessary data download and to minimize the number of concurrent connections and compressing these chunks to reduce network bandwidth.

Data loading. We have developed an advanced multisource data loading pipeline to efficiently handle heterogeneous data. We now outline the main design principles of our pipeline. Datasets are instantiated using YAML configuration files specifying loading parameters. Each dataset generates a stream of lightweight BatchGenerator objects. The scope of the BatchGenerator class is to abstract away the details and particularities of datasets by offering a common interface for generating
data batches. The streams are combined, shuffled and sharded across GPUs. After sharding, finally the common interface of BatchGenerator is used to do the work needed to download and construct batches for training and inference.
This pipeline enables efficient training on several heterogeneous datasets by batching only samples from the same dataset together and automatically balances workloads across GPUs by using different batch sizes for different datasets. This design offers flexibility needed to experiment with the Aurora model architecture while efficiently handling the challenges of large-scale, heterogeneous weather data processing. For a detailed description of the data loading pipeline, including the BatchGenerator object structure and the unpacking process, see Supplementary Information Section E.

We evaluate the performance of Aurora using two main metrics: the RMSE and the anomaly correlation coefficient. Both metrics incorporate latitude weighting to account for the non-uniform grid of the Earth. The RMSE measures the magnitude of errors between predictions and ground truth, whereas the anomaly correlation coefficient measures the correlation between the deviation of the prediction and ground truth from the daily climatology.
To assess performance on extreme weather events, we use a thresholded RMSE. The thresholded RMSE uses a threshold to determine which latitude-longitude grid points should be included in the calculation, allowing for evaluation of model performance across different intensity levels of weather phenomena. The thresholds are defined using the mean and standard deviation of the ERA5 reanalysis data over all training years computed separately for each latitude-longitude point. We vary these thresholds linearly for both positive and negative values to obtain RMSE curves for different intensity levels.

For a comprehensive explanation of the verification methods used in this work, including their mathematical formulation and interpretation, see Supplementary Information Section F. Taken together, the metrics used here provide a robust framework for evaluating the performance of Aurora across various weather conditions, from typical to extreme events.

Further details are available in the Supplementary Information and rely on refs. 26,46,57-75.

Most of the data used to train and evaluate Aurora can be obtained from publicly available sources. The ERA5 dataset can be obtained from the Climate Data Store (CDS) (https://cds.climate.copernicus.eu). The HRES Forecasts, HRES TO and HRES-WAM data can be obtained from the Meteorological Archival and Retrieval System (MARS) (https:// confluence.ecmwf.int/display/WEBAPI/Access+MARS). The ECMWF IFS Ensemble data were obtained from the WeatherBench2 repository (https://weatherbench2.readthedocs.io/en/latest/data-guide.html). The GFS Forecasts and GFS TO datasets can be downloaded from the National Oceanic and Atmospheric Administration (NOAA; https:// www.nco.ncep.noaa.gov/pmb/products/gfs/). The GEFS reforecasts dataset is also made available by the NOAA at https://registry.open-data.aws/noaa-gefs-reforecast/. The MERRA-2 dataset is made publicly available by NASA (https://gmao.gsfc.nasa.gov/reanalysis/merra-2/ data_access/). The CAMS global reanalysis (EAC4) is available on the ADS (Atmosphere Data Store) (https://ads.atmosphere.copernicus. eu/datasets/cams-global-reanalysis-eac4) . The CAMS forecasts and analysis are similarly available at https://ads.atmosphere.copernicus. eu/datasets/cams-global-atmospheric-composition-forecasts. The WeatherReal-ISD weather station dataset can be downloaded from GitHub (https://github.com/microsoft/WeatherReal-Benchmark).

The ground-truth tropical cyclone tracks were obtained from the International Best Track Archive for Climate Stewardship (IBTrACS) . Tropical cyclone tracks for baselines in the North Atlantic and East Pacific were downloaded from Automated Tropical Cyclone Forecast (ATCF; https://ftp.nhc.noaa.gov/atcf/) of the National Hurricane Center (NHC) and tracks for baselines in the West Pacific and Australian region were acquired from private communication with the National Taiwan University and the Australian Bureau of Meteorology. All of our plots were made using Matplotlib and the geographical maps were produced using Cartopy . A more detailed description of the data sources is provided in Supplementary Information Section C.

Our code and weights are publicly available at https://github.com/ microsoft/aurora (refs. 58-75,79-81).
50. Liu, Z. et al. Swin Transformer v2: scaling up capacity and resolution. In Proc. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 12009-12019 (IEEE, 2022).
51. Loshchilov, I. & Hutter, F. Decoupled weight decay regularization. In International Conference on Learning Representations, https://openreview.net/forum?id=Bkg6RiCqY7 (Curran Associates, 2019).
52. Larsson, G., Maire, M. & Shakhnarovich, G. FractalNet: ultra-deep neural networks without residuals. In International Conference on Learning Representations, https://openreview. net/forum?id=S1VaB4cex (Curran Associates, 2017).
53. Hu, E. J. et al. LoRA: low-rank adaptation of large language models. In International Conference on Learning Representations, https://openreview.net/forum?id=nZeVKeeFYf9 (Curran Associates, 2022).
54. Brandstetter, J., Worrall, D. E. & Welling, M. Message passing neural PDE solvers. In International Conference on Learning Representations, https://openreview.net/ forum?id=vSix3HPYKSU (Curran Associates, 2022).
55. Lin, L.-J. Reinforcement Learning for Robots Using Neural Networks. PhD thesis, Carnegie Mellon Univ. (1993).
56. Mnih, V. et al. Human-level control through deep reinforcement learning. Nature 518, 529-533 (2015).
57. Sampson, C. R. & Schrader, A. J. The automated tropical cyclone forecasting system (version 3.2). Bull. Am. Meteorol. Soc. 81, 1231-1240 (2000).
58. Gilmer, J., Schoenholz, S. S., Riley, P. F., Vinyals, O. & Dahl, G. E. Neural message passing for quantum chemistry. In Proc. 34th International Conference on Machine Learning (eds Precup, D. & Teh, Y. W.) 1263-1272 (PMLR, 2017).
59. Beyer, L. et al. FlexiViT: one model for all patch sizes. In Proc. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 14496-14506 (IEEE, 2023).
60. Rasp, S. et al. WeatherBench 2: a benchmark for the next generation of data-driven global weather models. J. Adv. Model. Earth Syst. 16, e2023MS004019 (2024).
61. Hersbach, H. et al. ERA5 hourly data on single levels from 1940 to present. Copernicus Climate Change Service (C3S) Climate Data Store (CDS), https://cds.climate.copernicus. eu/cdsapp#!/dataset/reanalysis-era5-single-levels?tab=overview (2018).
62. Hersbach, H. et al. ERA5 hourly data on pressure levels from 1940 to present. Copernicus Climate Change Service (C3S) Climate Data Store (CDS), https://cds.climate.copernicus. eu/cdsapp#!/dataset/reanalysis-era5-pressure-levels?tab=overview (2018).
63. European Centre for Medium-Range Weather Forecasts (ECMWF). Section 2.1.2.4 HRES High Resolution Forecasts. https://www.ecmwf.int/en/forecasts/datasets/set-i (2024).
64. European Centre for Medium-Range Weather Forecasts (ECMWF). Section 5 Forecast Ensemble (ENS) – Rationale and Construction. https://confluence.ecmwf.int/display/FUG/ Section+5+Forecast+Ensemble+%28ENS%29+-+Rationale+and+Construction (2024).
65. National Oceanic and Atmospheric Administration (NOAA). NOAA Global Forecast System (GFS). https://registry.opendata.aws/noaa-gfs-bdp-pds (2024).
66. National Oceanic and Atmospheric Administration (NOAA). NOAA Global Ensemble Forecast System (GEFS). https://registry.opendata.aws/noaa-gefs (2024).
67. Scoccimarro, E., Bellucci, A. & Peano, D. CMCC CMCC-CM2-VHR4 model output prepared for CMIP6 HighResMIP hist-1950. Earth System Grid Federation, https://doi.org/ 10.22033/ESGF/CMIP6.3818 (2018).
68. European Centre for Medium-Range Weather Forecasts (ECMWF). PRIMAVERA: European Centre for Medium-Range Weather Forecasts (ECMWF) ECMWF-IFS-HR model output for the “hist-1950” experiment. NERC EDS Centre for Environmental Data Analysis, https:// catalogue.ceda.ac.uk/uuid/470e43e166c44e5990f4f74bc90562d6 (2022).
69. Global Modeling and Assimilation Office (GMAO). MERRA-2: 2d, 1-hourly, time-averaged, single-level, assimilation, single-level diagnostics V5.12.4. Goddard Earth Sciences Data and Information Services Center (GES DISC), https://disc.gsfc.nasa.gov/information/ mission-project?title=MERRA-2 (2022).
70. European Centre for Medium-Range Weather Forecasts (ECMWF). CAMS: global atmospheric composition forecast data documentation. https://confluence.ecmwf. int/display/CKB/CAMS%3A+Global+atmospheric+composition+forecast+data+ documentation (2024).
71. Lang, S. et al. AIFS – ECMWF’s data-driven forecasting system. Preprint at https://arxiv.org/ abs/2406.01465 (2024).
72. Dehghani, M. et al. Patch Pack: NaViT, a vision transformer for any aspect ratio and resolution. In Advances in Neural Information Processing Systems 36 (eds Oh, A. et al.) 2252-2274, https://proceedings.neurips.cc/paper_files/paper/2023/file/06ea400b9b7cf ce6428ec27a371632eb-Paper-Conference.pdf (2023).
73. Rasp, S. et al. WeatherBench: a benchmark data set for data-driven weather forecasting. J. Adv. Model. Earth Syst. 12, e2020MS002203 (2020).
74. Hoffmann, J. et al. Training compute-optimal large language models. In Proc. 36th International Conference on Neural Information Processing Systems (eds Koyejo, S. et al.) 30016-30030 (Curran Associates, 2024).
75. Gunasekar, S. et al. Textbooks are all you need. In International Conference on Learning Representations, https://openreview.net/forum?id=Fq8tKtjACC (Curran Associates, 2024).
76. Inness, A. et al. CAMS global reanalysis (EAC4). Copernicus Atmosphere Monitoring Service (CAMS) Atmosphere Data Store (ADS), https://ads.atmosphere.copernicus.eu/ cdsapp#!/dataset/cams-global-reanalysis-eac4?tab=overview (2024).
77. Hunter, J. D. Matplotlib: a 2D graphics environment. Comput. Sci. Eng. 9, 90-95 (2007).
78. UK Met Office. Cartopy: a cartographic Python library with a Matplotlib interface. https://scitools.org.uk/cartopy (2010-2015).
79. Bodnar, C. et al. microsoft/aurora: v1.5.1. Zenodo https://doi.org/10.5281/zenodo.14983584 (2025).
80. Nguyen, T., Brandstetter, J., Kapoor, A., Gupta, J. K. & Grover, A. ClimaX: a foundation model for weather and climate. In Proc. 40th International Conference on Machine Learning (eds Krause, A. et al.) 25904-25938, https://proceedings.mlr.press/v202/ nguyen23a.html (PMLR, 2023).
81. Kaplan, J. et al. Scaling laws for neural language models. Preprint at https://arxiv.org/ abs/2001.08361 (2020)

Acknowledgements We thank the European Centre for Medium-Range Weather Forecasts (ECMWF) and the National Oceanic and Atmospheric Administration (NOAA) for their commitment to open science and their substantial efforts to generate, curate and openly disseminate all of the datasets that enabled our work and we thank M . Chantry for the helpful advice on the ECMWF’s data sources. We thank the Copernicus Atmosphere Monitoring Service (CAMS) team at the ECMWF for insightful discussions. We thank W. Shi, Y. Wang, P. Hu and Q. Meng from Microsoft Research, Al for Science and R. T. des Combes and S. Chen from Microsoft Research for helpful inputs in the early stages of this work. We thank D. Kumar, W. Jin, S. Klocek, S. Xiang and H. Sun from MSN Weather for their technical feedback throughout this project. We also thank D. Schwarenthorer for his help with Azure computing and licensing. Finally, we thank A. Foong and F. Noé for constructive feedback during the writing of this manuscript. We are also grateful to N. Shankar for his assistance with the HRESTO dataset. R.E.T. was financed by EPSRC Prosperity Partnership EP/TO05386/1 between Microsoft Research and the University of Cambridge during the final stages of the project.

Author contributions C.B., W.P.B., A.L. and M.S. were the four core contributors of this project. They formulated, implemented and evaluated all aspects of Aurora, including the model architecture, the training and fine-tuning pipelines, as well as all experiments and evaluations, except for the tropical cyclone results. A.A. was also a core contributor, provided critical feedback and helped conceptualize, formulate and design the experiments. A.A. originated and carried out the tropical cyclone experiments and evaluations, with the assistance of W.P.B. and C.-C.W. P.G. and M.R. supported the engineering infrastructure of this project. J.B., J.K.G. and M.W. contributed to the initial development and conceptualization of this research. J.A.W., H.D. and K.T. provided regular feedback and carried out all comparisons against weather station data. A.T.A. provided guidance on the CAMS experiments and model evaluation. E.H. provided assistance with programme management and research timelines. R.E.T. and P.P. supervised all aspects of this project. All authors contributed to the writing and editing of this manuscript.

Competing interests C.B., W.P.B., M.S., J.B., P.G., M.R., J.A.W., H.D., J.K.G., K.T., E.H., M.W. and P.P. own Microsoft stock. W.P.B., M.S., P.G., M.R., J.A.W., H.D. and K.T. are Microsoft employees. C.B. and J.K.G. are employees of Silurian AI Inc. and own Silurian AI Inc. stock. The remaining authors declare no competing interests.

Supplementary information The online version contains supplementary material available at https://doi.org/10.1038/s41586-025-09005-y.
Correspondence and requests for materials should be addressed to Paris Perdikaris. Peer review information Nature thanks Qi Tian and the other, anonymous, reviewer(s) for their contribution to the peer review of this work. Peer reviewer reports are available.
Reprints and permissions information is available at http://www.nature.com/reprints.

Extended Data Fig. 1| Pretraining on diverse data and increasing model size improves performance. a, Performance on ERA52021 at 6-h lead time for models pretrained on different dataset configurations, labelled C1-C4, without fine-tuning. Adding low-fidelity simulation data from CMIP6 (that is, CMCC and IFS-HR) improves performance almost uniformly (C2). Adding even more simulation data improves performance further on most surface variables and for the atmospheric levels present in this newly added data (C3). Finally, configuration C4, which includes comprehensive atmospheric coverage and analysis data from GFS, achieves the best overall performance, with improvements across the board.b, For the same configurations considered in
a, performance for extreme values on IFS HRES 2022 at lead time. Shows RMSEs computed only on data below (left panels) or above (right panels) a threshold together with a confidence interval obtained through bootstrapping. Pretraining on many diverse data sources also improves the forecasting of extreme values. c, Bigger models obtain lower IFS HRES validation loss for the same number of GPU hours. At 5,000 GPU hours, we find that the validation loss behaves like , in which is the number of parameters, which corresponds to a reduction in validation loss for every ten times increase in model size.

The resulting latent tokens are augmented with appropriate encodings that provide spatial, temporal and scale information.b, Aurora’s decoder module. The target output variables are reconstructed in spatial patches by decoding Aurora’s 3D latent state using Perceiver-style cross-attention blocks.