DOI: https://doi.org/10.1029/2024ms004313
تاريخ النشر: 2026-02-01
المؤلف: L. Minah Yang وآخرون
الموضوع الرئيسي: الظواهر الجوية والمحاكاة
نظرة عامة
تناقش هذه الفقرة التحديات المتعلقة بعدم توازن البيانات في العمليات الجيوفيزيائية، وخاصة في سياق التوصيفات المعتمدة على البيانات المستخدمة في نمذجة نظام الأرض. وتبرز أن العمليات الجيوفيزيائية غير المحلولة غالبًا ما تؤدي إلى توزيعات ذات ذيول طويلة، مما يؤدي إلى مجموعات بيانات حيث تكون الأحداث النادرة ممثلة بشكل ناقص. لمعالجة هذه المشكلة، تم اقتراح استراتيجيتين: تعديل طريقة أخذ العينات لتقليل عينة الحالات المتكررة بينما يتم زيادة عينة الحالات النادرة، وضبط دالة الخسارة لوزن مساهمات هذه الحالات بشكل مختلف. توضح دراسة حالة تتعلق بمحاكي تعلم الآلة لتوصيف موجات الجاذبية تطبيق هذه الطرق، باستخدام نطاق الرياح كمقياس رئيسي لتحديد ومعالجة عدم توازن البيانات.
تشير النتائج إلى أنه بينما يمكن أن يقلل إعادة توازن البيانات من الأخطاء في منطقة الذيل المعتدلة، إلا أنه قد يزيد عن غير قصد من خطأ التعميم في الذيل بسبب تعقيد النموذج. كما تلاحظ الدراسة أنه لا يوجد ميزة واضحة بين طرق أخذ العينات المباشرة وطرق الخسارة الموزونة، وأن هناك حاجة لمزيد من البحث لتحسين اختيار المقاييس لتحديد عدم توازن البيانات. بالإضافة إلى ذلك، يتم مناقشة إزالة التحيز كطريقة لتصحيح التحيزات في النماذج المدربة، ولكن فعاليتها محدودة بتمثيل بيانات التدريب. بشكل عام، تؤكد الأبحاث على أهمية معالجة عدم توازن البيانات في مجموعات بيانات علوم الأرض وتقترح أن العمل المستقبلي يجب أن يستكشف استراتيجيات أكثر فعالية لالتقاط تباين الأحداث النادرة.
مقدمة
في مقدمة هذه الورقة البحثية، يناقش المؤلفون تطبيق تقنيات تعلم الآلة (ML) لتعزيز التوصيف في نماذج المناخ، مع التركيز بشكل خاص على العمليات غير المحلولة أو المحلولة بشكل ناقص. حاولت الدراسات السابقة معالجة هذه التحديات، ومع ذلك لم تحقق أي منها نموذجًا مثاليًا على مقياس الشبكة الفرعية. إحدى القضايا المهمة التي تم تسليط الضوء عليها هي الصعوبة في التقاط الأحداث النادرة والمتطرفة، والتي تعتبر حاسمة لفهم تأثيرات المناخ، خاصة في سياق مجموعات بيانات علوم الأرض عالية الأبعاد. يحدد المؤلفون عدم توازن البيانات كأحد التحديات الشائعة في تعلم الآلة، خاصة في مهام الانحدار حيث يكون توزيع أزواج المدخلات والمخرجات غير متساوٍ، مما يعقد تعلم الدوال التي تمثل بدقة الأحداث النادرة.
تقترح الورقة طرقًا منهجية لمعالجة عدم توازن البيانات في مهام الانحدار، باستخدام نقل زخم موجات الجاذبية (GW) كدراسة حالة. يهدف المؤلفون إلى تطوير دالة \( g \) التي تربط مدخلات نموذج الغلاف الجوي، مثل ملفات الرياح ودرجات الحرارة، بالميول الزخمية الناتجة عن موجات الجاذبية غير المحلولة. يبنون على الأعمال السابقة التي استخدمت الشبكات العصبية العميقة لمحاكاة التوصيفات المعتمدة على الفيزياء الموجودة، مشيرين إلى أن عدم توازن البيانات يؤثر بشكل كبير على أداء النموذج، خاصة في التقاط القوة الزخمية في المناطق ذات التضاريس المعقدة. تتضمن الطريقة المقترحة خطوتين رئيسيتين: تحديد عدم توازن البيانات من خلال المعرفة الميدانية ومعالجته أثناء تدريب النموذج إما عن طريق تعديل أخذ عينات أمثلة التدريب أو ضبط دالة الخسارة لتسليط الضوء على الحالات النادرة. يقدم المؤلفون أيضًا طريقة لتصحيح التحيز في مرحلة الاستدلال، بهدف تعزيز دقة النموذج مع الحفاظ على قدرته على التعميم عبر مناخات مختلفة. يتم توضيح هيكل الورقة، مع تفاصيل الأقسام التالية التي تستكشف تحديد عدم توازن البيانات، وتعديلات التدريب، ونتائج دراسة الحالة.
النتائج
في قسم النتائج، تفحص الدراسة آثار ضبط المعامل \( t \) ضمن استراتيجية إعادة أخذ العينات، مع إعدادات ثابتة لحدود التكرار القصوى ودقة الرسم البياني. تم اختبار قيم مختلفة لـ \( t \)، وكشفت أن القيم المنخفضة (الأقرب إلى 0) حافظت على الدقة في نطاق الرياح القصوى (10 إلى 100 م/ث) دون تدهور كبير في الأداء. ومع ذلك، بينما حسنت إعادة أخذ العينات عمومًا الأداء في الذيل (100 إلى 200 م/ث)، إلا أنها أدت أيضًا إلى الإفراط في التكيف في أفضل شبكة أساسية، مما يشير إلى نتائج مختلطة.
تستكشف الأبحاث أيضًا أداء التوصيفات المعتمدة على البيانات المعدلة عند دمجها “عبر الإنترنت” مع نموذج الغلاف الجوي MiMA. أظهرت المحاكاة طويلة الأجل أن هذه التوصيفات أنتجت إحصائيات مناخية تتماشى مع النموذج الأصلي، على الرغم من أن الفروق بين النسخ الأساسية والموزونة لم تكن ذات دلالة إحصائية. تسلط الدراسة الضوء على أهمية التقاط التذبذب شبه الثنائي (QBO) كاختبار حاسم لتوصيفات موجات الجاذبية، مشيرة إلى أن فترة التذبذب في التكامل الضابط كانت أطول من المتوقع بسبب تحسين معلمات النموذج. بشكل عام، بينما حسنت إعادة التوازن الأداء بناءً على مقاييس الرياح، إلا أن تأثيرها على توصيف النموذج لم يكن حاسمًا، مما يشير إلى أن مزيدًا من التحقيق مع تكاملات ممتدة قد يكون ضروريًا لملاحظة تأثيرات كبيرة.
المناقشة
في هذا القسم، يناقش المؤلفون تحديد ومعالجة عدم توازن البيانات في مجموعة بيانات عالية الأبعاد المستخدمة لتدريب محاكي معتمد على البيانات لتوصيف موجات الجاذبية AD99 ضمن نموذج الغلاف الجوي MiMA. يؤكدون على أهمية التعرف على الحالات النادرة ولكن الحرجة في بيانات التدريب، وخاصة تلك المتعلقة بكسر موجات الجاذبية، والتي غالبًا ما تكون ممثلة بشكل ناقص. يقدم المؤلفون مقياس “نطاق الرياح” لت quantifying هذه الحالات النادرة، كاشفين عن توزيع ذو ذيل طويل في البيانات يؤدي إلى أخطاء تنبؤية منهجية في المحاكي، خاصة للحالات ذات القص العالي للرياح. يبرزون أنه بينما يعمل المحاكي بشكل جيد على الحالات النموذجية، إلا أنه يواجه صعوبة كبيرة مع الحالات غير النموذجية التي تتميز بتأثيرات غير محلية.
لمعالجة هذا التوازن، يقترح المؤلفون منهجيتين: تعديل الرسم البياني وإعادة توازن البيانات. يهدف تعديل الرسم البياني إلى إعادة تشكيل توزيع مجموعة بيانات التدريب لتحقيق تمثيل أكثر تجانسًا، مما يعزز قدرة النموذج على التعلم من الحالات النادرة. تعد طريقة إعادة توازن البيانات تعدل مساهمة العينات بناءً على موقعها في التوزيع، باستخدام استراتيجية إعادة أخذ العينات التي تعدل تكرار العينات من صناديق مختلفة وفقًا لأهميتها. بالإضافة إلى ذلك، يقدمون معلمة تكرار قصوى لمنع الإفراط في التكيف عن طريق تحديد معدلات إعادة أخذ العينات للحالات النادرة. يختتم القسم بمناقشة تقنيات إزالة التحيز لتحسين أداء النموذج أثناء الاستدلال، مما يضمن أن المحاكي يعمم بشكل جيد عبر التوزيع الكامل للمدخلات.
DOI: https://doi.org/10.1029/2024ms004313
Publication Date: 2026-02-01
Author(s): L. Minah Yang et al.
Primary Topic: Meteorological Phenomena and Simulations
Overview
The section discusses the challenges of data imbalance in geophysical processes, particularly in the context of data-driven parameterizations used in earth system modeling. It highlights that unresolved geophysical processes often yield long tail distributions, leading to datasets where rare events are underrepresented. To address this issue, two strategies are proposed: modifying the sampling method to undersample frequent instances while oversampling rare instances, and adjusting the loss function to weight the contributions of these instances differently. A case study involving a machine learning emulator for gravity wave parameterization demonstrates the application of these methods, using wind range as a key metric to identify and address data imbalance.
The findings indicate that while data rebalancing can reduce errors in the moderate tail region, it may inadvertently increase generalization error in the tail due to model complexity. The study also notes that there is no clear advantage between the direct sampling and weighted loss approaches, and further research is needed to refine the choice of metrics for identifying data imbalance. Additionally, mean bias removal is discussed as a method to correct biases in trained models, but its effectiveness is limited by the representativeness of the training data. Overall, the research underscores the importance of addressing data imbalance in geoscience datasets and suggests that future work should explore more effective strategies for capturing the variability of rare events.
Introduction
In the introduction of this research paper, the authors discuss the application of machine learning (ML) techniques to enhance parameterization in climate models, particularly focusing on un- or under-resolved processes. Previous studies have attempted to address these challenges, yet none have achieved a flawless sub-grid scale model. A significant issue highlighted is the difficulty in capturing rare and extreme events, which are critical for understanding climate impacts, particularly in the context of high-dimensional geoscience datasets. The authors identify data imbalance as a pervasive challenge in ML, especially in regression tasks where the distribution of input-output pairs is uneven, complicating the learning of functions that accurately represent rare events.
The paper proposes systematic methods to address data imbalance in regression tasks, using gravity wave (GW) momentum transport as a case study. The authors aim to develop a function \( g \) that maps atmospheric model inputs, such as wind and temperature profiles, to the momentum tendencies induced by unresolved gravity waves. They build upon previous work that employed deep neural networks to emulate existing physics-based parameterizations, noting that data imbalance significantly affects the model’s performance, particularly in capturing momentum forcing in regions with complex topography. The proposed approach involves two main steps: identifying data imbalance through domain knowledge and addressing it during model training by either modifying the sampling of training examples or adjusting the loss function to emphasize rare cases. The authors also introduce a method for bias correction at the inference stage, aiming to enhance the model’s accuracy while maintaining its ability to generalize across different climates. The structure of the paper is outlined, detailing subsequent sections that explore data imbalance identification, training modifications, and case study results.
Results
In the results section, the study examines the effects of tuning the parameter \( t \) within a resampling strategy, with fixed settings for maximum repeats and histogram resolution. Various values of \( t \) were tested, revealing that lower values (closer to 0) maintained accuracy in the peak wind range (10 to 100 m/s) without significant performance degradation. However, while resampling generally improved performance in the tail (100 to 200 m/s), it also led to overfitting in the best baseline network, indicating mixed results.
The research further explores the performance of modified data-driven parameterizations when integrated “online” with the MiMA atmospheric model. Long-term simulations demonstrated that these parameterizations produced climatological statistics consistent with the original model, although differences between baseline and re-balanced versions were not statistically significant. The study highlights the importance of capturing the Quasi-Biennial Oscillation (QBO) as a critical test for gravity wave parameterizations, noting that the oscillation period in the control integration was longer than expected due to model parameter optimization. Overall, while re-balancing improved performance based on wind metrics, its impact on the model’s parameterization was not critical, suggesting further investigation with extended integrations may be necessary to observe significant effects.
Discussion
In this section, the authors discuss the identification and treatment of data imbalance in a high-dimensional dataset used for training a data-driven emulator of the AD99 gravity wave parameterization within the MiMA atmospheric model. They emphasize the importance of recognizing rare but critical cases in the training data, particularly those related to gravity wave breaking, which are often underrepresented. The authors introduce a “wind range” metric to quantify these rare cases, revealing a long-tailed distribution in the data that leads to systematic prediction errors in the emulator, particularly for cases with high wind shear. They highlight that while the emulator performs well on typical cases, it struggles significantly with atypical cases characterized by non-local effects.
To address this imbalance, the authors propose two methodologies: histogram equalization and data rebalancing. Histogram equalization aims to reshape the distribution of the training dataset to achieve a more uniform representation, thereby enhancing the model’s ability to learn from rare cases. The data rebalancing method modifies the contribution of samples based on their position in the distribution, utilizing a resampling strategy that adjusts the frequency of samples from different bins according to their importance. Additionally, they introduce a maximum repeat parameter to prevent overfitting by capping the resampling rates for rare cases. The section concludes by discussing bias removal techniques to further improve model performance during inference, ensuring that the emulator generalizes well across the entire distribution of inputs.