DOI: https://doi.org/10.1109/tkde.2026.3674110
تاريخ النشر: 2026-03-16
المؤلف: Hanchen Yang وآخرون
الموضوع الرئيسي: العمليات المحيطية والجوية
نظرة عامة
تقدم الورقة البحثية نموذج LLM المعزز برسم المعرفة المحيطية (OKG-LLM)، وهو إطار عمل جديد يهدف إلى تحسين توقعات درجة حرارة سطح البحر (SST) من خلال دمج المعرفة المتخصصة مع البيانات الملاحظة. مع إدراك قيود الأساليب الحالية المعتمدة على البيانات، يقوم المؤلفون ببناء رسم بياني منظم للمعرفة المحيطية (OKG) يجسد مبادئ المحيطات المتنوعة. يعمل هذا الرسم كقاعدة لشبكة تضمين الرسم البياني، التي تلتقط كل من الخصائص الفريدة لمناطق البحر الفردية وعلاقاتها المتبادلة. من خلال محاذاة هذه المعرفة المشفرة مع بيانات SST العددية الدقيقة واستخدام نموذج لغة كبير مدرب مسبقًا (LLM)، يقوم الإطار بفعالية بنمذجة أنماط SST، مما يؤدي إلى تحسين دقة التوقعات.
تظهر النتائج التجريبية الواسعة أن OKG-LLM يتفوق على نماذج الأساس الحديثة عبر مجموعة متنوعة من مقاييس التقييم، مما يبرز فعاليته وقوته. تؤكد دراسات الإزالة أيضًا على أهمية كل مكون، لا سيما ترميز رسم المعرفة وآلية المحاذاة الدقيقة، في تحقيق أداء متفوق. تشير النتائج إلى أن دمج المعرفة المتخصصة مع LLMs يمثل نهجًا واعدًا لمهام التنبؤ المعقدة في المحيط. تشمل اتجاهات البحث المستقبلية دمج المعرفة البيئية الإضافية، مثل التفاعلات بين الهواء والبحر ودورة الكربون، لتحسين توقعات SST بشكل أكبر.
مقدمة
تسلط المقدمة الضوء على أهمية دمج المعرفة المتخصصة لتعزيز أداء نماذج الأساس في مجالات متنوعة، بما في ذلك علوم الحياة، وعلوم الأرض، وعلوم المواد، وعلوم المحيطات. ومن الجدير بالذكر أن OceanGPT يمثل مثالًا على التخصيص الناجح لنموذج لغة كبير مدرب مسبقًا (LLM) باستخدام مجموعة بيانات شاملة في مجال المحيطات، مما يؤدي إلى تحسين القدرات في الإجابة على الأسئلة المتعلقة بالمحيطات. ومع ذلك، هناك فجوة في تطوير الأساليب التي تجمع بين المعرفة المتخصصة وبيانات السلاسل الزمنية لتوقعات المحيط.
تم تحديد الرسوم البيانية للمعرفة (KGs) كأداة قوية لتمثيل المعرفة المتخصصة، حيث توفر رؤى منظمة يمكن أن تعزز دقة التوقعات بما يتجاوز الأساليب التقليدية المعتمدة على البيانات. بينما تم استخدام KGs بفعالية في التنبؤ المكاني الزمني الحضري وتقنيات التوليد المعزز بالاسترجاع (RAG)، لا تزال تطبيقاتها على البيانات العددية الدقيقة، مثل درجة حرارة سطح البحر (SST)، غير مستكشفة إلى حد كبير. تختتم المقدمة بالتأكيد على قيود أساليب توقع SST الحالية، التي تفشل في دمج المعرفة المحيطية الأساسية، وتقدم المساهمة الأساسية للبحث: إطار عمل جديد يمكّن LLMs من استخدام المعرفة المنظمة من KGs لتوقعات SST الأكثر دقة.
طرق
في هذا القسم، يوضح المؤلفون الإعدادات التجريبية المستخدمة لتقييم نموذجهم المقترح، OKG-LLM، لتوقع درجة حرارة سطح البحر (SST). تتضمن خطة التوقع التنبؤ بـ SST لخطوات زمنية مستقبلية $\tau$ بناءً على الملاحظات التاريخية من الخطوات الزمنية الماضية $T$، مع إجراء التجارب لأطوال توقعات تبلغ 8 و16 و32 أسبوعًا. تم تنفيذ جميع النماذج باستخدام Python مع Pytorch 1.13.1 وتم تحسينها باستخدام مُحسِّن Adam على مدى 50 دورة كحد أقصى، مع استخدام الإيقاف المبكر للتخفيف من الإفراط في التكيف. تم تكرار التجارب عشر مرات لضمان القوة، مع إعدادات معلمات محددة تشمل أحجام دفعات تبلغ 64 و16 و16 لأطوال التوقعات المعنية، ومعدل تعلم يتناقص كل أربع دورات.
تشير النتائج إلى أن OKG-LLM يتفوق باستمرار على تسعة نماذج أساسية عبر جميع المقاييس وأطوال التوقعات، محققًا تحسينات تتراوح بين 7.5% إلى 15.1% في متوسط الخطأ التربيعي (MSE) مقارنة بالنموذج الثاني الأفضل، TimeLLM. تشير النتائج إلى أن الأساليب المعتمدة على LLM عمومًا تؤدي بشكل أفضل من الأساليب التقليدية المعتمدة على المحولات، ومع ذلك، يتفوق OKG-LLM بفضل تصميمه الهجين الذي يدمج المعرفة المتخصصة مع الهياكل العصبية المتقدمة. ومن الجدير بالذكر أنه بينما تظهر النماذج الأخرى تراجعًا في الأداء مع تسلسلات التوقع الأطول، يحافظ OKG-LLM على قوته، مما يوضح قابليته للتوسع لتوقعات SST على المدى الطويل. علاوة على ذلك، تكشف تحليل الكفاءة أن OKG-LLM يحقق توازنًا ملائمًا بين الأداء والكفاءة الحاسوبية، مما يجعله خيارًا عمليًا للتطبيقات الواقعية في توقع SST العالمي.
نتائج
يسلط قسم النتائج الضوء على أداء نموذج OKG-LLM في توقع درجة حرارة سطح البحر (SST) مقارنة بالأساليب التقليدية ونموذج آخر يعتمد على LLM، TimeLLM. كما هو موضح في الشكل 5، يظهر OKG-LLM وTimeLLM أخطاء مطلقة متوسطة (MAE) أقل بكثير من النماذج التقليدية مثل FreTS وTimeMixer+، لا سيما في المناطق الحساسة للمناخ مثل منطقة النينيو- oscillation الجنوبية (ENSO). تظهر الأساليب التقليدية تدهورًا كبيرًا في الأداء في بعض المناطق، مما يشير إلى قيم MAE مرتفعة.
يتم تقديم مزيد من التحقق من فعالية OKG-LLM في الشكل 6، الذي يوضح أدائه في التنبؤ عبر أربع مناطق مختارة عشوائيًا. تشير النتائج إلى أن التوقعات التي قدمها OKG-LLM (الممثلة بالخط الأحمر) تتماشى باستمرار بشكل أقرب مع بيانات الحقيقة الأرضية الفعلية (الخط الأزرق) مقارنة بتلك الخاصة بالأساليب المنافسة. تؤكد هذه النتيجة على مزايا دمج المعرفة المحيطية المنظمة من خلال الرسوم البيانية للمعرفة لتعزيز فهم الأنماط الإقليمية المعقدة في المحيط، مما يؤدي إلى توقعات SST أكثر دقة.
نقاش
في هذا القسم، يستعرض المؤلفون الأدبيات الحالية حول توقع درجة حرارة سطح البحر (SST)، مشيرين إلى قيود المنهجيات الحالية. تُقسم أساليب توقع SST بشكل أساسي إلى نماذج عددية، والتي تتطلب حسابات مكثفة وتعتمد على المبادئ المحيطية، ونماذج معتمدة على البيانات، لا سيما تقنيات التعلم العميق مثل الشبكات العصبية المتكررة (RNNs) والمحولات. بينما حسنت النماذج المتقدمة مثل Informer وFedformer قدرات التنبؤ، فإنها غالبًا ما تتجاهل المعرفة المحيطية الأساسية، مما يمكن أن يعيق دقة التوقعات. يقترح المؤلفون إطار عمل جديد يدمج رسم المعرفة المحيطية (OKG) مع البيانات العددية لتعزيز أداء التوقعات، مع معالجة أوجه القصور في النماذج الحالية.
كما يناقش المؤلفون تطبيق نماذج اللغة الكبيرة (LLMs) في توقع السلاسل الزمنية، مشيرين إلى أنه بينما أظهرت الجهود الأخيرة مثل PromptCast وTime-LLM وعدًا، فإنها غالبًا ما تعالج LLMs كموصلات ميزات عامة دون دمج المعرفة المتخصصة. يقدم أسلوبهم المقترح آلية محاذاة دقيقة لدمج البيانات الزمنية مع المعرفة المحيطية بشكل فعال، مما يؤدي إلى تحسين دقة التوقعات. يتم تفصيل بناء OKG، مع التأكيد على دوره في توفير معرفة محيطية منظمة وقابلة للاستعلام تعزز فهم ديناميات SST. بشكل عام، يؤكد المؤلفون أن إطار عمل OKG-LLM الخاص بهم يتفوق بشكل كبير على النماذج التقليدية والمعتمدة على LLM في مهام توقع SST، مما يوضح أهمية دمج المعرفة المتخصصة في النمذجة التنبؤية.
DOI: https://doi.org/10.1109/tkde.2026.3674110
Publication Date: 2026-03-16
Author(s): Hanchen Yang et al.
Primary Topic: Oceanographic and Atmospheric Processes
Overview
The research paper presents the Ocean Knowledge Graph-enhanced LLM (OKG-LLM), a novel framework aimed at improving sea surface temperature (SST) prediction by integrating domain knowledge with observational data. Recognizing the limitations of existing data-driven methods, the authors construct a structured Ocean Knowledge Graph (OKG) that encapsulates diverse oceanographic principles. This graph serves as a foundation for a graph embedding network, which captures both the unique characteristics of individual sea regions and their interrelations. By aligning this encoded knowledge with fine-grained numerical SST data and utilizing a pre-trained large language model (LLM), the framework effectively models SST patterns, leading to enhanced prediction accuracy.
Extensive experimental results demonstrate that OKG-LLM outperforms state-of-the-art baseline models across various evaluation metrics, underscoring its effectiveness and robustness. Ablation studies further validate the significance of each component, particularly the knowledge graph encoding and the fine-grained alignment mechanism, in achieving superior performance. The findings suggest that the integration of domain knowledge with LLMs represents a promising approach for complex ocean prediction tasks. Future research directions include the incorporation of additional environmental knowledge, such as air-sea interactions and carbon cycling, to further refine SST predictions.
Introduction
The introduction highlights the significance of integrating domain-specific knowledge to enhance the performance of foundation models in various fields, including bioscience, geoscience, materials science, and ocean science. Notably, OceanGPT exemplifies the successful fine-tuning of a pre-trained Large Language Model (LLM) using a comprehensive ocean domain corpus, leading to improved capabilities in ocean-related question answering. However, a gap exists in the development of methods that combine domain knowledge with time-series data for ocean predictions.
Knowledge Graphs (KGs) are identified as a potent tool for representing domain knowledge, providing structured insights that can enhance prediction accuracy beyond traditional data-driven methods. While KGs have been effectively utilized in urban spatiotemporal prediction and retrieval-augmented generation (RAG) techniques, their application to fine-grained numerical data, such as sea surface temperature (SST), remains largely unexplored. The introduction concludes by emphasizing the limitations of current SST prediction methods, which fail to incorporate essential oceanographic knowledge, and presents the core contribution of the research: a novel framework that enables LLMs to utilize structured ocean knowledge from KGs for more accurate SST predictions.
Methods
In this section, the authors detail the experimental setups used to evaluate their proposed model, OKG-LLM, for predicting sea surface temperature (SST). The prediction scheme involves forecasting SST for future $\tau$ time steps based on historical observations from the past $T$ time steps, with experiments conducted for prediction lengths of 8, 16, and 32 weeks. All models were implemented in Python using Pytorch 1.13.1 and optimized with the Adam optimizer over a maximum of 50 epochs, employing early stopping to mitigate overfitting. The experiments were repeated ten times to ensure robustness, with specific parameter settings including batch sizes of 64, 16, and 16 for the respective prediction lengths, and a learning rate that decreases every four epochs.
The results indicate that OKG-LLM consistently outperforms nine baseline models across all metrics and prediction lengths, achieving improvements of 7.5% to 15.1% in Mean Square Error (MSE) compared to the second-best model, TimeLLM. The findings suggest that LLM-based approaches generally perform better than traditional transformer methods, yet OKG-LLM excels due to its hybrid design that integrates domain-specific knowledge with advanced neural architectures. Notably, while other models exhibit performance declines with longer forecasting sequences, OKG-LLM maintains robustness, demonstrating its scalability for long-range SST predictions. Furthermore, efficiency analysis reveals that OKG-LLM strikes a favorable balance between performance and computational efficiency, making it a practical choice for real-world applications in global SST prediction.
Results
The results section highlights the performance of the OKG-LLM model in predicting sea surface temperature (SST) compared to traditional methods and another LLM-based approach, TimeLLM. As shown in Figure 5, OKG-LLM and TimeLLM exhibit significantly lower mean absolute errors (MAE) than traditional models such as FreTS and TimeMixer+, particularly in climate-sensitive regions like the El Niño-Southern Oscillation (ENSO) area. The traditional methods demonstrate considerable performance degradation in certain areas, indicated by high MAE values.
Further validation of OKG-LLM’s effectiveness is presented in Figure 6, which illustrates its prediction performance across four randomly selected regions. The results indicate that the predictions made by OKG-LLM (represented by the red line) consistently align more closely with the actual ground-truth data (blue line) than those of the competing methods. This finding emphasizes the advantages of incorporating structured oceanographic knowledge through knowledge graphs to enhance the understanding of complex regional oceanic patterns, leading to more accurate SST forecasting.
Discussion
In this section, the authors review existing literature on sea surface temperature (SST) prediction, highlighting the limitations of current methodologies. SST prediction approaches are primarily divided into numerical models, which are computationally intensive and based on oceanographic principles, and data-driven models, particularly deep learning techniques like Recurrent Neural Networks (RNNs) and Transformers. While advanced models such as Informer and Fedformer have improved forecasting capabilities, they often neglect critical oceanographic knowledge, which can hinder prediction accuracy. The authors propose a novel framework that integrates an Ocean Knowledge Graph (OKG) with numerical data to enhance prediction performance, addressing the shortcomings of existing models.
The authors also discuss the application of large language models (LLMs) in time series prediction, noting that while recent efforts like PromptCast and Time-LLM have shown promise, they often treat LLMs as generic feature extractors without incorporating domain-specific knowledge. Their proposed method introduces a fine-grained alignment mechanism to effectively fuse temporal data with ocean knowledge, leading to improved prediction accuracy. The construction of the OKG is detailed, emphasizing its role in providing structured, queryable ocean knowledge that enhances the understanding of SST dynamics. Overall, the authors assert that their OKG-LLM framework significantly outperforms traditional and LLM-based models in SST prediction tasks, demonstrating the importance of integrating domain knowledge into predictive modeling.