DOI: https://doi.org/10.3389/fhpcp.2025.1638924
تاريخ النشر: 2026-02-04
المؤلف: Ahmad Tarraf وآخرون
الموضوع الرئيسي: تكنولوجيا تخزين البيانات المتقدمة
نظرة عامة
في هذا القسم، يتناول المؤلفون التحديات المتعلقة بتحسين أداء الإدخال/الإخراج في مجموعات الحوسبة عالية الأداء (HPC)، لا سيما في سياق زيادة تعقيد مجموعة برامج الإدخال/الإخراج وأحمال العمل المعتمدة على البيانات. يبرزون قيود أساليب إدارة الإدخال/الإخراج الحالية، التي غالبًا ما تعتمد على نماذج تنبؤية تستند إلى بيانات التنفيذ السابقة التي قد لا تعكس بدقة سلوك الإدخال/الإخراج المستقبلي بسبب التباين الفطري. لمواجهة هذه المشكلة، يقترح المؤلفون تحسينًا لأداة موجودة، FTIO، من خلال استخدام تقنيات قائمة على الترددات لتوصيف مراحل الإدخال/الإخراج بشكل أكثر فعالية.
تدمج الطريقة المقترحة تحويل الموجات مع تحويل فورييه لتحسين دقة التنبؤ مع ضمان تمثيل مضغوط لسلوك الإدخال/الإخراج. يقوم المؤلفون بالتحقق من نهجهم باستخدام معيار التعلم العميق على مجموعة إنتاج، مما يظهر تحسينًا في توصيف أنماط الإدخال/الإخراج. في الختام، يلاحظون أن امتدادهم لـ FTIO يعزز قدرة الأداة على إدارة تباينات الإدخال/الإخراج من خلال استخراج نطاقات صالحة للترددات السائدة من خلال مزيج من تحويل فورييه المتقطع (DFT) وتحويل الموجات المتقطع (DWT). ومع ذلك، يعترفون بالحاجة إلى مزيد من التقييم لتحسين حسابات الحدود واختيار المعلمات لتحقيق الأداء الأمثل.
مقدمة
تسلط المقدمة الضوء على زيادة كثافة الإدخال/الإخراج في تطبيقات الحوسبة عالية الأداء الحديثة (HPC)، لا سيما بسبب ارتفاع تعلم الآلة وأعباء العمل المعتمدة على البيانات. مع تطور أعباء العمل نحو تطبيقات الإكساسكال، من المتوقع أن تزداد عدم قابلية التنبؤ بسلوك الإدخال/الإخراج وأنماط الوصول، حيث تقضي التطبيقات حاليًا 15%-40% من وقت تنفيذها على الإدخال/الإخراج، وهو رقم من المحتمل أن يرتفع أكثر. تعقد التباينات في أنماط الوصول وحجوم البيانات من عملية التوصيف والتوصيف للإدخال/الإخراج، والتي تظل غير كافية لأعباء العمل الناشئة في HPC.
يؤكد البحث على التحديات التي تطرحها تباينات الإدخال/الإخراج، والتنافس، والانفجارات، لا سيما مع ظهور تطبيقات تعرض مراحل إدخال/إخراج وحسابات متناوبة. من الجدير بالذكر أن عمليات الكتابة الدورية، مثل نقاط التحقق، يمكن أن تهيمن على استخدام الموارد، مما يمثل ساعات عقدة كبيرة وبيانات مكتوبة. يقدم المؤلفون FTIO (تقنيات التردد للإدخال/الإخراج)، وهي أداة مصممة للتنبؤ بمراحل الإدخال/الإخراج الدورية باستخدام تقنيات معالجة الإشارات وطرق اكتشاف القيم الشاذة. يهدف هذا البحث إلى تعزيز قدرات توصيف FTIO من خلال نهج هجين يدمج تحويلات الموجات المتقطعة وفورييه، إلى جانب تقنيات معالجة الإشارات الإضافية، ويقيم هذه التحسينات على مجموعة إنتاجية.
طرق
في هذه الدراسة، تم إجراء جميع التجارب على مجموعة Lichtenberg، باستخدام قسم المرحلة 1 بشكل خاص. تتكون هذه المجموعة من 643 عقدة حوسبة، كل منها مزود بـ 96 نواة CPU و384 جيجابايت من الذاكرة الرئيسية، مما يسهل قدرات حسابية كبيرة. يضمن وضع الوصول الحصري للمستخدم موارد مخصصة لكل مستخدم، بينما يوفر نظام الملفات المشترك، IBM Spectrum Scale، أداءً ذروياً يبلغ 150 جيجابايت/ثانية، مما يحسن من كفاءة معالجة البيانات والتعامل معها خلال التجارب.
مناقشة
في قسم المناقشة، يستكشف المؤلفون منهجيات مختلفة لتعزيز توصيف مراحل الإدخال/الإخراج في الحوسبة عالية الأداء (HPC). يبرزون فعالية FTIO، التي تستخدم تقنيات التردد واكتشاف القيم الشاذة للتنبؤ بفترات مراحل الإدخال/الإخراج في الوقت الحقيقي، محققة تحسينات كبيرة في استخدام النظام وأداء الإدخال/الإخراج. قدرة FTIO على تحليل تنسيقات الملفات المتنوعة وتكاملها مع أدوات مثل TMIO يمكّن من توصيف إشارات الإدخال/الإخراج سواء عبر الإنترنت أو خارجها. يوضح المؤلفون استخدام تحويل فورييه المتقطع (DFT) لتحليل التردد، مؤكدين على أهمية معدلات العينة واستخراج الترددات السائدة من خلال طرق مثل اكتشاف القيم الشاذة باستخدام Z-score.
علاوة على ذلك، يقدم المؤلفون تقنيات متقدمة مثل تركيب فورييه وتحليل الموجات لتحسين توصيف الإشارة. يعزز تركيب فورييه دقة تمثيل مراحل الإدخال/الإخراج من خلال تقريب الإشارات بأمواج جيبية، بينما توفر تحويلات الموجات تحليل متعدد الدقة، مما يسمح برؤى زمنية أفضل في سلوك الإدخال/الإخراج. يتم تقديم مزيج من DWT وDFT كنهج هجين يحسن من تحديد نطاقات الترددات الصالحة وسط تباينات الإدخال/الإخراج. تشير النتائج إلى أن هذه التحسينات تؤدي إلى توصيفات أكثر دقة، على الرغم من أن المؤلفين يعترفون بالحاجة إلى مزيد من التقييم لتحسين المعلمات وتحديد حسابات الحدود. بشكل عام، تؤكد النتائج على إمكانيات FTIO في معالجة تباين الأداء في عمليات الإدخال/الإخراج ضمن بيئات HPC.
DOI: https://doi.org/10.3389/fhpcp.2025.1638924
Publication Date: 2026-02-04
Author(s): Ahmad Tarraf et al.
Primary Topic: Advanced Data Storage Technologies
Overview
In this section, the authors address the challenges of optimizing I/O performance in high-performance computing (HPC) clusters, particularly in the context of increasing I/O software stack complexity and data-intensive workloads. They highlight the limitations of existing I/O management approaches, which often rely on predictive models based on past execution data that may not accurately reflect future I/O behavior due to inherent variability. To tackle this issue, the authors propose an enhancement to an existing tool, FTIO, by employing frequency-based techniques to characterize I/O phases more effectively.
The proposed method integrates wavelet transformation with Fourier transformation to improve prediction accuracy while ensuring a compact representation of I/O behavior. The authors validate their approach using a deep learning benchmark on a production cluster, demonstrating improved characterization of I/O patterns. In conclusion, they note that their extension to FTIO enhances the tool’s ability to manage I/O variations by extracting valid ranges for dominant frequencies through a combination of Discrete Fourier Transform (DFT) and Discrete Wavelet Transform (DWT). However, they acknowledge the need for further evaluation to refine boundary calculations and parameter selection for optimal performance.
Introduction
The introduction highlights the increasing I/O intensity of modern high-performance computing (HPC) applications, particularly due to the rise of machine learning and data-intensive workflows. As workloads evolve towards exascale applications, the unpredictability of I/O behavior and access patterns is expected to worsen, with applications currently spending 15%-40% of their execution time on I/O, a figure likely to rise further. The variability in access patterns and data volumes complicates the profiling and characterization of I/O, which remains inadequate for emerging HPC workloads.
The paper emphasizes the challenges posed by I/O variability, contention, and bursts, particularly as applications exhibit alternating I/O and computational phases. Notably, periodic write operations, such as checkpointing, can dominate resource usage, accounting for significant node hours and data written. The authors introduce FTIO (Frequency Techniques for I/O), a tool designed to predict periodic I/O phases using signal processing techniques and outlier detection methods. This paper aims to enhance FTIO’s characterization capabilities through a hybrid approach that integrates discrete Wavelet and Fourier transforms, alongside additional signal processing techniques, and evaluates these improvements on a productive cluster.
Methods
In this study, all experiments were conducted on the Lichtenberg cluster, specifically utilizing the Stage 1 partition. This cluster comprises 643 compute nodes, each equipped with 96 CPU cores and 384 GB of main memory, facilitating substantial computational capabilities. The user-exclusive access mode ensures dedicated resources for each user, while the shared file system, IBM Spectrum Scale, provides a peak performance of 150 GB/s, optimizing data handling and processing efficiency during the experiments.
Discussion
In the discussion section, the authors explore various methodologies for enhancing I/O phase characterization in high-performance computing (HPC). They highlight the effectiveness of FTIO, which utilizes frequency techniques and outlier detection to predict I/O phase periods in real-time, achieving significant improvements in system utilization and I/O performance. FTIO’s capability to analyze diverse file formats and its integration with tools like TMIO enable both online and offline characterization of I/O signals. The authors detail the use of the Discrete Fourier Transform (DFT) for frequency analysis, emphasizing the importance of sampling rates and the extraction of dominant frequencies through methods such as Z-score outlier detection.
Furthermore, the authors introduce advanced techniques like Fourier fitting and wavelet analysis to refine signal characterization. Fourier fitting enhances the accuracy of I/O phase representation by approximating signals with sinusoidal waves, while wavelet transforms provide multi-resolution analysis, allowing for better temporal insights into I/O behavior. The combination of DWT and DFT is presented as a hybrid approach that improves the identification of valid frequency ranges amidst I/O variations. The results indicate that these enhancements lead to more precise characterizations, although the authors acknowledge the need for further evaluation to optimize parameters and refine boundary calculations. Overall, the findings underscore the potential of FTIO in addressing performance variability in I/O operations within HPC environments.