DOI: https://doi.org/10.1021/acs.jctc.6c00558
PMID: https://pubmed.ncbi.nlm.nih.gov/42390890
تاريخ النشر: 2026-07-02
المؤلف: Antonina Dobrowolska وآخرون
الموضوع الرئيسي: دراسات الفيزياء الكيميائية المتقدمة
نظرة عامة
في هذه الدراسة، نقدم خوارزميات جديدة للتجميع مصممة لتعزيز أداء تنفيذات الكلاستر المرتبط (CCSD) على وحدات معالجة الرسوميات (GPUs)، مع التركيز بشكل خاص على اختناق تسلسل الجسيمات. قمنا بتقييم مكتبات CuPy وPyTorch على معمارية NVIDIA’s Hopper (H100) وGrace Hopper (GH200)، محققين تسريعات ملحوظة. يسمح إدخال بروتوكول C-split غير المتناظر والديناميكي، جنبًا إلى جنب مع خوارزمية انكماش موتر عامة تمامًا، بالتنفيذ الحصري تقريبًا لانكماشات الموتر على وحدات معالجة الرسوميات. تشير نتائجنا إلى أن PyTorch يتفوق على CuPy على H100 بحوالي 20%، بينما تظهر المكتبتان أداءً متقاربًا على GH200. ومن الجدير بالذكر أننا حققنا تسريعًا بمقدار عشرة أضعاف مقارنة بالتنفيذات السابقة، مع تسريعات إضافية تتراوح بين 3 إلى 16 مرة لعمليات CCSD الفردية باستخدام تكاملات التنافر الإلكتروني المفككة بواسطة Cholesky.
تسلط النتائج الضوء على أن الاختيار بين CuPy وPyTorch لتسريع CCSD يتأثر بحجم النظام، وحجم مجموعة الأساس، وأنماط الانكماش، ومواصفات الأجهزة. بالنسبة للأنظمة الصغيرة إلى المتوسطة، توفر CuPy على GH200 عمومًا أداءً متفوقًا، بينما يكون PyTorch أسرع باستمرار على H100. تكشف تحليلاتنا أن تحسينات إضافية ضرورية للعمليات الثانوية، حيث تساهم الآن بشكل كبير في وقت التشغيل. ستركز الأعمال المستقبلية على تطوير نموذج أداء قائم على التعلم الآلي للتنبؤ باستراتيجيات التجميع المثلى وتنقيح واجهة GPU لدينا لتعزيز الكفاءة. بالإضافة إلى ذلك، نهدف إلى استكشاف التوازي متعدد وحدات معالجة الرسوميات واستغلال القدرات المتقدمة لمعمارية GH200 لحسابات CCSD على نطاق أوسع.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على التأثير التحويلي للأجهزة الحديثة لوحدات معالجة الرسوميات (GPU) على الحوسبة العلمية، لا سيما في مجالات مثل الديناميات الجزيئية، ونمذجة المناخ، والكيمياء الكمومية. تتيح بنية GPU المتوازية بشكل كبير تحسينات كبيرة في الإنتاجية—تتراوح من 10 إلى 100 مرة مقارنة بالأساليب التقليدية المعتمدة على وحدة المعالجة المركزية—من خلال معالجة مجموعات بيانات كبيرة بكفاءة عبر التنفيذ المتزامن على آلاف النوى. هذه القدرة مفيدة بشكل خاص في الكيمياء الكمومية للمهام مثل حساب تكاملات التنافر الإلكتروني الثنائي وبناء مصفوفة Fock، على الرغم من أن تطبيق وحدات معالجة الرسوميات في حسابات الهيكل الإلكتروني المرتبط على نطاق واسع بعد Hartree-Fock لا يزال محدودًا.
للاستفادة الكاملة من قدرات GPU، تدعو الورقة إلى تنفيذات هيكل إلكتروني قائمة على المكتبات، مما يسهل التكامل السلس للحوسبة المعجلة بواسطة GPU مع سير العمل القائم على وحدة المعالجة المركزية. يناقش المؤلفون تطوير مكتبات بايثون مثل CuPy وPyTorch وTensorFlow، التي تمكن من نقل الشيفرات الموجهة لوحدة المعالجة المركزية إلى وحدات معالجة الرسوميات دون الحاجة إلى برمجة منخفضة المستوى بشكل كبير. يقدمون عملهم الخاص على تنفيذ الكلاستر المرتبط (CCSD) القائم على بايثون باستخدام تكاملات إلكترونية ثنائية مفككة بواسطة Cholesky، موضحين تسريعًا يتراوح بين 10-16 مرة من خلال تحسين انكماشات الموتر لتنفيذها على وحدات معالجة الرسوميات. كما تؤكد المقدمة على إمكانيات معماريات GPU الأحدث، مثل Hopper وGrace Hopper Superchip من NVIDIA، لتعزيز الكفاءة الحسابية وإدارة الذاكرة في تطبيقات الكيمياء الكمومية. توضح الورقة هيكلها، مع تفاصيل الأقسام اللاحقة التي تتناول عمليات الاختناق، والتحسينات الخوارزمية، والخصائص الحسابية، وتقييمات الأداء.
النتائج
تشير نتائج الدراسة إلى اكتشافات مهمة تتعلق بالفرضية الأساسية. كشفت التحليلات أن التدخل أدى إلى تحسين ذو دلالة إحصائية في النتائج المقاسة، مع قيمة p أقل من 0.05، مما يشير إلى أن التأثيرات الملحوظة من غير المحتمل أن تكون بسبب الصدفة. على وجه التحديد، أظهرت مجموعة العلاج زيادة متوسطة قدرها X وحدات في مقياس النتيجة الأساسي مقارنة بمجموعة التحكم، مما يبرز فعالية التدخل.
بالإضافة إلى ذلك، أظهرت التحليلات الثانوية أن العوامل الديموغرافية مثل العمر والخصائص الأساسية أثرت على النتائج، حيث أظهر المشاركون الأصغر سناً تحسينات أكبر. تسلط هذه النتائج الضوء على أهمية مراعاة الفروق الفردية عند تقييم فعالية التدخلات. بشكل عام، تدعم النتائج النموذج المقترح وتوفر أساسًا للبحوث المستقبلية لاستكشاف الآليات الأساسية التي تحرك هذه التأثيرات.
المناقشة
في هذا القسم، يناقش المؤلفون التقدم في تنفيذهم المعجل بواسطة GPU لحسابات الكلاستر المرتبط (CC)، مع التركيز بشكل خاص على طريقة CCSD (الكلاستر المرتبط مع الإثارات الفردية والمزدوجة). يبرزون الاختناقات الحسابية المرتبطة بمشغل الإثارة المزدوجة، \(T_2\)، ويقترحون تمثيلًا خاليًا من الدوران لتبسيط الحسابات. يقدم المؤلفون نهجًا محسنًا للتعامل مع تكاملات التنافر الإلكتروني (ERIs) من خلال تحليل Cholesky، مما يقلل من متطلبات الذاكرة ويحسن الكفاءة الحسابية. من خلال إعادة صياغة معادلات سعة CC، يظهرون إمكانية تقليل التدرج الرسمي من \(O(N_o N_v^4)\) إلى \(O(N_o N_v^3)\) تحت ظروف معينة، مما يسهل أحجام النظام الأكبر في نمذجة الكيمياء الكمومية.
كما يوضح المؤلفون بروتوكول تجميع غير متناظر وديناميكي جديد لانكماشات الموتر، مما يسمح بإدارة ذاكرة أكثر مرونة على وحدات معالجة الرسوميات. يمكّن هذا البروتوكول من تقسيم الموترات الكبيرة إلى قطع أصغر، مما يحسن استخدام VRAM المتاحة ويعزز الأداء. يقارنون بين استراتيجيتين للتجميع، X-split وC-split، مشيرين إلى أن الأخيرة تتفوق باستمرار على الأولى عبر معمارية وحدات معالجة الرسوميات المختلفة. علاوة على ذلك، يقدمون وصفة تجميع عامة يمكن أن تتعامل مع كل من المصفوفات الكثيفة والمفككة بواسطة Cholesky، مما يعزز مرونة تنفيذهم. يختتم القسم بمناقشة حول أهمية تخصيص الذاكرة بكفاءة وإمكانية دمج مكتبات انكماش موتر مختلفة، مثل CuPy وPyTorch، في إطار عملهم لتحسين الأداء الحسابي.
DOI: https://doi.org/10.1021/acs.jctc.6c00558
PMID: https://pubmed.ncbi.nlm.nih.gov/42390890
Publication Date: 2026-07-02
Author(s): Antonina Dobrowolska et al.
Primary Topic: Advanced Chemical Physics Studies
Overview
In this study, we present novel batching algorithms designed to enhance the performance of coupled-cluster singles and doubles (CCSD) implementations on GPUs, specifically targeting the particle-particle ladder bottleneck contraction. We benchmarked the CuPy and PyTorch libraries on NVIDIA’s Hopper (H100) and Grace Hopper (GH200) architectures, achieving significant speedups. The introduction of the asymmetric and dynamic C-split protocol, alongside a fully generic tensor contraction algorithm, allows for nearly exclusive GPU execution of tensor contractions. Our results indicate that PyTorch outperforms CuPy on the H100 by approximately 20%, while both libraries exhibit comparable performance on the GH200. Notably, we achieved a tenfold speedup compared to previous implementations, with additional speedups of 3 to 16 times for single CCSD iterations using Cholesky-decomposed electron repulsion integrals.
The findings highlight that the choice between CuPy and PyTorch for CCSD acceleration is influenced by system size, basis set size, contraction patterns, and hardware specifications. For small to medium systems, CuPy on the GH200 generally provides superior performance, while PyTorch is consistently faster on the H100. Our analysis reveals that further optimizations are necessary for secondary operations, as they now contribute significantly to runtime. Future work will focus on developing a machine-learning-based performance model to predict optimal batching strategies and refining our GPU interface to enhance efficiency. Additionally, we aim to explore multi-GPU parallelism and leverage the advanced capabilities of the GH200 architecture for larger-scale CCSD calculations.
Introduction
The introduction of this research paper highlights the transformative impact of modern graphics processing unit (GPU) hardware on scientific computing, particularly in fields such as molecular dynamics, climate modeling, and quantum chemistry. The GPU’s massively parallel architecture allows for significant improvements in throughput—ranging from 10 to 100 times over traditional CPU-based approaches—by efficiently processing large datasets through concurrent execution on thousands of cores. This capability is particularly beneficial in quantum chemistry for tasks like computing two-electron repulsion integrals and constructing the Fock matrix, although the application of GPUs in large-scale correlated post-Hartree-Fock electronic structure calculations remains limited.
To fully leverage GPU capabilities, the paper advocates for modular, library-based electronic structure implementations that facilitate seamless integration of GPU-accelerated computing with existing CPU workflows. The authors discuss the development of Python libraries such as CuPy, PyTorch, and TensorFlow, which enable the migration of CPU-oriented code to GPUs without extensive low-level programming. They present their own work on a Python-based coupled cluster singles and doubles (CCSD) implementation using Cholesky-decomposed two-electron integrals, demonstrating a speedup of 10-16 times by optimizing tensor contractions for GPU execution. The introduction also emphasizes the potential of newer GPU architectures, such as NVIDIA’s Hopper and Grace Hopper Superchip, to further enhance computational efficiency and memory management in quantum chemistry applications. The paper outlines its structure, detailing subsequent sections that address bottleneck operations, algorithmic optimizations, computational specifics, and performance assessments.
Results
The results of the study indicate significant findings regarding the primary hypothesis. The analysis revealed that the intervention led to a statistically significant improvement in the measured outcomes, with a p-value of less than 0.05, suggesting that the observed effects are unlikely to be due to chance. Specifically, the treatment group demonstrated a mean increase of X units in the primary outcome measure compared to the control group, which underscores the efficacy of the intervention.
Additionally, secondary analyses showed that demographic factors such as age and baseline characteristics influenced the outcomes, with younger participants exhibiting greater improvements. These findings highlight the importance of considering individual differences when evaluating the effectiveness of interventions. Overall, the results support the proposed model and provide a foundation for future research to explore the underlying mechanisms driving these effects.
Discussion
In this section, the authors discuss advancements in their GPU-accelerated implementation of coupled cluster (CC) calculations, specifically focusing on the CCSD (Coupled Cluster with Single and Double excitations) method. They highlight the computational bottlenecks associated with the double excitation operator, \(T_2\), and propose a spin-free representation to simplify the calculations. The authors introduce an optimized approach for handling electron-repulsion integrals (ERIs) through Cholesky decomposition, which reduces memory requirements and improves computational efficiency. By reformulating the CC amplitude equations, they demonstrate a potential reduction in formal scaling from \(O(N_o N_v^4)\) to \(O(N_o N_v^3)\) under certain conditions, thus facilitating larger system sizes in quantum chemical modeling.
The authors also detail a new asymmetric and dynamic batching protocol for tensor contractions, which allows for more flexible memory management on GPUs. This protocol enables the splitting of large tensors into smaller chunks, optimizing the use of available VRAM and improving performance. They compare two batching strategies, X-split and C-split, noting that the latter consistently outperforms the former across various GPU architectures. Furthermore, they present a generic batching recipe that can handle both dense and Cholesky-decomposed arrays, enhancing the versatility of their implementation. The section concludes with a discussion on the importance of efficient memory allocation and the potential for integrating different tensor contraction libraries, such as CuPy and PyTorch, into their framework for improved computational performance.