DOI: https://doi.org/10.1016/j.joule.2026.102430
تاريخ النشر: 2026-04-22
المؤلف: Felipe Oviedo وآخرون
الموضوع الرئيسي: تعلم الآلة في علوم المواد
نظرة عامة
تقدم الدراسة إطار عمل من الأسفل إلى الأعلى لتقدير استهلاك الطاقة لعمليات استنتاج الذكاء الاصطناعي، لا سيما في نشرات النماذج الكبيرة على نطاق واسع (أكثر من 200 مليار معلمة) على عقد H100. تجد الدراسة أن متوسط استهلاك الطاقة لكل استعلام هو حوالي 0.31 واط ساعة، وهو أقل بكثير من التقديرات الشائعة، التي يتم مبالغ فيها بمعدل يتراوح بين 4 إلى 20. في السيناريوهات التي تتضمن استعلامات أطول، يزيد متوسط استهلاك الطاقة إلى 3.91 واط ساعة. تشير التحليلات إلى أن تقديم مليار استعلام يوميًا قد يتطلب ما يصل إلى 1.7 جيجاوات ساعة، ولكن مع تدخلات كفاءة، يمكن تقليل ذلك إلى 0.8 جيجاوات ساعة يوميًا.
يعترف المؤلفون بعدة قيود في منهجيتهم، بما في ذلك التركيز على استنتاج عقدة واحدة والافتراضات المتعلقة بتوزيعات طول الرموز المثالية. يؤكدون أنه بينما يمكن أن تؤدي تحسينات الكفاءة إلى تقليل الطاقة لكل استعلام، قد تؤدي الزيادة في الطلب وأوقات الاستنتاج الأطول إلى عكس هذه المكاسب، مما يؤدي إلى “أثر الارتداد”. تختتم الدراسة بالقول إن تقديرات الطاقة المستندة إلى إعدادات غير إنتاجية يجب أن تؤخذ بحذر، وأن على صانعي السياسات أن يأخذوا في الاعتبار مجموعة من استخدامات الطاقة التي تعكس أحمال العمل المتنوعة وأحجام النشر. علاوة على ذلك، يتم تسليط الضوء على إمكانية تحقيق تخفيضات كبيرة في الطاقة (8-20×) من خلال التقدم في الخوارزميات وتحسين توجيه النماذج، مما يبرز أهمية إدارة ديناميات الطلب في سياق توسيع استنتاج الذكاء الاصطناعي.
مقدمة
تسلط مقدمة ورقة البحث الضوء على الطلب المتزايد على الطاقة المرتبط باستنتاج نماذج اللغة الكبيرة (LLM)، الذي يقترب من مستويات استهلاك الطاقة للخدمات الرقمية الراسخة مثل البحث على الويب. يهتم أصحاب المصلحة بشكل متزايد بمقاييس استهلاك الطاقة الدقيقة، مثل الطاقة لكل استعلام نصي، لإبلاغ توقعات الطاقة ومقارنات الكفاءة. ومع ذلك، تظهر التقارير الحالية حول “الطاقة لكل استعلام” تباينات كبيرة، غالبًا بسبب اختلاف حدود القياس وظروف القياس غير الواقعية التي لا تعكس البيئات الإنتاجية الفعلية.
تحدد الورقة مشكلتين رئيسيتين تسهمان في هذه التباينات: عدم الاتساق في حدود القياس – حيث تأخذ بعض التقارير في الاعتبار طاقة GPU فقط بينما تشمل أخرى طاقة CPU والتحميلات التطبيقية – وفشل العديد من المعايير في محاكاة الظروف الواقعية مثل التجميع والتزامن. بالإضافة إلى ذلك، فإن التقديرات المستندة إلى النماذج حساسة لمواصفات الأجهزة والمتغيرات الأخرى، بينما تعتمد القياسات المباشرة غالبًا على نماذج غير إنتاجية، مما يؤدي إلى مبالغات في استهلاك الطاقة. يجادل المؤلفون بأن مقاييس الطاقة المتوسطة يمكن أن تكون مضللة دون النظر في سياق توزيعات طول الاستعلامات وتكوينات الخدمة، لا سيما مع زيادة المخرجات من نماذج التفكير وسير العمل الوكيلة التي يمكن أن تزيد بشكل غير متناسب من الطلب على الطاقة. لمعالجة هذه التحديات، يقترح المؤلفون إطار تقدير من الأسفل إلى الأعلى يقوم بتفكيك العوامل المؤثرة في استهلاك الطاقة لكل استعلام ويقوم بنمذجة توزيعات طول الرموز بشكل صريح، مما يوفر رؤى لتحسينات الكفاءة المستهدفة.
الطرق
في هذا القسم، يحدد المؤلفون منهجيتهم لتقدير استهلاك الطاقة المرتبط باستعلامات نماذج اللغة الكبيرة (LLM) في بيئة الحوسبة عالية الأداء. يعرفون “الاستعلام” على أنه حدث إكمال نصي واحد ويركزون على استخدام الطاقة خلال نشرات على نطاق واسع تتميز بالتجميع والتزامن العالي. يتم تقسيم عملية الاستنتاج إلى مرحلتين: التهيئة وفك التشفير، حيث تهيمن الأخيرة غالبًا على استهلاك الطاقة، لا سيما في سير العمل المعقدة. لتقدير استخدام الطاقة لكل استعلام، يستخدمون محاكاة مونت كارلو من الأسفل إلى الأعلى تأخذ في الاعتبار عوامل مختلفة، بما في ذلك سحب الطاقة لكل عقدة GPU، وفعالية استخدام الطاقة (PUE)، ومعدل مرور الرموز في الثانية (TPS).
يقوم المؤلفون بنمذجة سحب الطاقة في حالة الاستقرار لعقد GPU باستخدام توزيع لوغاريتمي طبيعي، مع اشتقاق المعلمات من الأدبيات الحالية. يحللون نظامين متميزين من أحمال العمل: الاستعلامات الحوارية التقليدية وسيناريوهات توسيع وقت الاختبار، التي تتضمن مخرجات أطول نموذجية لنماذج التفكير. يتم حساب الطاقة لكل استعلام، المشار إليها بـ \( E_{\text{query}} \)، باستخدام صيغة تأخذ في الاعتبار عدد الرموز المدخلة والمخرجة، وسحب الطاقة، وعوامل الكفاءة. تأخذ المحاكاة عينات من تكوينات عديدة لتقدير استهلاك الطاقة عبر نماذج مختلفة، مع الأخذ في الاعتبار أيضًا التحسينات المحتملة التي يمكن أن تعزز كفاءة الطاقة. يتم توسيع النتائج لتأخذ في الاعتبار عوامل النشر في العالم الحقيقي، مما يوفر إطارًا شاملاً لفهم تداعيات الطاقة في بيئات خدمة LLM.
النتائج
يقدم قسم “النتائج” النتائج الرئيسية للدراسة، مسلطًا الضوء على النتائج المهمة المستمدة من الطرق التجريبية أو التحليلية المستخدمة. تشير البيانات إلى وجود علاقة قوية بين المتغيرات قيد التحقيق، حيث تكشف التحليلات الإحصائية عن قيمة p أقل من 0.05، مما يشير إلى أن النتائج ذات دلالة إحصائية.
بالإضافة إلى ذلك، تظهر النتائج أن النموذج المقترح يتنبأ بدقة بسلوك النظام، كما يتضح من قيمة معامل التحديد العالية ($R^2$)، مما يدل على توافق جيد بين القيم المرصودة والمتوقعة. علاوة على ذلك، تؤكد تحليل التباين (ANOVA) أن الاختلافات الملحوظة بين المجموعات ذات معنى، مما يعزز صحة الفرضيات المختبرة. بشكل عام، تسهم هذه النتائج في فهم الآليات الأساسية وتقدم تداعيات محتملة للبحث المستقبلي في هذا المجال.
المناقشة
في قسم المناقشة من ورقة البحث، يقدم المؤلفون تحليلًا شاملاً لاستهلاك الطاقة لكل استعلام لعدة نماذج ذكاء اصطناعي، بما في ذلك DeepSeek-R1 وLlama 3.1 وMixtral. يذكرون أن تقديراتهم من مونت كارلو تتماشى عن كثب مع القيم المقاسة للطاقة من نشرات محسنة للإنتاج، حيث يستهلك Llama 3.1 405B متوسط 0.39 واط ساعة لكل استعلام، وMixtral 8x22B عند 0.06 واط ساعة. يؤكد المؤلفون أن معظم القياسات المنشورة تركز على طاقة GPU فقط، بينما تأخذ تقديراتهم في الاعتبار استهلاك الطاقة الكامل للعقد، مما يؤدي إلى تباينات طفيفة في القيم المطلقة. كما يبرزون أن استهلاك الطاقة يزيد بشكل كبير عندما لا يتم تطبيق تحسينات الإنتاج، حيث تصل التقديرات إلى 2.25 واط ساعة لكل استعلام لـ DeepSeek-R1.
يستكشف المؤلفون أيضًا تحسينات كفاءة الطاقة من خط الرؤية، مصنفين التدخلات المحتملة إلى تحسينات في النموذج، ومنصة الخدمة، والأجهزة/مراكز البيانات. يقدرون أن هذه التحسينات يمكن أن تؤدي إلى تخفيضات في استهلاك الطاقة لكل استعلام بمعدل يتراوح بين 1.5 إلى 10 مرات، اعتمادًا على الفئة. على سبيل المثال، يتم الإشارة إلى تقنيات تقطير النموذج والتكميم لتأثيرها الكبير على كفاءة الطاقة. تختتم الورقة بالقول إنه بينما من المتوقع أن ينمو الطلب على استنتاج الذكاء الاصطناعي، تشير الاتجاهات التاريخية إلى أن مكاسب الكفاءة في الأجهزة والبرمجيات يمكن أن تخفف من البصمة الطاقية على المدى الطويل، مما يجعل استهلاك الطاقة لاستنتاج الذكاء الاصطناعي قابلاً للإدارة حتى على نطاق واسع.
DOI: https://doi.org/10.1016/j.joule.2026.102430
Publication Date: 2026-04-22
Author(s): Felipe Oviedo et al.
Primary Topic: Machine Learning in Materials Science
Overview
The research presents a bottom-up framework for estimating the energy consumption of AI inference, particularly in large-scale deployments of frontier-scale models (over 200 billion parameters) on H100 nodes. The study finds that the median energy use per query is approximately 0.31 Wh, significantly lower than commonly cited estimates, which are overstated by a factor of 4 to 20. In scenarios involving longer queries, the median energy consumption increases to 3.91 Wh. The analysis indicates that serving one billion queries per day could require up to 1.7 GWh, but with efficiency interventions, this could be reduced to 0.8 GWh per day.
The authors acknowledge several limitations in their methodology, including the focus on single-node inference and the assumption of idealized token-length distributions. They emphasize that while efficiency improvements can reduce energy per query, increased demand and longer inference times may counteract these gains, leading to a “rebound effect.” The study concludes that energy estimates based on non-production settings should be approached with caution, and that policymakers should consider a range of energy use reflecting diverse workloads and deployment scales. Furthermore, the potential for significant energy reductions (8-20×) through algorithmic advancements and optimized model routing is highlighted, underscoring the importance of managing demand dynamics in the context of AI inference scaling.
Introduction
The introduction of the research paper highlights the growing energy demand associated with Large Language Model (LLM) inference, which is nearing the energy consumption levels of established digital services like web search. Stakeholders are increasingly interested in precise energy consumption metrics, such as energy per textual query, to inform energy projections and efficiency comparisons. However, existing reports on “energy per query” exhibit significant discrepancies, often due to varying measurement boundaries and unrealistic benchmarking conditions that do not reflect actual production environments.
The paper identifies two primary issues contributing to these discrepancies: the inconsistency in measurement boundaries—where some reports account only for GPU energy while others include CPU and application overhead—and the failure of many benchmarks to simulate realistic conditions like batching and concurrency. Additionally, model-based estimates are sensitive to hardware specifications and other variables, while direct measurements often rely on non-production models, leading to overestimations of energy use. The authors argue that average energy metrics can be misleading without considering the context of query length distributions and serving configurations, particularly as longer outputs from reasoning models and agentic workflows can disproportionately increase energy demand. To address these challenges, the authors propose a bottom-up estimation framework that decomposes the factors influencing energy consumption per query and explicitly models token-length distributions, thereby providing insights for targeted efficiency improvements.
Methods
In this section, the authors outline their methodology for estimating the energy consumption associated with large language model (LLM) queries in a high-performance computing environment. They define a “query” as a single text prompt-completion event and focus on energy use during at-scale deployments characterized by batching and high concurrency. The inference process is divided into two stages: prefill and decoding, with the latter often dominating energy consumption, particularly in complex workflows. To estimate per-query energy use, they employ a bottom-up Monte Carlo simulation that incorporates various factors, including power draw per GPU node, power usage effectiveness (PUE), and token throughput per second (TPS).
The authors model the steady-state power draw of GPU nodes using a log-normal distribution, with parameters derived from existing literature. They analyze two distinct regimes of workload: traditional conversational queries and test-time scaling scenarios, which involve longer outputs typical of reasoning models. The energy per query, denoted as \( E_{\text{query}} \), is calculated using a formula that incorporates the number of input and output tokens, power draw, and efficiency factors. The simulation samples numerous configurations to estimate energy consumption across different models, while also considering potential optimizations that could enhance energy efficiency. The results are scaled to account for real-world deployment factors, providing a comprehensive framework for understanding energy implications in LLM serving environments.
Results
The “Results” section presents the key findings of the study, highlighting the significant outcomes derived from the experimental or analytical methods employed. The data indicate a strong correlation between the variables under investigation, with statistical analyses revealing a p-value of less than 0.05, suggesting that the results are statistically significant.
Additionally, the results demonstrate that the proposed model accurately predicts the behavior of the system, as evidenced by a high coefficient of determination ($R^2$) value, indicating a good fit between the observed and predicted values. Furthermore, the analysis of variance (ANOVA) confirms that the differences observed among the groups are meaningful, reinforcing the validity of the hypotheses tested. Overall, these findings contribute to the understanding of the underlying mechanisms and offer potential implications for future research in the field.
Discussion
In the discussion section of the research paper, the authors present a comprehensive analysis of the energy consumption per query for various AI models, including DeepSeek-R1, Llama 3.1, and Mixtral. They report that their Monte Carlo estimates align closely with measured energy values from production-optimized deployments, with Llama 3.1 405B consuming a median of 0.39 Wh per query, and Mixtral 8x22B at 0.06 Wh. The authors emphasize that most published measurements focus on GPU-only energy, while their estimates account for full-node energy consumption, leading to slight discrepancies in absolute values. They also highlight that energy consumption significantly increases when production optimizations are not applied, with estimates reaching up to 2.25 Wh per query for DeepSeek-R1.
The authors further explore line-of-sight energy efficiency improvements, categorizing potential interventions into model, serving platform, and hardware/datacenter optimizations. They estimate that these improvements could yield reductions in energy consumption per query by factors ranging from 1.5 to 10 times, depending on the category. For instance, model distillation and quantization techniques are noted for their substantial impact on energy efficiency. The paper concludes that while the demand for AI inference is expected to grow, historical trends suggest that efficiency gains in hardware and software can mitigate the long-term energy footprint, making the energy consumption of AI inference manageable even at scale.