DOI: https://doi.org/10.1109/tpami.2026.3718968
PMID: https://pubmed.ncbi.nlm.nih.gov/42536466
تاريخ النشر: 2026-01-01
المؤلف: Zhiwei Hao وآخرون
الموضوع الرئيسي: نمذجة الموضوعات
نظرة عامة
تقدم الدراسة مراجعة شاملة لأساليب التدريب ذات الدقة المنخفضة لنماذج اللغة الكبيرة (LLMs)، مع معالجة المطالب الكبيرة للموارد المادية التي تعيق الكفاءة وقابلية التوسع. تصنف الأساليب الحالية إلى ثلاث مجموعات رئيسية بناءً على التنسيقات العددية: (1) طرق النقطة الثابتة والطرق القائمة على الأعداد الصحيحة، (2) الطرق القائمة على النقطة العائمة، و(3) الطرق القائمة على التنسيقات المخصصة. تساعد هذه التصنيفات في فهم الآثار المترتبة على توافق الأجهزة، وكفاءة الحوسبة، وسهولة الوصول للباحثين. تناقش الدراسة أيضًا تقنيات التدريب الواعي بالتكميم (QAT)، التي تشترك في أوجه التشابه مع التدريب ذي الدقة المنخفضة أثناء الانتشار الأمامي، وتفحص متانة وموثوقية النماذج المدربة تحت دقة منخفضة.
في الختام، تؤكد الدراسة على الدور الحاسم للتدريب ذي الدقة المنخفضة في تقليل التكاليف الحوسبية والذاكرة مع الحفاظ على أداء تنافسي. تحدد الاتجاهات البحثية المستقبلية المحتملة، بما في ذلك التقدم في تقنيات التكميم، وتعزيز استقرار التدريب عند دقة منخفضة للغاية، وتطوير أطر موحدة لمعماريات النماذج المتنوعة. يدعو المؤلفون إلى إنشاء معايير قياسية ودمجها مع أنماط تدريب فعالة أخرى لتسهيل التبني الأوسع والتقييم العادل. علاوة على ذلك، يبرزون الحاجة إلى فهم أعمق لكيفية تأثير التدريب ذي الدقة المنخفضة على موثوقية النموذج، خاصة في التطبيقات الحرجة للسلامة، مما يضع هذه الدراسة كمورد قيم للباحثين والممارسين في هذا المجال.
مقدمة
تناقش مقدمة الورقة الدور المهم لنماذج اللغة الكبيرة (LLMs) في تقدم الذكاء الاصطناعي، خاصة في معالجة اللغة الطبيعية والتفكير متعدد الوسائط. على الرغم من قدراتها التحولية، فإن تدريب LLMs يتطلب موارد كبيرة، مما يتطلب طاقة حوسبة كبيرة ويتسبب في تكاليف طاقة عالية. على سبيل المثال، تطلب تدريب نموذج GPT-3 حوالي 355 سنة GPU من نوع V100. للتخفيف من هذه التحديات، ظهر التدريب ذي الدقة المنخفضة كحل قابل للتطبيق، مما يسمح بتقليل استخدام الذاكرة وتكاليف الحوسبة من خلال استخدام تنسيقات دقة عددية أقل، مثل الانتقال من النقطة العائمة بدقة 32 بت (FP32) إلى 16 بت (FP16/BF16) أو حتى تمثيلات 8 بت. لا يقلل هذا النهج من متطلبات التخزين فحسب، بل يعزز أيضًا كفاءة التنفيذ على معمارية GPU الحديثة، التي تطورت لدعم هذه الحسابات ذات الدقة المنخفضة.
تهدف الورقة إلى تقديم دراسة شاملة لأساليب التدريب ذات الدقة المنخفضة، وتنظيم الأدبيات حسب تنسيقات تمثيل القيم ومعالجة أربعة تحديات متكررة: عدم تطابق النطاق الديناميكي، دقة التراكم، تخصيص الدقة، وتصميم النظام/تدفق البيانات. تشمل الدراسة تنسيقات عددية متنوعة، بما في ذلك النقطة الثابتة، والطرق القائمة على الأعداد الصحيحة، والطرق القائمة على النقطة العائمة، بالإضافة إلى تقنيات التدريب الواعي بالتكميم. تسلط الضوء على أهمية الدعم على مستوى النظام للتبني العملي وتحدد التحديات المفتوحة والاتجاهات البحثية المستقبلية. تشير النتائج إلى اتجاه متزايد في اعتماد الطرق القائمة على الأعداد الصحيحة وعودة في الأساليب القائمة على النقطة العائمة، بينما شهدت تمثيلات النقطة الثابتة تراجعًا. بشكل عام، تسعى هذه الدراسة إلى تعزيز الفهم وتسهيل ممارسات التدريب الأكثر كفاءة في سياق LLMs.
طرق
تناقش هذه القسم طرق التكميم المتقدمة في سياق التدريب ذي الدقة المنخفضة للشبكات العصبية. بينما تعتبر التكميم الخطي شائعًا بسبب بساطته وتوافقه مع الأجهزة، إلا أنه غير كافٍ لتمثيل الإحصائيات المتنوعة للأوزان، والتنشيطات، والتدرجات بشكل فعال. يقترح المؤلفون أن تركز الأبحاث المستقبلية على تقنيات التكميم غير الخطية، مثل التكميم اللوغاريتمي أو المتعلم، والتي قد توفر نطاق ديناميكي محسّن وقدرة على التكيف، خاصة في السيناريوهات التي يكون فيها التكميم الخطي غير كافٍ.
تسلط الورقة الضوء أيضًا على إمكانيات التدريب ذي الدقة المنخفضة للغاية، مشيرة إلى أنه بينما تعطي دقة 8 بت نتائج مرضية، فإن عرض النطاق الترددي الأقل (مثل 4 بت أو 2 بت) يمكن أن يعزز الكفاءة. ومع ذلك، فإن تحقيق أداء تنافسي عند هذه المستويات القصوى يتطلب فهمًا نظريًا أعمق لمجموعة متنوعة من العوامل، بما في ذلك التقارب، والتعميم، وضوضاء التكميم، والتحكم في ذروة التدرج. بالإضافة إلى ذلك، يؤكد المؤلفون على أهمية استراتيجيات التدرج الدقيقة للتخفيف من التأثير السلبي للدقة المنخفضة على الاستقرار والدقة، مقترحين أن طرق التدرج القابلة للتكيف أو القابلة للتعلم يمكن أن تعزز المتانة، على الرغم من زيادة الحمل على الذاكرة. بشكل عام، فإن تحقيق توازن دقيق بين الدقة والكفاءة أمر حاسم للتدريب العملي والقابل للتوسع ذي الدقة المنخفضة للغاية.
نقاش
يركز قسم النقاش في الورقة على التقدم والتحديات المرتبطة بأساليب التدريب ذات الدقة المنخفضة لنماذج اللغة الكبيرة (LLMs). يصنف هذه الأساليب إلى تنسيقات النقطة الثابتة، والأعداد الصحيحة، والنقطة العائمة، مع التأكيد على أهمية تقنيات الدقة المنخفضة أثناء التدريب بدلاً من رؤيتها كجزء من استراتيجيات التدريب الفعالة أو ضغط البيانات الأوسع. يقوم المؤلفون بتلخيص التحديات المشتركة عبر هذه التنسيقات، مثل إدارة النطاق، ودقة التحديث، وتخصيص الدقة، بينما يقدمون أيضًا تحليلًا مقارنًا لتوازن الكفاءة والدقة من خلال القياس المنضبط.
تسلط الورقة الضوء على تطور التدريب ذي الدقة المنخفضة، موضحة الانتقال من طرق النقطة الثابتة، التي تقتصر على الدقة الثابتة والنطاق الديناميكي، إلى أساليب التكميم القائمة على الأعداد الصحيحة الأكثر مرونة التي تسمح بالتكميم الكامل من البداية إلى النهاية. تناقش أهمية التدرج القابل للتكيف والحاجة إلى إدارة دقيقة للحالات الشاذة والمكونات الحساسة للحفاظ على موثوقية النموذج. بالإضافة إلى ذلك، يحدد المؤلفون دور تقنيات التدريب الواعي بالتكميم (QAT) والدعم على مستوى النظام الذي يسهل التدريب الفعال ذي الدقة المنخفضة. يختتم القسم بدعوة لمزيد من الأبحاث لمعالجة التحديات المفتوحة وتعزيز استدامة ممارسات التدريب للنماذج الكبيرة.
DOI: https://doi.org/10.1109/tpami.2026.3718968
PMID: https://pubmed.ncbi.nlm.nih.gov/42536466
Publication Date: 2026-01-01
Author(s): Zhiwei Hao et al.
Primary Topic: Topic Modeling
Overview
The survey provides a comprehensive review of low-precision training methods for large language models (LLMs), addressing the significant hardware resource demands that hinder efficiency and scalability. It categorizes existing approaches into three main groups based on numerical formats: (1) fixed-point and integer-based methods, (2) floating-point-based methods, and (3) customized format-based methods. This classification aids in understanding the implications for hardware compatibility, computational efficiency, and accessibility for researchers. The survey also discusses quantization-aware training (QAT) techniques, which share similarities with low-precision training during forward propagation, and examines the robustness and reliability of models trained under low precision.
In conclusion, the survey emphasizes the critical role of low-precision training in reducing computational and memory costs while maintaining competitive performance. It outlines potential future research directions, including advancements in quantization techniques, enhancing training stability at ultra-low precision, and developing unified frameworks for diverse model architectures. The authors advocate for the establishment of standard benchmarks and integration with other efficient training paradigms to facilitate broader adoption and fair evaluation. Furthermore, they highlight the need for a deeper understanding of how low-precision training impacts model reliability, particularly in safety-critical applications, positioning this survey as a valuable resource for researchers and practitioners in the field.
Introduction
The introduction of the paper discusses the significant role of Large Language Models (LLMs) in advancing artificial intelligence, particularly in natural language processing and multimodal reasoning. Despite their transformative capabilities, the training of LLMs is resource-intensive, requiring substantial computational power and incurring high energy costs. For example, training the GPT-3 model demanded approximately 355 V100 GPU-years. To mitigate these challenges, low-precision training has emerged as a viable solution, allowing for reduced memory usage and computational costs by employing lower numerical precision formats, such as transitioning from 32-bit floating-point (FP32) to 16-bit (FP16/BF16) or even 8-bit representations. This approach not only decreases storage requirements but also enhances execution efficiency on modern GPU architectures, which have evolved to support these low-precision computations.
The paper aims to provide a comprehensive survey of low-precision training methods, organizing the literature by value representation formats and addressing four recurring challenges: dynamic-range mismatch, accumulation fidelity, precision allocation, and system/dataflow co-design. The survey encompasses various numerical formats, including fixed-point, integer-based, and floating-point methods, as well as quantization-aware training techniques. It highlights the importance of system-level support for practical adoption and identifies open challenges and future research directions. The findings indicate a growing trend in the adoption of integer-based methods and a resurgence in floating-point approaches, while fixed-point representations have seen a decline. Overall, this survey seeks to enhance understanding and facilitate more efficient training practices in the context of LLMs.
Methods
The section discusses advanced quantization methods in the context of low-precision training for neural networks. While linear quantization is prevalent due to its simplicity and compatibility with hardware, it is inadequate for effectively representing the diverse statistics of weights, activations, and gradients. The authors suggest that future research should focus on non-linear quantization techniques, such as logarithmic or learned quantization, which may provide improved dynamic range and adaptability, particularly in scenarios where linear quantization is insufficient.
The paper also highlights the potential of ultra low-precision training, noting that while 8-bit precision yields satisfactory results, lower bit-widths (e.g., 4-bit or 2-bit) could enhance efficiency. However, achieving competitive performance at these extreme levels necessitates a deeper theoretical understanding of various factors, including convergence, generalization, quantization noise, and gradient-spike control. Additionally, the authors emphasize the importance of fine-grained scaling strategies to mitigate the negative impact of lower precision on stability and accuracy, suggesting that adaptive or learnable scaling methods could enhance robustness, albeit with increased memory overhead. Overall, a careful balance between granularity and efficiency is crucial for practical and scalable ultra low-precision training.
Discussion
The discussion section of the paper focuses on the advancements and challenges associated with low-precision training methods for large language models (LLMs). It categorizes these methods into fixed-point, integer, and floating-point formats, emphasizing the importance of training-time low-precision techniques rather than merely viewing them as part of broader efficient training or compression strategies. The authors synthesize common challenges across these formats, such as range management, update fidelity, and precision allocation, while also providing a comparative analysis of efficiency-accuracy trade-offs through controlled benchmarking.
The paper highlights the evolution of low-precision training, detailing the transition from fixed-point methods, which are limited by static precision and dynamic range, to more flexible integer quantization approaches that allow for end-to-end integerization. It discusses the significance of adaptive scaling and the need for careful management of outliers and sensitive components to maintain model reliability. Additionally, the authors outline the role of quantization-aware training (QAT) techniques and system-level supports that facilitate efficient low-precision training. The section concludes with a call for further research to address open challenges and enhance the sustainability of training practices for large models.