DOI: https://doi.org/10.1109/tmc.2026.3651729
تاريخ النشر: 2026-01-12
المؤلف: Yujia Tong وآخرون
الموضوع الرئيسي: تطبيقات الشبكات العصبية المتقدمة
نظرة عامة
تقدم ورقة البحث QuaRC، وهو إطار عمل جديد مصمم لتعزيز التدريب المعتمد على الكوانتيزات (QAT) على الأجهزة الطرفية من خلال معالجة التحديات المرتبطة بأخطاء الكوانتيزات عند استخدام مجموعات بيانات صغيرة. مع انتشار الحوسبة المحمولة والأطراف، زادت الحاجة إلى نماذج كوانتيزات منخفضة البت، مما يتطلب إعادة التدريب على بيانات الأطراف مع الحفاظ على الخصوصية. تتطلب طرق QAT التقليدية، التي تحتاج إلى مجموعات بيانات كاملة، موارد حسابية كبيرة وغالبًا ما تكون غير فعالة عندما يتوفر فقط جزء صغير من البيانات. تفشل تقنيات اختيار النماذج الحالية في التخفيف بشكل كافٍ من أخطاء الكوانتيزات، مما يؤدي إلى تدهور الأداء.
يتكون QuaRC من مرحلتين رئيسيتين: مرحلة اختيار النموذج ومرحلة التدريب. في مرحلة اختيار النموذج، يستخدم “درجة الانتروبيا النسبية” لتحديد مجموعات البيانات التي تمثل بشكل أفضل أخطاء كوانتيزات النموذج. خلال مرحلة التدريب، يستخدم الإطار استراتيجية تصحيح الطبقات المتسلسلة لمواءمة مخرجات الطبقات الوسيطة للنموذج الكوانتيزاتي مع تلك الخاصة بالنموذج بدقة كاملة، مما يقلل بشكل فعال من أخطاء الكوانتيزات. تشير النتائج التجريبية إلى أن QuaRC يحسن بشكل كبير من أداء النموذج؛ على سبيل المثال، عند كوانتيزات ResNet-18 إلى 2-بت باستخدام 1% فقط من البيانات، يحقق زيادة بنسبة 5.72% في دقة Top-1 على مجموعة بيانات ImageNet-1K مقارنة بالطرق الحالية الرائدة. تظهر هذه الدراسة إمكانية إجراء QAT فعال مباشرة على الأجهزة الطرفية مع تقليل فقد الأداء.
مقدمة
في هذا القسم، يقدم المؤلفون التدريب المعتمد على الكوانتيزات (QAT) ويسلطون الضوء على قيود طرق اختيار النماذج الحالية عند تطبيقها على QAT، مما يحفز نهجهم المقترح، QuaRC. تظهر النتائج أن QuaRC يعزز بشكل كبير دقة Top-1 للنماذج الكوانتيزات مقارنة بالطرق الأخرى. على سبيل المثال، عند كوانتيزات MobileNetV2 على CIFAR-100 بأوزان 2-بت، يحقق QuaRC دقة Top-1 تبلغ 56.36%، متفوقًا على طريقة ACS بنسبة 9.52%. مع زيادة عرض بت الكوانتيزات إلى 3-بت و4-بت، يحافظ QuaRC على أداء متفوق، محققًا دقة Top-1 تبلغ 68.69% و71.25%، على التوالي. وبالمثل، بالنسبة لـ ResNet-18 على ImageNet-1K، يظهر QuaRC تحسينات ملحوظة، محققًا دقة Top-1 تبلغ 46.34% تحت كوانتيزات 2-بت، وهو أعلى بنسبة 5.72% من ACS.
يستكشف المؤلفون أيضًا تأثير المكونات المختلفة لطريقتهم، وتحديدًا درجة الانتروبيا النسبية (RES) وتصحيح الطبقات المتسلسلة (CLC)، مما يظهر أن استخدامهما معًا يحقق أكبر مكاسب في الأداء. تكشف التحليلات أنه بينما تلتقط RES أخطاء الكوانتيزات بشكل فعال، فإن دمج RES وCLC يعزز دقة النموذج عبر إعدادات كوانتيزات مختلفة. علاوة على ذلك، تؤكد الدراسة على أهمية مقاييس اختيار النماذج، حيث تحقق المقياس المشترك (d EVS، d DS، وd RES) أعلى دقة Top-1 تبلغ 56.36%. بشكل عام، تؤكد النتائج فعالية QuaRC في تحسين أداء النماذج الكوانتيزات من خلال استراتيجيات مبتكرة لاختيار النماذج وتصحيحها.
طرق
في هذا القسم، يوضح المؤلفون إعدادهم التجريبي، مع التركيز على مجموعات البيانات، والشبكات العصبية، والمعايير الأساسية، والمقاييس، والتفاصيل التنفيذية. المجموعات المستخدمة هي CIFAR-100 وImageNet-1K، مع تطبيق تقنيات زيادة البيانات مثل RandomResizedCrop وRandomHorizontalFlip عبر PyTorch. يتم إجراء التقييم على MobileNetV2 وResNet-18، مستهدفًا تدهور الأداء في النماذج الكوانتيزات من خلال اختيار نماذج صغيرة الحجم للتدريب المعتمد على الكوانتيزات (QAT). تتم مقارنة طرق أساسية مختلفة لاختيار النماذج، بما في ذلك العينة العشوائية، والنسيان، والتنوع السياقي (CD)، والمتوسطة، واختيار النماذج التكيفية (ACS).
يبلغ المؤلفون عن مقاييس دقة Top-1 وTop-5 للنماذج بدقة كاملة، حيث تحقق MobileNetV2 دقة Top-1 تبلغ 72.56% على CIFAR-100 وResNet-18 تحقق 69.76% على ImageNet-1K. من الجدير بالذكر أن طريقتهم المقترحة، QuaRC، تظهر أداءً متفوقًا عبر مختلف عرض بت الكوانتيزات مقارنة بالمعايير الأساسية. على سبيل المثال، عند عرض 4-بت، يحقق QuaRC دقة Top-1 تبلغ 72.03%، متفوقًا على الطرق الأخرى. بالإضافة إلى ذلك، يظهر دمج استراتيجية تعلم النموذج وتصنيفه (CLC) مع طرق اختيار النماذج المختلفة تحسينات كبيرة في الأداء، مع تحسينات تصل إلى 11.26% عند دمجها مع الطريقة المتوسطة. يشير هذا إلى قوة ومرونة نهج CLC في التخفيف من أخطاء الكوانتيزات وتعزيز أداء النموذج عبر استراتيجيات اختيار مختلفة.
نقاش
في قسم النقاش من الورقة، يستكشف المؤلفون التحديات والمنهجيات المرتبطة بالتدريب المعتمد على الكوانتيزات (QAT) للشبكات العصبية. يسلطون الضوء على أهمية محاكاة أخطاء الكوانتيزات من خلال عقد الكوانتيزات الوهمية، التي تسهل تحويل الأوزان والتفعيلات بدقة كاملة إلى أشكال كوانتيزات. يؤكد المؤلفون أن أخطاء الكوانتيزات يمكن أن تتراكم في الطبقات الأعمق من النموذج، مما يؤثر سلبًا على الأداء. للتخفيف من هذه الأخطاء، يقترحون دمج تقنيات تقطير المعرفة (KD)، حيث يعمل نموذج بدقة كاملة كمعلم لتوجيه النموذج الكوانتيزاتي (الطالب) في تقليل الفجوات في توزيعات المخرجات.
يتناول المؤلفون أيضًا عدم كفاءة طرق اختيار النماذج التقليدية، التي غالبًا ما لا تأخذ في الاعتبار الخصائص الفريدة للنماذج الكوانتيزات. يقدمون نهجًا جديدًا، QuaRC، الذي يستخدم درجة الانتروبيا النسبية (RES) لاختيار النماذج، بهدف التقاط أخطاء الكوانتيزات بشكل فعال. تختار هذه الطريقة مجموعة تمثيلية من بيانات التدريب التي تعكس أخطاء الكوانتيزات، مما يعزز عملية التدريب. بالإضافة إلى ذلك، يقترحون استراتيجية تصحيح الطبقات المتسلسلة (CLC) لمواءمة مخرجات الطبقات الوسيطة للنموذج الكوانتيزاتي مع تلك الخاصة بالنموذج بدقة كاملة، مما يقلل بشكل أكبر من أخطاء الكوانتيزات ويحسن الدقة العامة. تشير النتائج إلى أن نهجهم يوازن بين الكفاءة والأداء، مما يجعله مناسبًا بشكل خاص للبيئات ذات الموارد المحدودة.
DOI: https://doi.org/10.1109/tmc.2026.3651729
Publication Date: 2026-01-12
Author(s): Yujia Tong et al.
Primary Topic: Advanced Neural Network Applications
Overview
The research paper introduces QuaRC, a novel framework designed to enhance Quantization-Aware Training (QAT) on edge devices by addressing the challenges associated with quantization errors when utilizing small-scale datasets. As mobile and edge computing proliferate, the need for low-bit quantized models has surged, necessitating retraining on edge data while safeguarding privacy. Traditional QAT methods, which require complete datasets, are computationally intensive and often ineffective when only a small subset of data is available. Existing coreset selection techniques fail to adequately mitigate quantization errors, leading to performance degradation.
QuaRC comprises two key phases: the coreset selection phase and the training phase. In the coreset selection phase, it employs a “Relative Entropy Score” to identify data subsets that best represent the model’s quantization errors. During the training phase, the framework utilizes a Cascaded Layer Correction strategy to align the outputs of the quantized model’s intermediate layers with those of the full-precision model, effectively reducing quantization errors. Experimental results indicate that QuaRC significantly improves model performance; for example, when quantizing ResNet-18 to 2-bit using just 1% of the data, it achieves a 5.72% increase in Top-1 accuracy on the ImageNet-1K dataset compared to existing state-of-the-art methods. This work demonstrates the feasibility of performing effective QAT directly on edge devices while minimizing performance loss.
Introduction
In this section, the authors introduce Quantization-Aware Training (QAT) and highlight the limitations of existing coreset selection methods when applied to QAT, which motivates their proposed approach, QuaRC. The results demonstrate that QuaRC significantly enhances the Top-1 accuracy of quantized models compared to other methods. For instance, when quantizing MobileNetV2 on CIFAR-100 with 2-bit weights, QuaRC achieves a Top-1 accuracy of 56.36%, outperforming the ACS method by 9.52%. As the quantization bitwidth increases to 3-bit and 4-bit, QuaRC maintains superior performance, achieving Top-1 accuracies of 68.69% and 71.25%, respectively. Similarly, for ResNet-18 on ImageNet-1K, QuaRC shows marked improvements, achieving a Top-1 accuracy of 46.34% under 2-bit quantization, which is 5.72% higher than ACS.
The authors also explore the impact of different components of their method, specifically the Relative Entropy Score (RES) and Cascaded Layer Correction (CLC), demonstrating that their combined use yields the most substantial performance gains. The analysis reveals that while RES effectively captures quantization errors, the integration of RES and CLC enhances model accuracy across various quantization settings. Furthermore, the study emphasizes the importance of coreset selection metrics, with the combined metric (d EVS, d DS, and d RES) achieving the highest Top-1 accuracy of 56.36%. Overall, the findings validate the effectiveness of QuaRC in improving the performance of quantized models through innovative coreset selection and correction strategies.
Methods
In this section, the authors detail their experimental setup, focusing on datasets, neural networks, baselines, metrics, and implementation specifics. The datasets utilized are CIFAR-100 and ImageNet-1K, with data augmentation techniques such as RandomResizedCrop and RandomHorizontalFlip applied via PyTorch. The evaluation is conducted on MobileNetV2 and ResNet-18, targeting performance degradation in quantized models through small-scale coreset selection for Quantization-Aware Training (QAT). Various baseline methods for coreset selection are compared, including Random Sampling, Forgetting, Contextual Diversity (CD), Moderate, and Adaptive Coreset Selection (ACS).
The authors report Top-1 and Top-5 accuracy metrics for full-precision models, with MobileNetV2 achieving 72.56% Top-1 accuracy on CIFAR-100 and ResNet-18 achieving 69.76% on ImageNet-1K. Notably, their proposed method, QuaRC, demonstrates superior performance across different quantization bit widths compared to the baselines. For instance, at a 4-bit width, QuaRC achieves a Top-1 accuracy of 72.03%, outperforming other methods. Additionally, the integration of the Coreset Learning and Classification (CLC) strategy with various coreset selection methods shows significant performance improvements, with enhancements of up to 11.26% observed when combined with the Moderate method. This indicates the robustness and adaptability of the CLC approach in mitigating quantization errors and enhancing model performance across different selection strategies.
Discussion
In the discussion section of the paper, the authors explore the challenges and methodologies associated with Quantization-Aware Training (QAT) for neural networks. They highlight the importance of simulating quantization errors through fake quantization nodes, which facilitate the conversion of full-precision weights and activations to quantized forms. The authors emphasize that quantization errors can accumulate in deeper layers of the model, adversely affecting performance. To mitigate these errors, they propose the integration of Knowledge Distillation (KD) techniques, where a full-precision model serves as a teacher to guide the quantized model (the student) in minimizing discrepancies in output distributions.
The authors also address the inefficiencies of traditional coreset selection methods, which often do not account for the unique characteristics of quantized models. They introduce a new approach, QuaRC, which employs a Relative Entropy Score (RES) for coreset selection, aiming to capture quantization errors effectively. This method selects a representative subset of training data that reflects the quantization errors, thereby enhancing the training process. Additionally, they propose a Cascaded Layer Correction (CLC) strategy to align the intermediate layer outputs of the quantized model with those of the full-precision model, further reducing quantization errors and improving overall accuracy. The findings suggest that their approach balances efficiency and performance, making it particularly suitable for resource-constrained environments.