DOI: https://doi.org/10.1109/tpds.2026.3654957
تاريخ النشر: 2026-01-16
المؤلف: Shengyuan Ye وآخرون
الموضوع الرئيسي: إنترنت الأشياء والحوسبة الحافة/الضباب
نظرة عامة
تقدم هذه القسم نظرة عامة على التحديات والحلول المرتبطة بضبط نماذج اللغة الكبيرة (LLMs) في حافة الشبكة، لا سيما في ضوء مخاوف الخصوصية والأمان. يبرز المؤلفون قيود طرق الضبط الفعالة من حيث المعلمات الحالية (PEFT) واستراتيجيات إدارة الموارد، التي تكافح لتلبية المتطلبات الحاسوبية للأجهزة الفردية في الحافة، مما يؤدي إلى “جدار الموارد” الذي يعيق كفاءة التدريب.
لمعالجة هذه القضايا، يقترح المؤلفون PAC+، وهو إطار ذكاء اصطناعي تعاوني فعال من حيث الموارد مصمم لضبط LLM الشخصي في الموقع. يستخدم PAC+ نهجًا مزدوجًا: من الناحية الخوارزمية، يقدم تقنية ضبط تحسن المعلمات والوقت والذاكرة من خلال استخدام المحولات المتوازية وآلية تخزين التنشيط، مما يقلل الحاجة إلى الحسابات الزائدة. بشكل منهجي، يجمع PAC+ الأجهزة القريبة في حافة الشبكة في مجموعة موارد جماعية، مستفيدًا من البيانات الهجينة والتوازي في خطوط الأنابيب للتدريب الموزع. يظهر تنفيذ النموذج الأولي لـ PAC+ تحسينات كبيرة، حيث يحقق تسريعًا يصل إلى 9.7× من البداية إلى النهاية ويقلل من استخدام الذاكرة بنسبة تصل إلى 88.16% مقارنة بخوارزميات ضبط LLM الحالية.
مقدمة
تناقش مقدمة هذه الورقة البحثية التأثير التحويلي لنماذج اللغة الكبيرة (LLMs) على الذكاء الآلي، لا سيما نشرها على الأجهزة الطرفية للتطبيقات الذكية مثل المساعدين الشخصيين. أظهرت دراسة استقصائية أن أكثر من 80% من خبراء الصناعة يؤيدون استضافة LLMs الشخصية في الحافة لتعزيز الخصوصية وتمكين الخدمات المخصصة. ومع ذلك، فإن ضبط هذه النماذج على الأجهزة الطرفية يمثل تحديات كبيرة بسبب طبيعتها التي تتطلب موارد كبيرة. تتطلب تقنيات الضبط الفعالة من حيث المعلمات الحالية (PEFT)، مثل المحولات وLoRA، على الرغم من تقليل عدد المعلمات القابلة للتدريب، موارد حاسوبية وذاكرة كبيرة، مما يجعلها غير مناسبة للبيئات الطرفية النموذجية.
لمعالجة هذه القيود، تقدم الورقة PAC+، وهو إطار ذكاء اصطناعي تعاوني مصمم لضبط LLMs الشخصية بكفاءة. يستخدم PAC+ تصميمًا مشتركًا معقدًا بين الخوارزمية والنظام يعزز كفاءة المعلمات والموارد. يستخدم نهجًا جديدًا يسمى المحولات المتوازية، التي تحسن الذاكرة والعبء الحاسوبي من خلال تخزين التنشيطات الوسيطة واستخدام التكميم منخفض الدقة. يتم تنفيذ عملية الضبط عبر عدة أجهزة طرفية، مستفيدة من استراتيجية التوازي الهجينة لتحسين استخدام الموارد. تظهر النتائج التجريبية أن PAC+ يحقق تسريعًا يصل إلى 9.7× في سرعة الضبط ويقلل من استخدام الذاكرة بنسبة تصل إلى 88.16% مقارنة بالطرق الحالية، مما يسهل نشر LLMs بشكل فعال في البيئات الطرفية المحدودة الموارد.
طرق
في هذا القسم، يوضح المؤلفون الطرق المستخدمة لتقييم أداء وموثوقية نظام PAC+ الخاص بهم مقارنة بمختلف الأساليب الأساسية. يقارنون بشكل منهجي PAC+ مع ثلاثة نماذج كلاسيكية للحوسبة الطرفية التعاونية – المستقل، التوازي البياني (DP)، والتوازي في خطوط الأنابيب (PP) – وثلاث طرق شائعة لضبط نماذج اللغة الكبيرة (LLMs): ضبط النموذج الكامل، LoRA، والمحولات. ينتج عن ذلك إجمالي تسع تكوينات أساسية متميزة، مما يسمح بتحليل شامل لمزايا PAC+ من حيث كفاءة الخوارزمية وتصميم النظام.
تشمل التقييم مقارنة فترات التدريب عبر طرق ومجموعات بيانات مختلفة، مما يكشف أن PAC+ يتفوق بشكل كبير على الأساليب الأساسية من حيث وقت التدريب. على سبيل المثال، عند ضبط باستخدام المحولات، يحقق PAC+ فترات تدريب تبلغ 0.14 ساعة لـ T5-Base على MRPC، مقارنة بـ 1.21 ساعة لطريقة المستقل. بالإضافة إلى ذلك، تشير مقاييس الأداء النهائية، بما في ذلك درجات F1 والدقة عبر مجموعات البيانات، إلى أن PAC+ يحافظ على أداء تنافسي بالنسبة للقيم المتوسطة للأساليب الأساسية، مما يظهر فعاليته في البيئات الطرفية المحدودة الموارد. كما يشير المؤلفون إلى أنظمة التدريب الطرفية من النهاية إلى النهاية الحالية، مثل Asteroid وHetPipe، لوضع نتائجهم في سياق أوسع من أطر التدريب التعاونية.
نقاش
تسلط قسم النقاش في الورقة البحثية الضوء على التحديات والتقدم في ضبط نماذج اللغة الكبيرة القائمة على المحولات (LLMs) على الأجهزة الطرفية المحدودة الموارد. لقد أظهرت نماذج LLMs القائمة على المحولات، التي تتميز بكتل الانتباه المتعدد والرؤية الأمامية، أداءً ملحوظًا عبر مهام لغوية مختلفة. ومع ذلك، فإن عملية الضبط التقليدية، التي تتضمن تحديث جميع معلمات النموذج، غير عملية للعديد من المهام بسبب الطلبات الحاسوبية والذاكرة الكبيرة. لمعالجة ذلك، تم اقتراح تقنيات الضبط الفعالة من حيث المعلمات (PEFT)، مثل المحولات وLoRA، التي تعدل فقط مجموعة صغيرة من المعلمات. على الرغم من كفاءتها في تقليل المعلمات القابلة للتدريب بنسبة تقارب 98%، إلا أن هذه التقنيات لا تخفف بشكل كبير من العبء الحاسوبي والذاكرة أثناء التدريب.
تقدم الورقة PAC+، وهو إطار تعاوني مصمم لتعزيز ضبط LLMs الشخصية عبر عدة أجهزة طرفية. يستفيد هذا الإطار من الموارد غير المستخدمة للأجهزة القريبة للتغلب على القيود التي تفرضها قيود الأجهزة الفردية. يحدد المؤلفون تحديين رئيسيين: تحسين كفاءة الوقت والذاكرة أثناء الضبط وتنظيم الحوسبة التعاونية الفعالة من حيث الموارد. تتضمن الحلول المقترحة استخدام المحولات المتوازية، التي تفصل عملية الضبط عن العمود الفقري لـ LLM، مما يتجنب الانتشار العكسي عبر النموذج بأكمله ويقلل بشكل كبير من متطلبات الذاكرة والحوسبة. بالإضافة إلى ذلك، يسمح استخدام تخزين التنشيط بإعادة استخدام التنشيطات عبر العصور، مما يزيد من تحسين عملية الضبط. تؤكد الورقة على الحاجة إلى نهج تصميم شامل يدمج تقنيات PEFT مع أنظمة الحافة التعاونية لتمكين ضبط LLMs الشخصية بشكل قابل للتوسع وفعال في البيئات المحدودة الموارد.
DOI: https://doi.org/10.1109/tpds.2026.3654957
Publication Date: 2026-01-16
Author(s): Shengyuan Ye et al.
Primary Topic: IoT and Edge/Fog Computing
Overview
The section presents an overview of the challenges and solutions associated with fine-tuning large language models (LLMs) at the network edge, particularly in light of data privacy and security concerns. The authors highlight the limitations of current parameter-efficient fine-tuning (PEFT) methods and resource management strategies, which struggle to meet the computational demands of individual edge devices, leading to a “resource wall” that hampers training efficiency.
To address these issues, the authors propose PAC+, a resource-efficient collaborative edge AI framework designed for in-situ personal LLM fine-tuning. PAC+ employs a dual approach: algorithmically, it introduces a fine-tuning technique that optimizes parameters, time, and memory through the use of Parallel Adapters and an activation cache mechanism, which reduces the need for redundant computations. Systematically, PAC+ aggregates nearby edge devices into a collective resource pool, utilizing hybrid data and pipeline parallelism for distributed training. The prototype implementation of PAC+ demonstrates significant improvements, achieving up to a 9.7× end-to-end speedup and reducing memory usage by up to 88.16% compared to existing LLM fine-tuning algorithms.
Introduction
The introduction of this research paper discusses the transformative impact of large language models (LLMs) on machine intelligence, particularly their deployment on edge devices for intelligent applications such as personal assistants. A survey highlighted that over 80% of industry experts advocate for hosting personal LLMs at the edge to enhance privacy and enable personalized services. However, fine-tuning these models on edge devices presents significant challenges due to their resource-intensive nature. Existing parameter-efficient fine-tuning (PEFT) techniques, such as Adapters and LoRA, while reducing the number of trainable parameters, still require substantial computational resources and memory, making them unsuitable for typical edge environments.
To address these limitations, the paper introduces PAC+, a collaborative edge AI framework designed for efficient fine-tuning of personal LLMs. PAC+ employs a sophisticated algorithm-system co-design that enhances both parameter and resource efficiency. It utilizes a novel approach called Parallel Adapters, which optimizes memory and computational overhead by caching intermediate activations and employing low-precision quantization. The fine-tuning process is executed across multiple edge devices, leveraging a hybrid parallelism strategy to optimize resource utilization. Experimental results demonstrate that PAC+ achieves up to a 9.7× acceleration in fine-tuning speed and reduces memory usage by up to 88.16% compared to existing methods, thereby facilitating effective LLM deployment in resource-constrained edge environments.
Methods
In this section, the authors detail the methods employed to evaluate the performance and robustness of their PAC+ system against various baseline approaches. They systematically compare PAC+ with three classic collaborative edge computing paradigms—Standalone, Data Parallelism (DP), and Pipeline Parallelism (PP)—and three widely adopted fine-tuning methods for large language models (LLMs): Full model fine-tuning, LoRA, and Adapters. This results in a total of nine distinct baseline configurations, allowing for a comprehensive analysis of PAC+’s advantages in both algorithmic efficiency and system design.
The evaluation includes a comparison of training durations across different methods and datasets, revealing that PAC+ significantly outperforms the baseline methods in terms of training time. For instance, when fine-tuning with Adapters, PAC+ achieves training durations of 0.14 hours for T5-Base on MRPC, compared to 1.21 hours for the Standalone method. Additionally, the final performance metrics, including F1 scores and accuracy across datasets, indicate that PAC+ maintains competitive performance relative to the mean values of the baseline methods, demonstrating its effectiveness in resource-constrained edge environments. The authors also reference existing end-to-end edge training systems, such as Asteroid and HetPipe, to contextualize their findings within the broader landscape of collaborative training frameworks.
Discussion
The discussion section of the research paper highlights the challenges and advancements in fine-tuning transformer-based large language models (LLMs) on resource-constrained edge devices. Transformer-based LLMs, characterized by their Multi-head Attention and Feed Forward blocks, have shown remarkable performance across various language tasks. However, the conventional fine-tuning process, which involves updating all model parameters, is impractical for multiple tasks due to significant computational and memory demands. To address this, parameter-efficient fine-tuning (PEFT) techniques, such as Adapters and LoRA, have been proposed, which adapt only a small subset of parameters. Despite their efficiency in reducing trainable parameters by approximately 98%, these techniques do not substantially alleviate the computational and memory overhead during training.
The paper introduces PAC+, a collaborative framework designed to enhance the fine-tuning of personal LLMs across multiple edge devices. This framework leverages the idle resources of nearby devices to overcome the limitations posed by individual device constraints. The authors identify two primary challenges: improving time and memory efficiency during fine-tuning and orchestrating resource-efficient collaborative computing. The proposed solution involves utilizing Parallel Adapters, which decouple the fine-tuning process from the LLM backbone, thereby avoiding backpropagation through the entire model and significantly reducing memory and computational requirements. Additionally, the use of activation caching allows for the reuse of activations across epochs, further optimizing the fine-tuning process. The paper emphasizes the need for a holistic design approach that integrates PEFT techniques with collaborative edge systems to enable scalable and efficient fine-tuning of personal LLMs in resource-limited environments.