DOI: https://doi.org/10.1109/jsac.2025.3645168
تاريخ النشر: 2025-12-17
المؤلف: Zhonghao Lyu وآخرون
الموضوع الرئيسي: إنترنت الأشياء والحوسبة الحافة/الضباب
نظرة عامة
تتناول ورقة البحث الطلب المتزايد على نماذج الذكاء الاصطناعي الكبيرة (LAIMs) من خلال اقتراح مخطط استدلال مشترك مدرك للتقليم يقوم بتقسيم LAIMs بين الأجهزة الطرفية والخوادم. يهدف هذا النهج إلى تعزيز كفاءة الموارد مع ضمان تطبيقات ذات زمن استجابة منخفضة وتحافظ على الخصوصية في الشبكات اللاسلكية. يثبت المؤلفون أن تشويه المخرجات لنماذج LAIMs محدود من الأعلى بتشويه المعلمات ويستخرجون حدًا أدنى على تشويه المعلمات باستخدام نظرية معدل التشويه. يسمح هذا الإطار النظري بفهم تحليلي للعلاقة بين نسبة التقليم وأداء الاستدلال المشترك.
لتحسين النظام، يقوم المؤلفون بصياغة مشكلة تقليل تأخذ في الاعتبار بشكل مشترك نسبة التقليم، وقوة الإرسال، وتردد الحساب، مع الالتزام بالقيود المتعلقة بزمن استجابة النظام، والطاقة، والموارد المتاحة. يقترحون خوارزمية فعالة لمعالجة هذا التحدي في التحسين غير المقعر. تؤكد المحاكاة الواسعة فعالية تصميمهم، مما يظهر أن الإدارة المشتركة المقترحة لنسبة التقليم والموارد تحسن بشكل كبير من أداء الاستدلال، وتقلل من زمن استجابة النظام، وتقلل من استهلاك الطاقة مقارنة بأساليب الاستدلال التقليدية بالكامل على الجهاز أو على الخادم. تسلط النتائج الضوء على الدور الحاسم لنقطة الانقسام في تحسين أداء النظام ضمن بيئات حافة غير متجانسة ومقيدة بالموارد.
مقدمة
تناقش مقدمة ورقة البحث التقدم الكبير في نماذج الذكاء الاصطناعي الكبيرة (LAIMs)، التي تستخدم بنية المحولات وبيانات تدريب واسعة لتتفوق في فهم وتوليد محتوى يشبه البشر. لقد أظهرت أمثلة بارزة مثل GPT-4 من OpenAI قدرة LAIMs على أداء مهام معقدة عبر مجالات متنوعة. ومع ذلك، فإن أحجام النماذج الكبيرة والمتطلبات الحسابية العالية تمثل تحديات للاستدلال الفعال، خاصة في التطبيقات الحساسة للزمن. تعتمد الممارسات الحالية بشكل أساسي على الاستدلال المركزي القائم على السحابة، والذي يعاني من زمن استجابة مرتفع ومخاوف تتعلق بالخصوصية.
لمعالجة هذه القضايا، تسلط الورقة الضوء على إمكانيات الحوسبة الطرفية، خاصة في سياق الشبكات من الجيل السادس (6G) الناشئة، التي تعزز القدرات الحسابية للأجهزة الطرفية. بينما استكشفت بعض الأعمال الحديثة الاستدلال على الجهاز، فإنها تواجه قيودًا بسبب الموارد المحدودة للأجهزة الطرفية. كحل، ظهرت تقنية الاستدلال التعاوني (أو الاستدلال المشترك)، مما يسمح بتقسيم وتنفيذ LAIMs عبر الأجهزة الطرفية وخوادم السحابة. توضح المقدمة استراتيجيات مختلفة للاستدلال المشترك، بما في ذلك ترميز الميزات الوسيطة الموجهة نحو المهام وتحميل المهام المشتركة، مع الإشارة أيضًا إلى التحديات الفريدة التي تطرحها أحجام المعلمات الضخمة لـ LAIMs. بدأت الدراسات الحديثة في معالجة هذه التحديات من خلال تقنيات ضغط النماذج وإدارة الموارد المحسنة، بهدف تحسين جدوى وأداء LAIMs في البيئات المحدودة الموارد.
النتائج
في قسم الاستدلال على الخادم والتعليقات النهائية على النتائج، يصف المؤلفون عملية تحسين نتائج استدلال LAIM من خلال نموذج فرعي مقلم، يُشار إليه بـ $v \in \mathbb{R}^{\hat{s}}$. تُعرف نسبة التقليم بـ $\rho = \hat{s}/s$، والتي تساهم في تقليل الحجم الإجمالي للنموذج (بالبتات) إلى $(\rho q + \rho s)b$. بعد تلقي التضمينات الوسيطة $o$ من الجهاز الطرفي، يستخدم خادم الحافة معلمات النموذج المقلم $v$ لإكمال مهمة الاستدلال، مما ينتج عنه المخرج النهائي $\hat{o} = f(o, v)$، حيث تمثل $f(\cdot)$ وظيفة معالجة نموذج الخادم. ثم يتم إرسال نتيجة الاستدلال النهائية $\hat{o}$ مرة أخرى إلى الجهاز الطرفي، مما ينهي عملية الاستدلال المشترك.
يقدم القسم التالي نتائج عددية تهدف إلى التحقق من فعالية نسبة التقليم المشتركة المقترحة جنبًا إلى جنب مع استراتيجيات الاتصال والحساب لاستدلال LAIM المشترك. تم تنفيذ التجارب باستخدام PyTorch على وحدات معالجة الرسوميات NVIDIA RTX 3090، مما يوفر إطارًا قويًا لتقييم أداء المنهجيات المقترحة.
المناقشة
في هذا القسم، يتناول المؤلفون التحديات المرتبطة بضغط النماذج لنماذج الذكاء الاصطناعي الكامنة (LAIMs) في أنظمة الاستدلال الطرفية المقيدة بالموارد. يبرزون أن الأساليب التجريبية والحدسية الحالية تفتقر إلى الأسس النظرية، خاصة فيما يتعلق بالتوازن بين تعقيد النموذج وجودة الاستدلال. يقترح المؤلفون نظام استدلال مشترك مدرك للتقليم لـ LAIM يقوم بتقسيم LAIM المدرب مسبقًا إلى قسمين: أحدهما لمعالجة الجهاز والآخر للاستدلال على جانب الخادم. يهدف هذا الإعداد إلى تحسين التوازن بين أداء الاستدلال، وزمن تأخير النظام، واستهلاك الطاقة، خاصة تحت قيود الموارد المتغيرة.
يضع المؤلفون إطارًا نظريًا لوصف العلاقة بين نسبة التقليم وتشويه الاستدلال، مما يوضح أن تشويه المخرجات يمكن أن يكون محدودًا من الأعلى بتشويه معلمات النموذج. يقومون بصياغة مشكلة تقليل تأخذ في الاعتبار بشكل مشترك تحسين نسبة التقليم، وقوة الإرسال، وتردد الحساب مع الالتزام بقيود الموارد. توازن الخوارزمية المقترحة بشكل فعال بين التبادلات، محققة تحسينًا في جودة الاستدلال مقارنة بالخطط المرجعية. تؤكد المحاكاة الواسعة تفوق التصميم المقترح، مما يشير إلى أن نظام الاستدلال المشترك يتفوق على أساليب الاستدلال التقليدية بالكامل على الجهاز أو على الخادم، خاصة في البيئات غير المتجانسة والمحدودة الموارد. تؤكد النتائج على أهمية استراتيجيات التقليم التكيفية في تعزيز أداء النظام.
DOI: https://doi.org/10.1109/jsac.2025.3645168
Publication Date: 2025-12-17
Author(s): Zhonghao Lyu et al.
Primary Topic: IoT and Edge/Fog Computing
Overview
The research paper addresses the increasing demand for large artificial intelligence models (LAIMs) by proposing a pruning-aware co-inference scheme that partitions LAIMs between edge devices and servers. This approach aims to enhance resource efficiency while ensuring low-latency and privacy-preserving applications in wireless networks. The authors establish that the output distortion of LAIMs is upper bounded by parameter distortion and derive a lower bound on parameter distortion using rate-distortion theory. This theoretical framework allows for an analytical understanding of the relationship between the pruning ratio and co-inference performance.
To optimize the system, the authors formulate a minimization problem that jointly considers the pruning ratio, transmit power, and computation frequency, all while adhering to constraints related to system latency, energy, and available resources. They propose an efficient algorithm to address this non-convex optimization challenge. Extensive simulations validate the effectiveness of their design, demonstrating that the proposed joint management of pruning ratio and resources significantly improves inference performance, reduces system latency, and minimizes energy consumption compared to traditional fully on-device or on-server inference methods. The findings highlight the critical role of the split point in optimizing system performance within heterogeneous and resource-constrained edge environments.
Introduction
The introduction of the research paper discusses the significant advancements in large artificial intelligence models (LAIMs), which utilize transformer architecture and extensive training data to excel in understanding and generating human-like content. Notable examples like OpenAI’s GPT-4 have demonstrated the capability of LAIMs to perform complex tasks across various domains. However, the large model sizes and high computational demands present challenges for efficient inference, especially in latency-sensitive applications. Current practices predominantly rely on centralized cloud-based inference, which suffers from high communication latency and privacy concerns.
To address these issues, the paper highlights the potential of edge computing, particularly in the context of emerging sixth-generation (6G) networks, which enhance the computational capabilities of edge devices. While some recent works have explored on-device inference, they face limitations due to the constrained resources of edge devices. As a solution, collaborative inference (or co-inference) has emerged, allowing LAIMs to be partitioned and executed across edge devices and cloud servers. The introduction outlines various strategies for co-inference, including task-oriented intermediate feature encoding and joint task offloading, while also noting the unique challenges posed by LAIMs’ massive parameter scales. Recent studies have begun to address these challenges through model compression techniques and optimized resource management, aiming to improve the feasibility and performance of LAIMs in resource-limited environments.
Results
In the section on on-server inference and final results feedback, the authors describe the process of refining the LAIM inference results through a pruned sub-model, denoted as $v \in \mathbb{R}^{\hat{s}}$. The pruning ratio is defined as $\rho = \hat{s}/s$, which contributes to reducing the overall model size (in bits) to $(\rho q + \rho s)b$. After receiving intermediate embeddings $o$ from the edge device, the edge server utilizes the pruned model parameters $v$ to complete the inference task, producing the final output $\hat{o} = f(o, v)$, where $f(\cdot)$ represents the processing function of the on-server model. The final inference result $\hat{o}$ is then sent back to the edge device, concluding the co-inference process.
The subsequent section presents numerical results aimed at validating the effectiveness of the proposed joint pruning ratio alongside communication and computation strategies for LAIM co-inference. The experiments were executed using PyTorch on NVIDIA RTX 3090 GPUs, providing a robust framework for assessing the performance of the proposed methodologies.
Discussion
In this section, the authors address the challenges associated with model compression for Latent AI Models (LAIMs) in resource-constrained edge inference systems. They highlight that existing empirical and heuristic approaches lack theoretical foundations, particularly regarding the balance between model complexity and inference quality. The authors propose a pruning-aware LAIM co-inference system that partitions a pre-trained LAIM into two segments: one for on-device processing and another for server-side inference. This setup aims to optimize the trade-offs between inference performance, system delay, and energy consumption, particularly under varying resource constraints.
The authors establish a theoretical framework to characterize the relationship between the pruning ratio and inference distortion, demonstrating that the output distortion can be upper-bounded by the model parameter distortion. They formulate a minimization problem that jointly optimizes the pruning ratio, transmit power, and computation frequency while adhering to resource constraints. The proposed algorithm effectively balances the trade-offs, achieving improved inference quality compared to benchmark schemes. Extensive simulations validate the superiority of the proposed design, indicating that the co-inference system outperforms traditional fully on-device or on-server inference methods, particularly in heterogeneous and resource-limited environments. The findings underscore the importance of adaptive pruning strategies in enhancing system performance.