DOI: https://doi.org/10.1145/3838593
تاريخ النشر: 2026-08-24
المؤلف: Senyang Li وآخرون
الموضوع الرئيسي: إنترنت الأشياء والحوسبة الحافة/الضباب
نظرة عامة
تتناول هذه الدراسة قيود نشر نماذج اللغة الكبيرة (LLMs) فقط في بيئات السحابة أو ضغطها للأجهزة الطرفية، مع تسليط الضوء على القضايا المتعلقة بالزمن المستغرق، والخصوصية، والتكلفة، والتخصيص. تقترح إطارًا تعاونيًا حيث تعمل نماذج اللغة الكبيرة المستندة إلى السحابة ونماذج اللغة الصغيرة (SLMs) المنشرة على الأطراف معًا خلال كل من مراحل الاستدلال والتدريب. يقدم المؤلفون تصنيفًا شاملاً لاستراتيجيات التعاون بين السحابة والأطراف، مصنفين أساليب الاستدلال إلى تعيين المهام، وتقسيم المهام، والتعاون القائم على المزيج، مع التركيز على الجدولة التكيفية، وتحميل الموارد الواعي، وفك التشفير الاستكشافي، والتوجيه المعياري. بالنسبة للتدريب، تستعرض الدراسة تقنيات مثل محاذاة المعلمات، والتقليم، والتقطير ثنائي الاتجاه، والتحسين الموجه بواسطة النموذج الصغير، بينما تلخص أيضًا مجموعات البيانات ذات الصلة، والمعايير، وطرق الحفاظ على الخصوصية.
في الختام، يمثل هذا العمل أول مراجعة منهجية لتعاون LLM-SLM، موضحًا استراتيجيات الاستدلال والتدريب. يشمل التصنيف المقترح أنماطًا ودرجات مختلفة، مع التأكيد على أهمية نقل المعرفة ثنائي الاتجاه وتقنيات أخرى تسهل النشر الفعال دون التضحية بالأداء. من خلال دمج التقدمات الخوارزمية مع اعتبارات على مستوى النظام، تقدم الدراسة رؤى قيمة وإرشادات عملية لتطوير أنظمة LLM-SLM قابلة للتوسع، ومنخفضة الزمن المستغرق، وفعالة من حيث الموارد، مما يضع إطارًا أساسيًا للبحث والتطبيقات المستقبلية في بيئات متنوعة.
مقدمة
تناقش مقدمة ورقة البحث قدرات وتحديات نماذج اللغة الكبيرة (LLMs) في معالجة اللغة الطبيعية، خاصة في سياق الأجهزة الطرفية ذات الموارد المحدودة. بينما تتفوق LLMs في مهام متنوعة، فإن متطلباتها العالية من الحوسبة والذاكرة تعيق النشر على الأجهزة. تقترح الورقة نموذج ذكاء تعاوني بين السحابة والأطراف يدمج نقاط القوة في الحوسبة السحابية – مثل القدرة الحاسوبية والتعميم – مع الاستجابة والقدرة على التكيف للأجهزة الطرفية. يركز هذا النهج على تحسين المعمارية والخوارزميات وتدابير الخصوصية، مما يسهل التعاون بين LLMs ونماذج اللغة الصغيرة (SLMs) من خلال تقنيات مثل مشاركة الميزات وتقسيم المهام.
يبرز المؤلفون قيود الأساليب الحالية التي تركز على السحابة والأطراف، والتي إما تعاني من زمن مستغرق مرتفع ومخاطر الخصوصية أو مقيدة بالقدرات الحاسوبية على الأجهزة. يدعون إلى إطار تعاوني يعامل LLMs وSLMs كعوامل متميزة ولكن تفاعلية، مع معالجة التحديات في الاستدلال والتدريب، مثل التباين المعماري وتوزيع البيانات. تشير الورقة إلى التقدمات والتطبيقات الحديثة عبر مجالات متنوعة، بما في ذلك القيادة الذاتية والرعاية الصحية، مما يعرض الإلحاح العملي والجدوى التقنية لتنفيذ تعاون LLM-SLM. يهدف هذا الإطار إلى تعزيز الكفاءة والموثوقية والقابلية للتعميم للخدمات الذكية في البيئات الديناميكية.
نقاش
تسلط قسم النقاش في ورقة البحث الضوء على المشهد الحالي للاستدلال والتدريب التعاوني بين نماذج اللغة الكبيرة (LLMs) ونماذج اللغة الصغيرة (SLMs) في بيئات السحابة والأطراف. تستعرض الدراسة الاستطلاعات الحالية، مشيرة إلى أنه بينما يركز العديد منها على جوانب محددة مثل استراتيجيات النشر أو التقنيات المعزولة، فإنها غالبًا ما تفتقر إلى منظور خوارزمي شامل حول التعاون بين LLMs وSLMs. تهدف هذه الدراسة إلى سد تلك الفجوة من خلال تقديم تصنيف موحد لأنماط التعاون، بما في ذلك استراتيجيات تعيين المهام، والتقسيم، والمزيج، ومن خلال تحليل توافقها مع المبادئ الخوارزمية وقيود النظام.
تُبنى الدراسة حول أسئلة بحث رئيسية تستكشف المفاهيم الأساسية للتعاون بين السحابة والأطراف، والأنماط الرئيسية في الاستدلال، وضرورة التدريب التعاوني. تؤكد على أهمية فهم التفاعل بين LLMs وSLMs، خاصة في ظل قيود الموارد، وتناقش استراتيجيات تعاونية متنوعة تعزز الكفاءة وتقلل الزمن المستغرق. من خلال مراجعة منهجية للأدبيات الحديثة واقتراح إطار قابل للتعميم لتعاون النماذج، تقدم الدراسة رؤى منهجية وآثار عملية للتطورات المستقبلية في أنظمة LLM السحابية. بشكل عام، تؤسس قاعدة شاملة لفهم وتقدم الاستدلال والتدريب التعاوني في البيئات غير المتجانسة.
DOI: https://doi.org/10.1145/3838593
Publication Date: 2026-08-24
Author(s): Senyang Li et al.
Primary Topic: IoT and Edge/Fog Computing
Overview
This survey addresses the limitations of deploying large language models (LLMs) solely in cloud environments or compressing them for edge devices, highlighting issues related to latency, privacy, cost, and personalization. It proposes a collaborative framework where cloud-based LLMs and edge-deployed small language models (SLMs) work together during both inference and training phases. The authors introduce a comprehensive taxonomy of edge-cloud collaboration strategies, categorizing inference approaches into task assignment, task division, and mixture-based collaboration, with a focus on adaptive scheduling, resource-aware offloading, speculative decoding, and modular routing. For training, the survey reviews techniques such as parameter alignment, pruning, bidirectional distillation, and small-model-guided optimization, while also summarizing relevant datasets, benchmarks, and privacy-preserving methods.
In conclusion, this work represents the first systematic review of LLM-SLM collaboration, detailing both inference and training strategies. The proposed taxonomy encompasses various paradigms and granularities, emphasizing the importance of bidirectional knowledge transfer and other techniques that facilitate efficient deployment without sacrificing performance. By integrating algorithmic advancements with system-level considerations, the survey offers valuable insights and practical guidance for developing scalable, low-latency, and resource-efficient LLM-SLM systems, laying a foundational framework for future research and applications in diverse environments.
Introduction
The introduction of the research paper discusses the capabilities and challenges of large language models (LLMs) in natural language processing, particularly in the context of resource-constrained edge devices. While LLMs excel in various tasks, their high computational and memory requirements hinder on-device deployment. The paper proposes an edge-cloud collaborative intelligence paradigm that integrates the strengths of cloud computing—such as computational power and generalization—with the responsiveness and adaptability of edge devices. This approach emphasizes the co-optimization of architectures, algorithms, and privacy measures, facilitating collaboration between LLMs and smaller language models (SLMs) through techniques like feature sharing and task partitioning.
The authors highlight the limitations of existing cloud-centric and edge-centric methods, which either suffer from high latency and privacy risks or are constrained by on-device computational capabilities. They advocate for a collaborative framework that treats LLMs and SLMs as distinct yet interactive agents, addressing challenges in inference and training, such as architectural heterogeneity and data distribution. The paper references recent advancements and applications across various domains, including autonomous driving and healthcare, showcasing the practical urgency and technical feasibility of implementing LLM-SLM collaborations. This framework aims to enhance the efficiency, reliability, and generalizability of intelligent services in dynamic environments.
Discussion
The discussion section of the research paper highlights the current landscape of collaborative inference and training between large language models (LLMs) and small language models (SLMs) in edge-cloud environments. It reviews existing surveys, noting that while many focus on specific aspects such as deployment strategies or isolated techniques, they often lack a comprehensive algorithmic perspective on the collaboration between LLMs and SLMs. This survey aims to fill that gap by presenting a unified taxonomy of collaboration paradigms, including task assignment, division, and mixture strategies, and by analyzing their alignment with algorithmic principles and system constraints.
The survey is structured around key research questions that explore the fundamental concepts of edge-cloud collaboration, the major paradigms in inference, and the necessity of collaborative training. It emphasizes the importance of understanding the interaction between LLMs and SLMs, particularly under resource constraints, and discusses various collaborative strategies that enhance efficiency and reduce latency. By systematically reviewing recent literature and proposing a generalizable framework for model cooperation, the survey provides methodological insights and practical implications for future developments in edge-cloud LLM systems. Overall, it establishes a comprehensive foundation for understanding and advancing collaborative inference and training in heterogeneous environments.