الأبحاث المرتبطة بالكلمة المفتاحية: ذاكرة مؤقتة
-
FlexPipe: تكييف خدمة LLM الديناميكية من خلال إعادة هيكلة خط الأنابيب أثناء الطيران في مجموعات خالية من الخادم المجزأة
FlexPipe: Adapting Dynamic LLM Serving Through Inflight Pipeline Refactoring in Fragmented Serverless Clusters2026 | المؤلف: Yanying Lin وآخرون | المجلة: Proceedings of the 21st European Conference on Computer Systems | المجال: نظم المعلومات (Information Systems)يقدم القسم FlexPipe، وهو نظام مبتكر مصمم لتعزيز تقديم نماذج اللغة الكبيرة (LLMs) في بيئات الإنتاج التي تتميز بأنماط طلب متغيرة وتجزئة الموارد في الكتل غير الخدمية. تستخدم الأنظمة التقليدية تكوينات خطوط أنابيب ثابتة، والتي لا تكفي للتكيف مع أحمال العمل الديناميكية، مما يؤدي إلى عدم الكفاءة. يتناول FlexPipe هذه القضايا من خلال إعادة تكوين…
-
RetroInfer: محرك تخزين متجهات لاستنتاج LLM طويل السياق القابل للتوسع
RetroInfer: A Vector Storage Engine for Scalable Long-Context LLM Inference2026 | المؤلف: Yaoqi Chen وآخرون | المجلة: Proceedings of the VLDB Endowment | المجال: الذكاء الاصطناعي (Artificial Intelligence)في هذا القسم، يتناول المؤلفون التحديات التي تواجه نماذج اللغة الكبيرة (LLMs) مع توسيع نوافذ السياق الخاصة بها، وخاصة القيود في سرعة الاستدلال بسبب زيادة متطلبات ذاكرة GPU وعرض النطاق الترددي. ينمو ذاكرة المفتاح والقيمة (KV) التي تخزن تمثيلات الرموز بشكل خطي مع طول السياق وتتطلب مسحًا خطيًا تكراريًا لحساب الانتباه. لتعزيز استدلال السياق الطويل،…