الأبحاث ضمن الموضوع : تقنيات تحسين التدرج العشوائي
-
العمارة تحفز أشكال غير متغيرة هيكليًا لديناميات تدريب الشبكات العصبية
2026 | المؤلف: Jiajie Zhao وآخرون | المجلة: Mathematical Models and Methods in Applied Sciences | المجال: الذكاء الاصطناعي (Artificial Intelligence)تؤسس هذه الورقة البحثية إطارًا نظريًا لفهم ديناميات تدريب الشبكات العصبية العميقة من خلال عدسة نظرية التحكم الهندسي. تقدم مفهوم الحُقُب الهيكلية الثابتة (SIMs)، وهي تحت الحُقُب التي تقيد مسارات تدفق التدرج بغض النظر عن بيانات معينة ودوال خسارة. يُظهر المؤلفون أن هذه الحُقُب تتشكل من مدارات حقل المتجهات المحددة بواسطة تدرج النموذج، $\nabla_\theta F(\cdot)(x)$،…
-
تحسين هندسي-إنتروبي: دمج النقل الأمثل مع طرق التدرج ريمان لتدريب الشبكات العصبية
2026 | المؤلف: Massimiliano Ferrara | المجلة: Journal of Optimization Theory and Applications | المجال: الذكاء الاصطناعي (Artificial Intelligence)في هذا القسم، يقدم المؤلفون تحسين هندسي-إنتروبي (GEO)، وهو خوارزمية جديدة مصممة لتدريب الشبكات العصبية تجمع بين طرق التدرج الريماني مع النقل الأمثل المنظم بالإنتروبيا. يعمل GEO على مجموعة معلمات باستخدام مقياس فيشر-واسرشتاين ويستخدم إسقاطات من نوع سينكهورن للحفاظ على القيود التوزيعية على تنشيطات الطبقات. يقدم المؤلفون ضمانات التقارب، موضحين أن GEO يحقق معدل \(…
-
الانتباه النادر الأصلي: انتباه نادر متوافق مع الأجهزة وقابل للتدريب بشكل أصلي
2025 | المؤلف: Jingyang Yuan وآخرون | المجلة: Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) | المجال: الذكاء الاصطناعي (Artificial Intelligence)تقدم البحث آلية NSA، وهي آلية انتباه نادرة قابلة للتدريب بشكل أصلي مصممة لتعزيز نمذجة السياقات الطويلة في نماذج اللغة من الجيل التالي مع معالجة التكاليف الحسابية العالية المرتبطة بآليات الانتباه القياسية. تستخدم NSA استراتيجية نادرة هرمية ديناميكية تجمع بين ضغط الرموز الخشن واختيار الرموز الدقيقة، مما يحافظ بفعالية على الوعي بالسياق العالمي والدقة المحلية.…