الأبحاث المرتبطة بالكلمة المفتاحية: تقييم نماذج LLM
-
سد فجوة الأداء: تحسين منهجي لنماذج اللغة المحلية لاستخراج المعلومات الصحية الطبية اليابانية Bridging the performance gap: systematic optimization of local LLMs for Japanese medical PHI extraction
2026 | المؤلف: Akihiko Wada وآخرون | المجلة: Scientific Reports | المجال: المعلوماتية الصحية (Health Informatics)يتناول هذا القسم التحديات والتقدم في استخدام نماذج اللغة الكبيرة المستندة إلى السحابة (LLMs) لمعالجة النصوص الطبية، خاصة في ضوء اللوائح المتعلقة بالخصوصية المحيطة بالمعلومات الصحية المحمية (PHI). بينما يمكن أن تسمح الاتفاقيات التعاقدية بنقل PHI إلى خدمات خارجية، فإن العديد من المؤسسات الصحية تعطي الأولوية لسيادة البيانات، مما يؤدي إلى تفضيل نماذج LLM المحلية.…
-
تقييم استخدام نماذج اللغة الكبيرة لتوثيق تتبع الشيفرة Evaluating the Use of LLMs for Documentation to Code Traceability
2026 | المؤلف: Ebube Alor وآخرون | المجلة: ACM Transactions on Software Engineering and Methodology | المجال: نظم المعلومات (Information Systems)تقيّم هذه الفقرة من ورقة البحث قدرات نماذج اللغة الكبيرة (LLMs) في أتمتة تتبع الوثائق إلى الشيفرة، مع التركيز على أدائها في ربط وثائق البرمجيات بالشيفرة المصدرية. تقيّم الدراسة ثلاثة نماذج LLMs—Claude 3.5 Sonnet وGPT-4o وo3-mini—باستخدام مجموعتين بيانات جديدتين مستمدتين من مشاريع مفتوحة المصدر، Unity Catalog وCrawl4AI. تشير النتائج الرئيسية إلى أن أفضل نموذج LLM…
-
تحدي NMR لنماذج اللغة الكبيرة: تقييم التفكير الكيميائي لدى البشر والذكاء الاصطناعي NMR-Challenge for LLMs: Evaluating Chemical Reasoning in Humans and AI
2026 | المؤلف: Samiha Sharlin وآخرون | المجلة: Journal of Chemical Information and Modeling | المجال: المعلوماتية الصحية (Health Informatics)تبحث هذه الدراسة في تطبيق نماذج اللغة الكبيرة (LLMs) في حل مهام الطيف النووي المغناطيسي (NMR)، وهو مجال حاسم في التعليم والبحث. استخدمت الدراسة 115 مشكلة مأخوذة من NMR-Challenge.com، التي جمعت أكثر من مليون استجابة بشرية، لتقييم قدرات التفكير المنطقي لسبعة نماذج LLM، بما في ذلك GPT-4o و o1. تم اختبار استراتيجيات تحفيز مختلفة لتعزيز…