تقدم هذه الورقة البحثية AECBench، وهو معيار مصمم لتقييم أداء نماذج اللغة الكبيرة (LLMs) ضمن قطاع الهندسة المعمارية والهندسة والبناء (AEC). مع الاعتراف بزيادة اعتماد LLMs في هذا المجال الحساس للسلامة، طور المؤلفون إطار تقييم معرفي من خمسة مستويات يشمل حفظ المعرفة، وفهم المعرفة، واستدلال المعرفة، وحساب المعرفة، وتطبيق المعرفة. يتضمن المعيار 23 مهمة مستمدة…