تقدم البحث ChemBench، وهو إطار عمل آلي مصمم لتقييم المعرفة الكيميائية وقدرات التفكير لنماذج اللغة الكبيرة (LLMs) مقارنة بالكيميائيين البشر. قامت الدراسة بتجميع أكثر من 2,700 زوج من الأسئلة والأجوبة وقامت بتقييم مجموعة متنوعة من نماذج LLM الرائدة، مما كشف أن النماذج العليا تفوقت عمومًا على الخبراء البشر في استفسارات معينة تتعلق بالكيمياء. ومع ذلك،…