DOI: https://doi.org/10.1021/acs.jcim.6c00481
PMID: https://pubmed.ncbi.nlm.nih.gov/42166780
تاريخ النشر: 2026-05-21
المؤلف: Samiha Sharlin وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية والتعليم
نظرة عامة
تبحث هذه الدراسة في تطبيق نماذج اللغة الكبيرة (LLMs) في حل مهام الطيف النووي المغناطيسي (NMR)، وهو مجال حاسم في التعليم والبحث. استخدمت الدراسة 115 مشكلة مأخوذة من NMR-Challenge.com، التي جمعت أكثر من مليون استجابة بشرية، لتقييم قدرات التفكير المنطقي لسبعة نماذج LLM، بما في ذلك GPT-4o و o1. تم اختبار استراتيجيات تحفيز مختلفة لتعزيز التفكير المتسلسل، مما كشف أن النماذج الأحدث التي تركز على التفكير المنطقي تفوقت على النماذج الأقدم. بينما أسفر زيادة الجهد في التفكير عن تحسينات متواضعة، لم تؤثر التغيرات في التحفيز ودرجة الحرارة بشكل كبير على الأداء.
تشير النتائج إلى أن الطلاب الجامعيين ذوي الأداء العالي تفوقوا على النماذج الأصغر مثل GPT-4o بفوارق كبيرة عبر مستويات صعوبة مختلفة. ومع ذلك، تفوقت النماذج التي تركز على التفكير المنطقي مثل o1 على الطلاب، مما يبرز تقدمًا ملحوظًا في قدرات LLM. أظهر تحليل الأخطاء أن كل من البشر وLLMs ارتكبوا أخطاء مشابهة، مثل وضع المجموعات البديلة بشكل خاطئ على حلقات البنزين، ومع ذلك، أنتجت LLMs أحيانًا إجابات فريدة لم يقدمها البشر. تؤسس هذه الدراسة معيارًا لتقييم LLMs في الكيمياء، مما يظهر إمكاناتها في تفسير بيانات NMR المعقدة بينما تكشف أيضًا عن مجالات لتحسين دقة التفكير.
النتائج
في قسم النتائج والمناقشة، يصنف المؤلفون نتائجهم إلى ثلاثة مجالات متميزة. يتناول المجال الأول أداء النماذج المختلفة عند تعرضها لدرجات حرارة وأساليب تحفيز ومستويات تفكير مختلفة في سياق حل مشاكل طيف النووي المغناطيسي (NMR). يوفر هذا التحليل رؤى حول كيفية تأثير هذه العوامل على فعالية النموذج.
يقدم المجال الثاني تحليلًا مقارنًا لأداء البشر في نفس مشاكل طيف NMR، مما يضع معيارًا لتقييم النماذج. أخيرًا، يوضح المؤلفون نتائج تجريبية إضافية تقوم بتنقيح الظروف التي يتم اختبار نماذج اللغة الكبيرة (LLMs) فيها، مما يجعلها تتماشى بشكل أقرب مع المنهجيات المستخدمة في التقييمات البشرية. يهدف هذا النهج الشامل إلى تعزيز فهم قدرات النموذج بالنسبة لأداء البشر في هذا المجال.
المناقشة
في هذا القسم، يناقش المؤلفون المنهجية والنتائج المتعلقة بأبحاثهم حول أداء نماذج اللغة الكبيرة (LLMs) في تفسير بيانات الطيف النووي المغناطيسي (NMR). استخدموا بيانات من NMR-Challenge.com، واختاروا مشاكل بمستويات صعوبة متنوعة وطبقوا تحليل المضاعفات لاستخراج معلومات الذروة ذات الصلة. شملت الدراسة تقييم سبعة نماذج LLM، بما في ذلك نماذج متنوعة من OpenAI وGoogle DeepMind، تحت أساليب وظروف تحفيز مختلفة، مثل تضمين الصيغ الجزيئية. أظهرت النتائج أنه بينما تفوقت نماذج التفكير عمومًا على LLMs القياسية، لم يتم ملاحظة التحسينات المتوقعة من استراتيجيات التحفيز المتقدمة والمعرفة بالمجال بشكل متسق. في الواقع، أظهرت بعض النماذج انخفاضًا في الأداء مع التحفيزات الأكثر تعقيدًا.
كشف تحليل أداء النموذج أن الدقة تحسنت بشكل كبير عند تضمين الصيغ الجزيئية، مع ارتباط إيجابي أيضًا بين جهد التفكير والأداء. من الجدير بالذكر أن الدراسة وجدت أن المشاركين البشر، وخاصة أولئك في الربع الأعلى من الأداء، تفوقوا على نموذج GPT-4o ولكن تم تجاوزهم بواسطة نموذج o1. أظهر تحليل الأخطاء أن كل من LLMs والمشاركين البشر شاركوا في أنماط فشل شائعة، مثل تعيين مواقع المجموعات البديلة بشكل خاطئ وصيغ جزيئية غير صحيحة، مما يشير إلى تقارب في مسارات التفكير. تؤكد هذه النتائج على التحديات الكامنة في توضيح بنية NMR وتبرز أهمية التعليم المستمر في هذا المجال، على الرغم من التقدم في أدوات الذكاء الاصطناعي.
DOI: https://doi.org/10.1021/acs.jcim.6c00481
PMID: https://pubmed.ncbi.nlm.nih.gov/42166780
Publication Date: 2026-05-21
Author(s): Samiha Sharlin et al.
Primary Topic: Artificial Intelligence in Healthcare and Education
Overview
This research investigates the application of large language models (LLMs) in solving Nuclear Magnetic Resonance (NMR) spectral tasks, a critical area in education and research. The study utilized 115 problems sourced from NMR-Challenge.com, which has amassed over 1 million human responses, to evaluate the reasoning capabilities of seven LLMs, including GPT-4o and o1. Various prompting strategies were tested to enhance chain-of-thought reasoning, revealing that newer models with a focus on reasoning outperformed older models. While increased reasoning effort yielded modest improvements, variations in prompting and temperature did not significantly affect performance.
The findings indicate that top-performing undergraduate students surpassed smaller models like GPT-4o by substantial margins across different difficulty levels. However, reasoning-focused models like o1 outperformed students, highlighting a notable advancement in LLM capabilities. The analysis of errors showed that both humans and LLMs made similar mistakes, such as misplacing substituents on benzene rings, yet LLMs occasionally produced unique answers not submitted by humans. This study establishes a benchmark for evaluating LLMs in chemistry, demonstrating their potential in interpreting complex NMR data while also revealing areas for improvement in reasoning accuracy.
Results
In the Results and Discussion section, the authors categorize their findings into three distinct areas. The first area examines the performance of various models when subjected to different temperatures, prompting styles, and reasoning levels in the context of solving Nuclear Magnetic Resonance (NMR) spectra problems. This analysis provides insights into how these factors influence model efficacy.
The second area presents a comparative analysis of human performance on the same NMR spectra problems, establishing a benchmark for evaluating the models. Finally, the authors detail additional experimental results that refine the conditions under which large language models (LLMs) are tested, aligning them more closely with the methodologies employed in human assessments. This comprehensive approach aims to enhance the understanding of model capabilities relative to human performance in this domain.
Discussion
In this section, the authors discuss the methodology and findings of their research on the performance of large language models (LLMs) in interpreting NMR spectral data. They utilized data from NMR-Challenge.com, selecting problems of varying difficulty and employing multiplet analysis to extract relevant peak information. The study involved evaluating seven LLMs, including various models from OpenAI and Google DeepMind, under different prompting styles and conditions, such as the inclusion of molecular formulas. The results indicated that while reasoning models generally outperformed standard LLMs, the expected improvements from advanced prompting strategies and domain knowledge were not consistently observed. In fact, some models exhibited decreased performance with more complex prompts.
The analysis of model performance revealed that accuracy significantly improved when molecular formulas were included, with reasoning effort also positively correlating with performance. Notably, the study found that human participants, particularly those in the top quartile of performance, outperformed the GPT-4o model but were surpassed by the o1 model. Error analysis showed that both LLMs and human participants shared common failure modes, such as misassigning substituent positions and incorrect molecular formulas, suggesting a convergence in reasoning pathways. These findings underscore the challenges inherent in NMR structure elucidation and highlight the importance of continued education in this area, despite the advancements in AI tools.