DOI: https://doi.org/10.1002/cae.70210
تاريخ النشر: 2026-05-28
المؤلف: Benjamin Hope وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في التعليم
نظرة عامة
تستكشف هذه الدراسة أداء نماذج اللغة الكبيرة (LLMs)، وبشكل خاص ChatGPT-4o وChatGPT-o1-preview من OpenAI، في حل مشاكل ميكانيكا الهندسة التي يتم مواجهتها عادة في دورات الاستاتيكا للسنة الأولى. شملت التقييمات مهام تتراوح من الحسابات الأساسية، مثل قانون نيوتن الثاني ($F = ma$)، إلى تحليلات أكثر تعقيدًا تتعلق بالعوارض والهياكل. حقق نموذج GPT مخصص، تم تحسينه مع مطالبات مصممة خصيصًا، درجة 82%، متفوقًا على متوسط 75% لطلاب الهندسة في السنة الأولى. على الرغم من هذه التقدمات، واجهت النماذج صعوبات مع المشاكل الدقيقة، مثل التعرف بدقة على الشد والانضغاط في أعضاء الهياكل، مما يدل على قيود في قدرتها على التفكير والقدرات متعددة الوسائط.
تؤكد النتائج على الدور الكبير لتصميم المطالبات في تحسين دقة النموذج، خاصة من خلال التفكير المتسلسل (CoT) والتعليمات الواضحة. ومع ذلك، لا تزال التحديات قائمة، خاصة في تفسير المدخلات البصرية، التي تعتبر حاسمة في السياقات الهندسية. ترسم الدراسة أوجه تشابه بين أداء LLM وأداء طلاب الهندسة، مما يشير إلى أنه بينما قد يواجه كلاهما صعوبات مع الصرامة النظرية في الامتحانات، إلا أنهما يمكن أن يقدما رؤى قيمة في العمليات الهندسية التكرارية والتعاونية. يجادل المؤلفون بأنه مع تحسينات مستهدفة في التفكير والقدرات متعددة الوسائط، يمكن أن تعزز LLMs من فائدتها في التحليل والتعليم الهندسي، مما قد يحول كيفية تدريب ودعم المهندسين في المستقبل في ممارستهم.
مقدمة
تناقش مقدمة هذه الورقة البحثية تطبيق نماذج الذكاء الاصطناعي التوليدية، وبشكل خاص نماذج اللغة الكبيرة (LLMs) مثل ChatGPT من OpenAI، في تحليل وتجميع مجموعات البيانات المعقدة عبر مجالات مختلفة، بما في ذلك التعليم الهندسي. تقيم الدراسة بشكل خاص أداء ChatGPT (الإصدارات 4o وo1preview) في مهام ذات تعقيد متزايد، تتراوح من التطبيقات الأساسية لقانون نيوتن الثاني إلى امتحان استاتيكا الهندسة للسنة الأولى. تم اختبار استراتيجيات مختلفة للمطالبات، مثل zero-shot وfew-shot وتقنيات التفكير المتسلسل (CoT)، وتم تطوير GPT مخصص لتحسين هذه المطالبات.
تهدف الدراسة إلى تقييم ليس فقط قدرات حل المشكلات لـ ChatGPT ولكن أيضًا إمكانياته كأداة تعليمية آلية، مما يوفر رؤى حول فعاليته في مساعدة الطلاب على فهم المفاهيم الأساسية للهندسة. ستفصل الأقسام التالية من الورقة المنهجية، بما في ذلك هندسة المطالبات ومعايير التقييم، وتحليل أداء ChatGPT في مشاكل استاتيكا الهندسة المحددة، ومقارنة نتائجه في امتحان الهندسة مع نتائج الطلاب، وفي النهاية ستختتم برؤى حول دمج الذكاء الاصطناعي في تعليم ميكانيكا الهندسة.
الطرق
توضح قسم المنهجية النهج المنهجي المستخدم في البحث. يتناول تصميم التجربة، بما في ذلك اختيار المشاركين، وتقنيات جمع البيانات، والأساليب التحليلية المستخدمة لتقييم النتائج. استخدمت الدراسة مزيجًا من الأساليب الكمية والنوعية لضمان تحليل شامل للبيانات.
شمل جمع البيانات استبيانات وتجارب محكومة، حيث تم اختيار المشاركين بناءً على معايير إدراج محددة لتعزيز صلاحية النتائج. تم إجراء تحليلات إحصائية باستخدام أدوات برمجية لتقييم دلالة النتائج، مما يضمن أن الاستنتاجات المستخلصة قوية وموثوقة. تؤكد المنهجية على الشفافية وقابلية التكرار، مما يوفر إطارًا واضحًا للبحوث المستقبلية في هذا المجال.
المناقشة
في هذه الدراسة، تم تقييم فعالية نماذج ChatGPT، وبشكل خاص ChatGPT-4o وChatGPT-o1-preview، في سياق تحليل استاتيكا الهندسة. تم استخدام ChatGPT-4o، بفضل قدراته متعددة الوسائط، بشكل أساسي نظرًا لوصوله وسرعة استجابته، بينما كانت ChatGPT-o1-preview، المحسّنة لمهام التفكير المتقدم، مقيدة بحدود الاستخدام خلال فترة البحث. حافظت الدراسة على إعداد درجة حرارة افتراضية قدرها 0.7 لتعكس تجارب المستخدمين النموذجية، مما كشف أن هذا الإعداد ساهم في تباين الاستجابات وزيادة ميل الهلوسة، خاصة في المهام الهندسية المعقدة حيث الدقة أمر حاسم. على الرغم من استخدام هندسة مطالبات دقيقة للتخفيف من هذه القضايا، إلا أن النماذج لا تزال تواجه تحديات في إنتاج مخرجات موثوقة.
استكشفت البحث استراتيجيات مختلفة للمطالبات، بما في ذلك zero-shot وfew-shot وchain-of-thought (CoT)، لتعزيز أداء ChatGPT في مشاكل استاتيكا الهندسة. أظهرت النتائج أن المطالبات المنظمة، وخاصة تلك التي تجمع بين أمثلة few-shot مع التفكير المتسلسل، حسنت بشكل كبير من دقة وموثوقية النماذج. ومع ذلك، واجهت النماذج صعوبات مع المشاكل المعقدة التي تتطلب تفكيرًا نظريًا أعمق وتحليلات متعددة الخطوات، وغالبًا ما كانت تحدد القوى بشكل خاطئ في مشاكل الهياكل والعوارض. كما قامت الدراسة بتقييم قدرات النماذج مع كل من المطالبات النصية والمبنية على الصور، مما كشف أنه بينما كان بإمكان ChatGPT-4o التعامل مع الرسوم البيانية الأبسط، إلا أنه واجه صعوبات مع الرسوم الأكثر تعقيدًا. بشكل عام، أبرزت النتائج إمكانيات LLMs في التطبيقات الهندسية مع التأكيد على الحاجة إلى تصميم مطالبات دقيقة وتحسين تكراري لتحقيق نتائج موثوقة.
DOI: https://doi.org/10.1002/cae.70210
Publication Date: 2026-05-28
Author(s): Benjamin Hope et al.
Primary Topic: Artificial Intelligence in Education
Overview
This study investigates the performance of large language models (LLMs), specifically OpenAI’s ChatGPT-4o and ChatGPT-o1-preview, in solving engineering mechanics problems typically encountered in first-year statics courses. The evaluation included tasks ranging from basic calculations, such as Newton’s second law ($F = ma$), to more complex analyses involving beams and trusses. A Custom GPT model, enhanced with tailored prompts, achieved an 82% score, outperforming the 75% average of first-year engineering students. Despite these advancements, the models struggled with nuanced problems, such as accurately identifying tension and compression in truss members, indicating limitations in their reasoning and multimodal capabilities.
The findings emphasize the significant role of prompt design in improving model accuracy, particularly through chain-of-thought (CoT) reasoning and explicit instructions. However, challenges remain, particularly in interpreting visual inputs, which are crucial in engineering contexts. The study draws parallels between LLM performance and that of engineering students, suggesting that while both may struggle with theoretical rigor in exams, they can still provide valuable insights in iterative, collaborative engineering processes. The authors argue that with targeted improvements in reasoning and multimodal capabilities, LLMs could enhance their utility in engineering analysis and education, potentially transforming how future engineers are trained and supported in their practice.
Introduction
The introduction of this research paper discusses the application of generative AI models, particularly large language models (LLMs) like OpenAI’s ChatGPT, in analyzing and synthesizing complex datasets across various domains, including engineering education. The study specifically evaluates the performance of ChatGPT (versions 4o and o1preview) on tasks of increasing complexity, ranging from basic applications of Newton’s second law to a first-year engineering statics exam. Various prompting strategies, such as zero-shot, few-shot, and chain-of-thought (CoT) techniques, were tested, and a Custom GPT was developed to optimize these prompts.
The research aims to assess not only the problem-solving capabilities of ChatGPT but also its potential as an automated educational tool, providing insights into its effectiveness in helping students grasp fundamental engineering concepts. The subsequent sections of the paper will detail the methodology, including prompt engineering and evaluation metrics, analyze ChatGPT’s performance on specific engineering statics problems, and compare its results on the engineering exam with those of students, ultimately concluding with insights on the integration of AI in engineering mechanics education.
Methods
The methodology section outlines the systematic approach employed in the research. It details the experimental design, including the selection of participants, data collection techniques, and analytical methods used to evaluate the results. The study utilized a combination of quantitative and qualitative methods to ensure a comprehensive analysis of the data.
Data collection involved surveys and controlled experiments, with participants selected based on specific inclusion criteria to enhance the validity of the findings. Statistical analyses were performed using software tools to assess the significance of the results, ensuring that the conclusions drawn are robust and reliable. The methodology emphasizes transparency and reproducibility, providing a clear framework for future research in the field.
Discussion
In this study, the effectiveness of ChatGPT models, specifically ChatGPT-4o and ChatGPT-o1-preview, was evaluated in the context of engineering statics analysis. ChatGPT-4o, with its multimodal capabilities, was primarily utilized due to its accessibility and faster response times, while ChatGPT-o1-preview, optimized for advanced reasoning tasks, was constrained by usage limits during the research period. The study maintained a default temperature setting of 0.7 to reflect typical user experiences, revealing that this setting contributed to variability in responses and increased hallucination tendencies, particularly in complex engineering tasks where precision is crucial. Despite employing careful prompt engineering to mitigate these issues, the models still exhibited challenges in generating reliable outputs.
The research explored various prompting strategies, including zero-shot, few-shot, and chain-of-thought (CoT) prompting, to enhance ChatGPT’s performance on engineering statics problems. Findings indicated that structured prompts, particularly those combining few-shot examples with CoT reasoning, significantly improved the models’ accuracy and reliability. However, the models struggled with complex problems that required deeper theoretical reasoning and multi-step analyses, often misidentifying forces in truss and beam problems. The study also assessed the models’ abilities with both text-based and image-based prompts, revealing that while ChatGPT-4o could handle simpler diagrams, it faced difficulties with more intricate graphics. Overall, the results highlighted the potential of LLMs in engineering applications while underscoring the need for careful prompt design and iterative refinement to achieve reliable outcomes.