DOI: https://doi.org/10.1186/s13063-025-08950-3
PMID: https://pubmed.ncbi.nlm.nih.gov/40646586
تاريخ النشر: 2025-07-11
المؤلف: Youjie Chen وآخرون
الموضوع الرئيسي: القدرات المعرفية والاختبار
نظرة عامة
تبحث هذه الورقة البحثية في تأثير الذكاء الاصطناعي التوليدي (AI) على الجهد الإدراكي وأداء الكتابة بين طلاب الجامعات المشاركين في مهام الكتابة التحليلية. تتناول الدراسة وجهتي نظر حول الذكاء الاصطناعي التوليدي: بينما يجادل البعض بأنه قد يقلل من القدرات الإدراكية البشرية من خلال الاعتماد المفرط، يقترح آخرون أنه يمكن أن يعزز الإدراك من خلال أتمتة المهام الروتينية وتقديم رؤى قيمة. لاستكشاف هذه الديناميكيات، سيقوم الباحثون بإجراء تجربة مختبرية عشوائية محكومة تشمل 160 مشاركًا من جامعة ألمانية، مقارنة مجموعة التدخل التي تستخدم الذكاء الاصطناعي التوليدي مع مجموعة التحكم التي لا تستخدمه.
تشمل المنهجية مراقبة الجهد الإدراكي من خلال تقنية تتبع العين واستجابات الدماغ الديناميكية باستخدام الطيف الضوئي القريب من الأشعة تحت الحمراء الوظيفية (fNIRS)، بالإضافة إلى استبيانات لقياس تصورات المشاركين حول مهمة الكتابة ومواقفهم تجاه الذكاء الاصطناعي التوليدي. الهدف الرئيسي هو إقامة علاقات سببية بين استخدام الذكاء الاصطناعي التوليدي والتغيرات في الجهد الإدراكي وأداء الكتابة. من المتوقع أن تُفيد النتائج صانعي السياسات في تنظيم الذكاء الاصطناعي التوليدي وتوجيه التصميم والتطبيق المسؤولين لمثل هذه الأدوات في السياقات التعليمية. التجربة مسجلة تحت ClinicalTrials.gov (NCT06511102).
مقدمة
تناقش مقدمة الورقة البحثية آثار الذكاء الاصطناعي التوليدي (AI) على الإدراك البشري، مع تسليط الضوء على كل من فوائده المحتملة والمخاوف المتعلقة به. أظهرت التطورات الأخيرة في أدوات الذكاء الاصطناعي التوليدي، مثل ChatGPT من OpenAI، زيادة الإنتاجية في مهام إدراكية متنوعة، بما في ذلك الكتابة المهنية وتوليد الأفكار الإبداعية. ومع ذلك، هناك مخاوف من أن الاعتماد على هذه الأدوات قد يؤدي إلى تآكل إدراكي، مشابه للابتكارات التكنولوجية السابقة مثل الآلات الحاسبة ومحركات البحث، التي تم انتقادها لتقليل بعض المهارات الإدراكية. تؤكد الورقة على أن تأثير الذكاء الاصطناعي التوليدي على الإدراك معقد ويعتمد على السياق، متأثرًا بطبيعة المهمة وطريقة استخدام الأداة.
يشير المؤلفون إلى أنه بينما تشير الدراسات الأولية إلى أن الذكاء الاصطناعي التوليدي يمكن أن يحسن نتائج التعلم، فإنهم يقترحون أيضًا أن الاعتماد المفرط على هذه الأدوات قد يعيق تطوير المهارات الإدراكية الأساسية. على سبيل المثال، حقق الطلاب أداءً أفضل بمساعدة الذكاء الاصطناعي التوليدي لكنهم واجهوا صعوبة عندما تم إزالته، مما يشير إلى احتمال تجاوز العمليات الإدراكية الحرجة. تجادل الورقة بضرورة استكشاف أعمق للتفاعل بين البشر والذكاء الاصطناعي التوليدي، داعية إلى قياسات قائمة على العمليات التي تلتقط الانخراط الإدراكي المستمر بدلاً من التركيز فقط على نتائج الأداء. لتحقيق ذلك، تهدف الدراسة إلى تقييم أداء المهمة والجهد الإدراكي خلال التفاعلات بين البشر والذكاء الاصطناعي التوليدي، تحديدًا في سياق الكتابة التحليلية بين طلاب الجامعات، باستخدام تقنيات متقدمة مثل تتبع العين والطيف الضوئي القريب من الأشعة تحت الحمراء الوظيفية (fNIRS) لتقييم الجهد الإدراكي.
الطرق
في هذه الدراسة، سيتم تقييم تأثيرات التدخل على نتيجتين رئيسيتين – أداء الكتابة والجهد الإدراكي (المقاس من خلال التغيرات في حجم البؤبؤ) – باستخدام تحليل النية للعلاج. سيتم التعامل مع كلا النتيجتين كمتغيرات مستمرة وتحليلها بشكل منفصل باستخدام تحليل المربعات الصغرى العادية (OLS) مع أخطاء معيارية قوية ضد التباين. لتقليل تضخم خطأ النوع الأول الناتج عن الاختبارات المتعددة، سيتم تطبيق تصحيح بونفيروني، مع تعديل عتبة الدلالة إلى $\alpha = 0.025$. ستتضمن المعالجة المسبقة لبيانات حجم البؤبؤ تصحيح التشوهات، وإزالة البيانات غير الصالحة، وتطبيعها بناءً على القياسات الأساسية المأخوذة خلال مهمة الاسترخاء. بالنسبة للنتائج الثانوية، سيتم أيضًا تحليل مقاييس الاستبيان كمتغيرات مستمرة باستخدام تحليل المربعات الصغرى العادية، بينما سيخضع الجهد الإدراكي الناتج عن الديناميات الدموية القشرية لنفس المعالجة المسبقة والتحليل.
ستقدر التحليلات الإضافية تأثيرات السبب المتوسطة للامتثال (CACE) وستجري تحليلات فرعية بناءً على مستويات المهارة السابقة والدافع، شريطة توفر أحجام عينات كافية. ستقوم الدراسة أيضًا بمراقبة البيانات المفقودة، وتنفيذ تحليل الحالة الكاملة للغياب أقل من 5% والتخمين المتعدد للغياب بين 5% و20%. سيتم إجراء تعديلات على المتغيرات المشتركة، بما في ذلك مستويات المهارة والدافع المبلغ عنها ذاتيًا، لتعزيز القوة الإحصائية ومعالجة العوامل المربكة المحتملة، مثل الجنس والعرق، إذا تم ملاحظة عدم توازن بين مجموعات التدخل والتحكم.
المناقشة
تناقش الورقة البحثية تجربة عشوائية محكومة (RCT) مصممة للتحقيق في آثار الذكاء الاصطناعي التوليدي، تحديدًا ChatGPT، على الإدراك البشري وأداء المهام خلال مهام الكتابة التحليلية. تشمل الأهداف الرئيسية تقييم الجهد الإدراكي وأداء الكتابة، بالإضافة إلى استكشاف التصورات الذاتية للصحة ونتائج التعلم بين المشاركين ذوي الخصائص المتنوعة. تستخدم التجربة تصميمًا متوازيًا مع تخصيص المشاركين عشوائيًا إما لمجموعة التدخل (باستخدام ChatGPT) أو مجموعة التحكم (بدون مساعدة الذكاء الاصطناعي)، مع مدة دراسة إجمالية تبلغ حوالي 1.5 ساعة لكل مشارك.
تستخدم الدراسة عدة طرق لجمع البيانات، بما في ذلك تتبع العين لقياس الجهد الإدراكي من خلال تغيرات حجم البؤبؤ والطيف الضوئي القريب من الأشعة تحت الحمراء الوظيفية (fNIRS) لتقييم استجابات الدماغ الديناميكية. سيتم تقييم أداء الكتابة باستخدام معيار تقييم تم تعديله من GRE، وسيتم جمع التصورات الذاتية من خلال استبيانات قبل وبعد. يُقدر حجم العينة بحد أدنى 160 مشاركًا لتحقيق قوة إحصائية كافية، استنادًا إلى النتائج السابقة المتعلقة بتأثير الذكاء الاصطناعي التوليدي على مهام الكتابة. تهدف الدراسة إلى تقديم رؤى حول الإمكانيات التعاونية لأدوات الذكاء الاصطناعي في البيئات التعليمية وتأثيرها على العمليات الإدراكية ونتائج الكتابة.
DOI: https://doi.org/10.1186/s13063-025-08950-3
PMID: https://pubmed.ncbi.nlm.nih.gov/40646586
Publication Date: 2025-07-11
Author(s): Youjie Chen et al.
Primary Topic: Cognitive Abilities and Testing
Overview
This research paper investigates the impact of generative artificial intelligence (AI) on cognitive effort and writing performance among college students engaged in analytical writing tasks. The study addresses the dual perspectives on generative AI: while some argue it may diminish human cognitive abilities through over-reliance, others suggest it can enhance cognition by automating mundane tasks and providing valuable insights. To explore these dynamics, the researchers will conduct a randomized controlled lab experiment involving 160 participants from a German university, comparing an intervention group using generative AI with a control group that does not.
The methodology includes monitoring cognitive effort through eye-tracking technology and brain hemodynamic responses using functional near-infrared spectroscopy (fNIRS), alongside surveys to gauge participants’ perceptions of the writing task and their attitudes toward generative AI. The primary objective is to establish causal relationships between the use of generative AI and variations in cognitive effort and writing performance. The findings are expected to inform policymakers on the regulation of generative AI and guide the responsible design and application of such tools in educational contexts. The trial is registered under ClinicalTrials.gov (NCT06511102).
Introduction
The introduction of the research paper discusses the implications of generative artificial intelligence (AI) on human cognition, highlighting both its potential benefits and concerns. Recent advancements in generative AI tools, such as OpenAI’s ChatGPT, have demonstrated enhanced productivity in various cognitive tasks, including professional writing and creative ideation. However, there are apprehensions that reliance on these tools may lead to cognitive erosion, similar to past technological innovations like calculators and search engines, which have been criticized for diminishing certain cognitive skills. The paper emphasizes that the impact of generative AI on cognition is complex and context-dependent, influenced by the nature of the task and the manner of tool usage.
The authors note that while preliminary studies indicate that generative AI can improve learning outcomes, they also suggest that over-reliance on these tools may hinder the development of essential cognitive skills. For instance, students performed better with generative AI assistance but struggled when it was removed, indicating a potential bypassing of critical cognitive processes. The paper argues for a deeper exploration of the interaction between humans and generative AI, advocating for process-based measures that capture ongoing cognitive engagement rather than solely focusing on performance outcomes. To this end, the study aims to evaluate task performance and cognitive effort during human-generative AI interactions, specifically in the context of analytical writing among college students, utilizing advanced technologies such as eye tracking and functional near-infrared spectroscopy (fNIRS) to assess cognitive effort.
Methods
In this study, the intervention effects on two primary outcomes—writing performance and cognitive effort (measured by changes in pupil size)—will be assessed using an intent-to-treat analysis. Both outcomes will be treated as continuous variables and analyzed separately using ordinary least squares (OLS) regression with heteroskedasticity-robust standard errors. To mitigate type I error inflation from multiple testing, a Bonferroni correction will be applied, adjusting the significance threshold to $\alpha = 0.025$. Pre-processing of pupil size data will include correcting for distortions, removing invalid data, and normalizing based on baseline measurements taken during a relaxation task. For secondary outcomes, survey measures will also be analyzed as continuous variables using OLS regression, while cognitive effort from cortical hemodynamics will undergo similar pre-processing and analysis.
Additional analyses will estimate complier average causal effects (CACE) and conduct subgroup analyses based on prior skill levels and motivation, provided sufficient sample sizes are available. The study will also monitor missing data, implementing complete case analysis for missingness below 5% and multiple imputation for missingness between 5% and 20%. Adjustments for covariates, including self-reported skill levels and motivation, will be made to enhance statistical power and address potential confounding factors, such as gender and race, if imbalances are observed between intervention and control groups.
Discussion
The research paper discusses a randomized controlled trial (RCT) designed to investigate the effects of generative AI, specifically ChatGPT, on human cognition and task performance during analytical writing tasks. The primary objectives include assessing cognitive effort and writing performance, as well as exploring subjective perceptions of health and learning outcomes among participants with varying characteristics. The trial employs a parallel design with participants randomly assigned to either an intervention group (using ChatGPT) or a control group (without AI assistance), with a total study duration of approximately 1.5 hours per participant.
The study utilizes multiple data collection methods, including eye-tracking to measure cognitive effort through pupil size changes and functional near-infrared spectroscopy (fNIRS) to assess brain hemodynamic responses. Writing performance will be evaluated using a scoring rubric adapted from the GRE, and subjective perceptions will be gathered through pre- and post-surveys. The sample size is estimated at a minimum of 160 participants to achieve sufficient statistical power, based on previous findings regarding the effect of generative AI on writing tasks. The study aims to provide insights into the collaborative potential of AI tools in educational settings and their impact on cognitive processes and writing outcomes.