DOI: https://doi.org/10.47086/pims.1762132
تاريخ النشر: 2026-01-03
المؤلف: Selin Dik وآخرون
الموضوع الرئيسي: النزاهة الأكاديمية والانتحال
نظرة عامة
تدرس هذه الدراسة فعالية GPTZero، أداة كشف الذكاء الاصطناعي، في التمييز بين المقالات التي تم إنشاؤها بواسطة الذكاء الاصطناعي وتلك التي كتبها البشر بأطوال مختلفة: قصيرة (40-100 كلمة)، متوسطة (100-350 كلمة)، وطويلة (350-800 كلمة). تم تحليل مجموعة بيانات تتكون من 28 مقالة تم إنشاؤها بواسطة الذكاء الاصطناعي و50 مقالة كتبها البشر، حيث أظهر GPTZero دقة عالية (91-100%) في تحديد المحتوى الذي تم إنشاؤه بواسطة الذكاء الاصطناعي. ومع ذلك، كانت أداء الأداة على المقالات المكتوبة من قبل البشر متغيرة، مما أدى إلى إيجابيات خاطئة متكررة، خاصة في النصوص القصيرة والطويلة.
تشير النتائج إلى أنه بينما يكون GPTZero فعالًا في الكشف عن المقالات التي تم إنشاؤها بواسطة الذكاء الاصطناعي، فإن موثوقيته في تقييم الأعمال التي كتبها البشر غير متسقة، خاصة عبر أطوال النصوص المختلفة. كانت المقالات المتوسطة الطول هي الأكثر دقة في التعرف، ومع ذلك، تشير التباين في النتائج إلى أن طول النص وحده لا يفسر الإيجابيات الخاطئة. تدعو الدراسة إلى تفسير حذر لدرجات احتمالية الذكاء الاصطناعي لـ GPTZero وتوصي بإجراء أبحاث مستقبلية تشمل أحجام عينات أكبر، ونصوص هجينة، وعوامل إضافية مثل التعقيد النحوي والميزات الأسلوبية لتعزيز طرق الكشف عن الذكاء الاصطناعي في السياقات التعليمية.
مقدمة
تناقش مقدمة هذه الورقة البحثية تأثير الذكاء الاصطناعي التوليدي على الكتابة الأكاديمية والمخاوف الناتجة عن النزاهة الأكاديمية. مع ارتفاع أدوات الذكاء الاصطناعي، بدأت المؤسسات التعليمية في تنفيذ برامج كشف الذكاء الاصطناعي لتحديد الأعمال التي قد تكون تم إنشاؤها بواسطة الذكاء الاصطناعي. ومع ذلك، لا تزال فعالية هذه الأدوات، خاصة من حيث الدقة وخطر الإيجابيات الخاطئة، مصدر قلق كبير.
تدرس هذه الدراسة بشكل خاص تأثير طول المقالة على احتمالية الإيجابيات الخاطئة التي تنتجها أداة كشف الذكاء الاصطناعي GPTZero. من خلال تحليل مجموعة بيانات تتكون من مقالات تم إنشاؤها بواسطة الذكاء الاصطناعي (مجموعة التحكم) ومقالات كتبها البشر (مجموعة التجربة)، تهدف الباحثون إلى تحديد ما إذا كانت النصوص الأطول تظهر احتمالًا أقل لأن يتم تصنيفها بشكل خاطئ على أنها تم إنشاؤها بواسطة الذكاء الاصطناعي. تفترض الفرضية أن زيادة التنوع اللغوي في المقالات الأطول قد تساهم في تحسين دقة التصنيف. تعتبر هذه الاستكشافات ضرورية لضمان ممارسات تقييم عادلة وحماية الطلاب من العقوبات غير العادلة بناءً على نتائج كشف الذكاء الاصطناعي غير الموثوقة.
الطرق
في هذه الدراسة، تضمنت المنهجية تصنيف المقالات بناءً على تأليفها – إما بشري أو تم إنشاؤه بواسطة الذكاء الاصطناعي. تم جمع ما مجموعه 50 مقالة كتبها البشر، تم تأليفها بشكل مستقل من قبل الطلاب، بينما تم إنشاء 28 مقالة بواسطة ChatGPT باستخدام مطالبات عشوائية. تم تصنيف المقالات بشكل إضافي إلى ثلاث فئات طول: قصيرة (40-100 كلمة)، متوسطة (100-350 كلمة)، وطويلة (350-800 كلمة).
لتقييم احتمالية تأليف الذكاء الاصطناعي، تم تحليل كل مقالة باستخدام GPTZero، الذي قدم نسبة تشير إلى احتمال أن النص تم إنشاؤه بواسطة الذكاء الاصطناعي. تم تسجيل النتائج جنبًا إلى جنب مع عدد الكلمات المعنية، مما يسمح بتحليل شامل لنسبة الاحتمال المتوسطة لتأليف الذكاء الاصطناعي عبر ست فئات متميزة: المقالات القصيرة والمتوسطة والطويلة لكل من المؤلفين البشر والذكاء الاصطناعي. كانت هذه الطريقة المنظمة تهدف إلى توضيح الفروق في معدلات كشف الذكاء الاصطناعي بين النصوص المكتوبة من قبل البشر وتلك التي تم إنشاؤها بواسطة الذكاء الاصطناعي عبر أطوال مختلفة.
النتائج
في قسم النتائج، تقيم الدراسة أداء GPTZero في التمييز بين المقالات المكتوبة من قبل البشر وتلك التي تم إنشاؤها بواسطة الذكاء الاصطناعي. تشير النتائج إلى أن GPTZero يتفوق في تحديد المحتوى المكتوب بواسطة الذكاء الاصطناعي، حيث حقق معدل دقة 100% عبر جميع أطوال المقالات. على سبيل المثال، قام بتقييم المقالات القصيرة على أنها تحتوي على احتمال 99% لأن تكون تم إنشاؤها بواسطة الذكاء الاصطناعي، مع عدم انخفاض الاحتمال عن 98% لأي فئة من فئات الذكاء الاصطناعي. على النقيض من ذلك، واجهت الأداة صعوبة مع المقالات البشرية، خاصة تلك التي تتراوح من 0 إلى 100 كلمة وتلك التي تتجاوز 350 كلمة، مما أدى إلى معدل إيجابيات خاطئة يبلغ 16%. على وجه التحديد، من بين 50 مقالة بشرية، تم تصنيف 42 بشكل صحيح، بينما تم تحديد 8 بشكل خاطئ على أنها تم إنشاؤها بواسطة الذكاء الاصطناعي.
تم حساب معدل الخطأ الإجمالي لـ GPTZero عند 10.3%، ناتجًا عن 8 تصنيفات خاطئة من إجمالي 78 مقالة تم تحليلها. يبرز هذا التباين كفاءة الأداة في كشف محتوى الذكاء الاصطناعي بينما يكشف عن تحديات كبيرة في تحديد الأعمال المكتوبة من قبل البشر بدقة. تؤكد النتائج على الحاجة إلى مزيد من التحسين في التمييز بين هاتين الفئتين لتقليل معدلات التصنيف الخاطئ.
المناقشة
تسلط المناقشة الضوء على مراجعة شاملة للأدبيات الحالية حول أدوات كشف الذكاء الاصطناعي، مع التركيز بشكل خاص على أداء GPTZero. تم الإشارة إلى عدة دراسات، بما في ذلك تقييم والترز لستة عشر كاشفًا للذكاء الاصطناعي، الذي وجد أن GPTZero حدد بدقة 81% من المقالات البشرية ومقالات الذكاء الاصطناعي ولكنه صنف بشكل خاطئ 4% من النصوص المكتوبة من قبل البشر. أفاد ليو وآخرون (2024) بمعدل دقة يبلغ 70% لـ GPTZero في تحديد المحتوى الذي تم إنشاؤه بواسطة الذكاء الاصطناعي من ChatGPT، بينما أشار الخاتات وآخرون (2023) إلى أن نجاح الكشف كان متغيرًا بين ChatGPT-3.5 وChatGPT-4. دراسات أخرى، مثل تلك التي أجراها بوبكوف وباريت (2024) وبيركنز وآخرون (2023)، أكدت على قيود أدوات كشف الذكاء الاصطناعي التجارية، كاشفة عن تباينات كبيرة في دقتها.
تشير خاتمة الدراسة إلى أن طول المقالة يؤثر على دقة GPTZero، حيث تعمل الأداة بشكل جيد في كشف المحتوى الذي تم إنشاؤه بواسطة الذكاء الاصطناعي عبر مجموعة من أطوال المقالات (40 إلى 800 كلمة). ومع ذلك، أظهرت نتائج غير متسقة للمقالات المكتوبة من قبل البشر، خاصة مع الإيجابيات الخاطئة في كل من النصوص القصيرة والطويلة. تشير النتائج إلى أنه بينما تم تحديد المقالات المتوسطة الطول بدقة أكبر، فإن طول النص وحده لا يفسر جميع حالات الإيجابيات الخاطئة. يوصي المؤلفون بتفسير حذر لدرجات احتمالية الذكاء الاصطناعي لـ GPTZero ويدعون إلى إجراء أبحاث مستقبلية تشمل أحجام عينات أكبر واستكشاف عوامل إضافية تؤثر على دقة الكشف، مما يعزز موثوقية طرق كشف الذكاء الاصطناعي في السياقات التعليمية.
DOI: https://doi.org/10.47086/pims.1762132
Publication Date: 2026-01-03
Author(s): Selin Dik et al.
Primary Topic: Academic integrity and plagiarism
Overview
This study investigates the efficacy of GPTZero, an AI detection tool, in distinguishing between AI-generated and human-written essays of varying lengths: short (40-100 words), medium (100-350 words), and long (350-800 words). A dataset comprising 28 AI-generated essays and 50 human-written essays was analyzed, with GPTZero demonstrating high accuracy (91-100%) in identifying AI-generated content. However, the tool’s performance on human-written essays varied, leading to frequent false positives, particularly in short and long texts.
The findings suggest that while GPTZero is effective at detecting AI-generated essays, its reliability in assessing human-authored work is inconsistent, especially across different text lengths. Medium-length essays yielded the most accurate identifications, yet the variability in results indicates that text length alone does not account for false positives. The study calls for cautious interpretation of GPTZero’s AI probability scores and recommends future research to include larger sample sizes, hybrid texts, and additional factors such as syntactic complexity and stylistic features to enhance AI detection methods in educational contexts.
Introduction
The introduction of this research paper addresses the impact of generative artificial intelligence on academic writing and the ensuing concerns regarding academic integrity. With the rise of AI tools, educational institutions have begun implementing AI detection software to identify potentially AI-generated work. However, the effectiveness of these tools, particularly in terms of accuracy and the risk of false positives, remains a significant concern.
This study specifically investigates the influence of essay length on the likelihood of false positives produced by the AI detection tool GPTZero. By analyzing a dataset comprising both AI-generated essays (control group) and human-written essays (experimental group), the researchers aim to determine if longer texts exhibit a lower probability of being misclassified as AI-generated. The hypothesis posits that increased linguistic variability in longer essays may contribute to improved classification accuracy. This exploration is essential for ensuring fair assessment practices and protecting students from unjust penalties based on unreliable AI detection outcomes.
Methods
In this study, the methodology involved categorizing essays based on their authorship—either human or AI-generated. A total of 50 human-written essays, composed independently by students, were collected, while 28 essays were generated by ChatGPT using random prompts. The essays were further classified into three length categories: short (40-100 words), medium (100-350 words), and long (350-800 words).
To assess the likelihood of AI authorship, each essay was analyzed using GPTZero, which provided a percentage indicating the probability that the text was generated by AI. The results were recorded alongside the respective word counts, allowing for a comprehensive analysis of the average percentage chance of AI authorship across six distinct categories: short, medium, and long essays for both human and AI authors. This structured approach aimed to elucidate the differences in AI detection rates between human and AI-generated texts across varying lengths.
Results
In the results section, the study evaluates the performance of GPTZero in distinguishing between human-written and AI-generated essays. The findings indicate that GPTZero excels at identifying AI-written content, achieving a 100% accuracy rate across all essay lengths. For instance, it assessed short essays as having a 99% likelihood of being AI-generated, with the probability never dropping below 98% for any AI category. Conversely, the tool struggled with human essays, particularly those ranging from 0 to 100 words and those exceeding 350 words, resulting in a false positive rate of 16%. Specifically, out of 50 human essays, 42 were correctly classified, while 8 were misidentified as AI-generated.
The overall error rate for GPTZero was calculated at 10.3%, stemming from 8 misclassifications out of a total of 78 essays analyzed. This discrepancy highlights the tool’s proficiency in detecting AI content while revealing significant challenges in accurately identifying human-written work. The results underscore the need for further refinement in distinguishing between these two categories to reduce misclassification rates.
Discussion
The discussion highlights a comprehensive review of existing literature on AI detection tools, particularly focusing on the performance of GPTZero. Several studies were referenced, including Walters’ evaluation of sixteen AI detectors, which found that GPTZero accurately identified 81% of human and AI essays but misclassified 4% of human-written texts. Liu et al. (2024) reported a 70% accuracy rate for GPTZero in identifying AI-generated content from ChatGPT, while Elkhatat et al. (2023) noted that detection success varied between ChatGPT-3.5 and ChatGPT-4. Other studies, such as those by Popkov & Barrett (2024) and Perkins et al. (2023), underscored the limitations of commercial AI detection tools, revealing significant discrepancies in their accuracy.
The conclusion of the study indicates that essay length does influence GPTZero’s accuracy, with the tool performing well in detecting AI-generated content across a range of essay lengths (40 to 800 words). However, it exhibited inconsistent results for human-written essays, particularly with false positives in both short and long texts. The findings suggest that while medium-length essays were identified more accurately, text length alone does not account for all false positive occurrences. The authors recommend cautious interpretation of GPTZero’s AI probability scores and advocate for future research to include larger sample sizes and explore additional factors affecting detection accuracy, thereby enhancing the reliability of AI detection methods in educational contexts.