DOI: https://doi.org/10.29119/1641-3466.2026.246.31
تاريخ النشر: 2026-01-01
المؤلف: Maciej Szmit وآخرون
الموضوع الرئيسي: تحليل البيانات الشامل والمراجعات المنهجية
نظرة عامة
تهدف هذه المقالة إلى تقييم فعالية أداتين من أدوات الذكاء الاصطناعي، SciSpace.com (الخطة المتقدمة) و Consensus.app (الطبقة الاحترافية)، في فحص الأدبيات العلمية المتعلقة بأمن المعلومات في الإدارة المحلية. تشمل المنهجية المستخدمة وصفًا تفصيليًا لعملية الفحص، التي تستخدم بروتوكول PRISMA 2020 للفحص الأولي. تكشف النتائج أنه بينما تظهر الأداتان فعالية محدودة عند الفحص بناءً فقط على الملخصات، إلا أنهما تؤديان بشكل أفضل بكثير عند تطبيقهما على الوثائق النصية الكاملة. كما تسلط الدراسة الضوء على الفائدة المحدودة لبروتوكول PRISMA داخل أداة SciSpace، خاصة عند النظر في تكلفتها.
تشير الأبحاث إلى أن إجراء الفحص للملخصات يظهر حساسية عالية ولكن خصوصية منخفضة، مما يؤدي إلى عبء عمل كبير للتحقق من النصوص التي تعتبر ذات صلة. ومن المثير للاهتمام، أن النتائج كانت أكثر إيجابية عند استخدام قاعدة بيانات IEEEXplore، مما يشير إلى أن خصائص قاعدة البيانات قد تؤثر على النتائج. على العكس من ذلك، يظهر الفحص المدعوم بالذكاء الاصطناعي للنصوص الكاملة نتائج واعدة من حيث الحساسية والخصوصية، مما يدل على أن هذه الأدوات يمكن أن تساعد بشكل فعال في عملية الفحص عند تطبيقها على محتوى المقالات الشامل بدلاً من مجرد الملخصات والعناوين والكلمات الرئيسية. بشكل عام، توفر هذه المراجعة الأدبية رؤى قيمة حول الحالة الحالية لأبحاث الأمن السيبراني في إدارة الحكومة المحلية وتحدد قيود أدوات الذكاء الاصطناعي المختبرة، مما يساهم في إبلاغ التطبيقات المستقبلية في هذا المجال المتخصص.
مقدمة
تسلط المقدمة الضوء على التحديات التي تطرحها الزيادة السريعة في الأدبيات العلمية، والتي جعلت مراجعات الأدبيات النظامية التقليدية (SLRs) أكثر كثافة في العمل. استجابةً لذلك، ظهر الذكاء الاصطناعي (AI) كحل محتمل، حيث يقوم بأتمتة مراحل مختلفة من عملية SLR. ومع ذلك، لا تزال هناك مخاوف بشأن موثوقية وأصالة النتائج التي ينتجها الذكاء الاصطناعي، خاصة بسبب مشكلات مثل “الهلاوس” في نماذج اللغة الكبيرة (LLMs)، والتي يمكن أن تؤدي إلى عدم دقة مثل توليد إدخالات ببليوغرافية وهمية.
تستكشف الدراسة بشكل خاص تطبيق أدوات الذكاء الاصطناعي، وهي SciSpace (الخطة المتقدمة) و Consensus (الطبقة الاحترافية)، في سياق الأمن السيبراني داخل الإدارة المحلية – وهو مجال يتميز باتساعه المفهومي وتنوعه الدلالي. نظرًا لأن الصلة في هذا المجال لا يمكن تحديدها فقط من خلال مطابقة الكلمات الرئيسية، تهدف الأبحاث إلى تقييم دقة وفائدة هذه الأدوات في تحديد المنشورات ذات الصلة. تشمل الأهداف توثيق الأدبيات ذات الصلة عبر قواعد البيانات الأكاديمية الرئيسية وتقييم أداء تصنيف أدوات الذكاء الاصطناعي في كل من عمليات الفحص القائمة على الملخصات والنصوص الكاملة، مع الاعتراف بزيادة خطر أخطاء التصنيف في المجالات الدلالية المتنوعة.
الطرق
استخدمت الأبحاث منهجية مراجعة الأدبيات النظامية باستخدام إطار عمل PRISMA 2020، من خلال وكيل SciSpace “مراجعة الأدبيات النظامية” لفحص النتائج من قاعدة بيانات Scopus. نظرًا للتكاليف العالية المرتبطة بالاشتراكات المتقدمة وفعالية الفحص الآلي المحدودة في قواعد البيانات الأدبية عالية الجودة – حيث تم استبعاد سجل واحد فقط وتم الإشارة إلى 8 سجلات للمراجعة اليدوية من مجموعة البيانات الأولية – اختار المؤلفون عدم تطبيق بروتوكول PRISMA على قواعد بيانات أخرى. بدلاً من ذلك، قاموا بتطوير مطالبات ذكاء اصطناعي لتصفية الملخصات غير المتعلقة بموضوع أمن المعلومات في الحكومة المحلية.
شملت عملية الفحص مراجعة أولية للملخصات والعناوين والكلمات الرئيسية باستخدام أداة SciSpace، تلتها تحليل أكثر شمولاً للنصوص الكاملة باستخدام أداة Consensus. ومع ذلك، ظهرت تحديات مع عدم قدرة أداة Consensus على معالجة بعض النصوص، وخاصة فصول الكتب، بسبب الاعتماد على بيانات الميتاداتا القياسية للمجلات. لمعالجة ذلك، صمم المؤلفون مطالبات محددة لتصنيف المقالات بناءً على صلتها بأمن المعلومات في الإدارة المحلية. طرحوا سؤالين حاسمين على أداة Consensus: أحدهما لتصنيف ثنائي (نعم/لا) بشأن صلة المقالة والآخر لملخص مفصل واستنتاجات. كانت هذه الطريقة ذات السؤالين، المدعومة بالإشراف البشري، تهدف إلى تعزيز دقة تقييمات الأداة.
النتائج
في قسم النتائج، يقدم المؤلفون نتائج مراجعتهم المنهجية للأدبيات، موضحين تحديد وفحص السجلات عبر قواعد بيانات مختلفة. تلخص الجدول 1 عدد السجلات التي تم العثور عليها، مع بقاء 169 نتيجة فريدة بعد الفحص اليدوي والتوافقي (Q2)، بينما كانت 218 مصدر نص كامل متاحة. يشير المؤلفون إلى أن بعض المنشورات كانت مفهرسة في قواعد بيانات متعددة، كما هو موضح في الشكل 6 والجدول 2، اللذان يوضحان تقاطعات هذه السجلات.
تقيم الدراسة أيضًا استخدام وكيل SciSpace “مراجعة الأدبيات النظامية” في تطبيق بروتوكول PRISMA 2020 على نتائج البحث من Scopus. يبرز الشكل 7 نتائج هذه الطريقة الآلية، التي، على الرغم من كفاءتها – حيث أكملت الفحص في دقائق – اعتُبرت غير عملية لقواعد البيانات التالية بسبب نسبة التكلفة إلى الفائدة السيئة. لاحظ المؤلفون أنه بينما أشار العملية الآلية إلى عدد قليل من السجلات، إلا أن معظمها لا يزال يتطلب التحقق اليدوي. وبالتالي، تم اتخاذ القرار بوقف استخدام فحص PRISMA لقواعد البيانات المتبقية، حيث كانت التكاليف المرتبطة تفوق الفوائد.
المناقشة
تسلط قسم المناقشة في ورقة البحث الضوء على التعقيدات المرتبطة بتقييم الأمن السيبراني داخل الإدارة المحلية، مع التأكيد على المصطلحات المتداخلة التي تعقد بناء الاستفسارات للمراجعات النظامية. تحدد الدراسة فجوة في الأبحاث التجريبية التي تقيم أداء أدوات الذكاء الاصطناعي في هذا المجال المحدد، خاصة فيما يتعلق بفعالية الفحص القائم على الملخصات مقابل النصوص الكاملة. تشير النتائج إلى أنه بينما يمكن لأدوات الذكاء الاصطناعي المساعدة في تحديد المنشورات ذات الصلة، فإن أدائها يختلف بشكل كبير بناءً على نوع الفحص المستخدم.
يكشف التحليل أن الفحص القائم على الملخصات يظهر حساسية عالية ولكن خصوصية منخفضة، مما يؤدي إلى عدد كبير من الإيجابيات الكاذبة التي تتطلب التحقق البشري. على العكس من ذلك، يظهر الفحص النصي الكامل حساسية وخصوصية عالية، مما يشير إلى أن المعلومات السياقية الأكثر ثراءً تعزز دقة التصنيف. يجادل المؤلفون من أجل نهج دقيق لاستخدام أدوات الذكاء الاصطناعي، داعين إلى دورها كأدوات داعمة بدلاً من بدائل للحكم الخبير، خاصة في مجالات معقدة مثل الأمن السيبراني في الحكم المحلي. تؤكد الدراسة على أهمية صياغة المطالبات بدقة وإمكانية أدوات الذكاء الاصطناعي لتبسيط عملية الفحص عند تطبيقها على النصوص الكاملة، مما يحسن كفاءة المراجعات النظامية في هذا المجال.
القيود
تسلط قيود الدراسة الضوء على عدة مجالات حيوية للتحسين والاستكشاف المستقبلي. أولاً، يحد غياب القياسات التجريبية المنضبطة لكفاءة الوقت وتحليل التكلفة لكل سجل من النتائج إلى تقييمات نوعية لزيادة الإنتاجية بين طرق الفحص اليدوية والمدعومة بالذكاء الاصطناعي. كانت التقييمات محصورة في أداتين محددتين من الذكاء الاصطناعي، SciSpace (الخطة المتقدمة) و Consensus (الطبقة الاحترافية)، وأدائهما في وقت الدراسة، مما قد لا يعكس قدراتهما الحالية بسبب التحديثات المستمرة في تكنولوجيا الذكاء الاصطناعي. وبالتالي، يجب عدم اعتبار النتائج مؤشرات نهائية لفعالية هذه الأدوات.
بالإضافة إلى ذلك، كانت الأبحاث محدودة في مجال واحد ضيق التعريف، مما يثير مخاوف بشأن إمكانية تعميم النتائج على مجالات أخرى، خاصة تلك التي تحتوي على مصطلحات موحدة حيث قد يختلف أداء الأدوات. يشير الاعتماد على صياغات مطالبات محددة لإجراء الفحص أيضًا إلى أن المطالبات البديلة قد تؤدي إلى نتائج تصنيف مختلفة. يجب أن تهدف الأبحاث المستقبلية إلى دمج تحليلات زمنية وتكلفة رسمية، وتكرار الدراسة عبر مجالات بحث متنوعة، وتقييم مجموعة أوسع من أدوات الذكاء الاصطناعي. يمكن أن يؤدي استكشاف أساليب التصنيف متعددة الفئات، مثل إدخال فئات “ذات صلة جزئية”، إلى تعزيز فهم فعالية الفحص المدعوم بالذكاء الاصطناعي بشكل أكبر.
DOI: https://doi.org/10.29119/1641-3466.2026.246.31
Publication Date: 2026-01-01
Author(s): Maciej Szmit et al.
Primary Topic: Meta-analysis and systematic reviews
Overview
This article aims to evaluate the effectiveness of two Artificial Intelligence tools, SciSpace.com (Advanced Plan) and Consensus.app (Pro tier), in screening scientific literature related to the cybersecurity of local administration. The methodology employed includes a detailed description of the screening process, which utilizes the PRISMA 2020 protocol for preliminary screening. Findings reveal that while both tools demonstrate limited efficacy when screening based solely on abstracts, they perform significantly better when applied to full-text documents. The study also highlights the minimal utility of the PRISMA protocol within the SciSpace tool, particularly when considering its cost.
The research indicates that the screening procedure for abstracts exhibits high sensitivity but low specificity, resulting in a substantial workload for verifying texts deemed relevant. Interestingly, the results were more favorable when using the IEEEXplore database, suggesting that database characteristics may influence outcomes. Conversely, AI-assisted screening of full texts shows promising results in terms of both sensitivity and specificity, indicating that these tools can effectively aid in the screening process when applied to comprehensive article content rather than just abstracts, titles, and keywords. Overall, this literature review provides valuable insights into the current state of cybersecurity research in local government administration and identifies the limitations of the tested AI tools, thereby informing future applications in this specialized field.
Introduction
The introduction highlights the challenges posed by the rapid growth of scientific literature, which has rendered traditional systematic literature reviews (SLRs) increasingly labor-intensive. In response, artificial intelligence (AI) has emerged as a potential solution, automating various stages of the SLR process. However, concerns regarding the reliability and originality of AI-generated results persist, particularly due to issues such as “hallucination” in Large Language Models (LLMs), which can lead to inaccuracies like the generation of fictitious bibliographic entries.
The study specifically investigates the application of AI tools, namely SciSpace (Advanced Plan) and Consensus (Pro tier), in the context of cybersecurity within local administration—a field characterized by its conceptual breadth and semantic variability. Given that relevance in this domain cannot be solely determined through keyword matching, the research aims to assess the accuracy and utility of these AI tools in identifying pertinent publications. The objectives include cataloging relevant literature across major academic databases and evaluating the classification performance of the AI tools in both abstract-based and full-text screening processes, while acknowledging the heightened risk of classification errors in semantically heterogeneous areas.
Methods
The research employed a systematic literature review methodology utilizing the PRISMA 2020 framework, specifically through the SciSpace agent “Systematic Literature Review” for screening results from the Scopus database. Due to the high costs associated with advanced subscriptions and the limited efficiency of automated screening in high-quality literature databases—where only 1 record was excluded and 8 flagged for manual review from the initial dataset—the authors opted not to apply the PRISMA protocol for other databases. Instead, they developed AI prompts to filter out abstracts unrelated to the topic of local government cybersecurity.
The screening process involved an initial review of abstracts, titles, and keywords using the SciSpace tool, followed by a more comprehensive analysis of full texts with the Consensus tool. However, challenges arose with the Consensus tool’s inability to process certain texts, particularly book chapters, due to reliance on standard journal metadata. To address this, the authors designed specific prompts to categorize articles based on their relevance to cybersecurity in local administration. They posed two critical questions to the Consensus tool: one for a binary classification (yes/no) regarding the article’s relevance and another for a detailed summary and conclusions. This dual-question approach, supplemented by human oversight, aimed to enhance the accuracy of the tool’s assessments.
Results
In the results section, the authors present the outcomes of their systematic literature review, detailing the identification and screening of records across various databases. Table 1 summarizes the number of records found, with 169 unique findings remaining after manual and consensus screening (Q2), while 218 full-text sources were accessible. The authors note that some publications were indexed in multiple databases, as illustrated in Figure 6 and Table 2, which depict the intersections of these records.
The study also evaluates the use of the SciSpace agent “Systematic Literature Review” in applying the PRISMA 2020 protocol to the search results from Scopus. Figure 7 highlights the results of this automated approach, which, despite its efficiency—completing the screening in minutes—was deemed impractical for subsequent databases due to a poor cost-benefit ratio. The authors observed that while the automated process flagged a minimal number of records, most still necessitated manual verification. Consequently, the decision was made to discontinue the use of PRISMA screening for the remaining databases, as the associated costs outweighed the benefits.
Discussion
The discussion section of the research paper highlights the complexities involved in assessing cybersecurity within local administration, emphasizing the overlapping terminologies that complicate query construction for systematic reviews. The study identifies a gap in empirical research evaluating AI tools’ performance in this specific domain, particularly regarding the effectiveness of abstract-based versus full-text screening. The findings indicate that while AI tools can assist in identifying relevant publications, their performance varies significantly based on the type of screening employed.
The analysis reveals that abstract-based screening exhibits high sensitivity but low specificity, leading to a substantial number of false positives that require human verification. In contrast, full-text screening demonstrates both high sensitivity and specificity, suggesting that richer contextual information enhances classification accuracy. The authors argue for a nuanced approach to using AI tools, advocating for their role as supportive instruments rather than replacements for expert judgment, particularly in complex fields like cybersecurity in local governance. The study underscores the importance of precise prompt formulation and the potential for AI tools to streamline the screening process when applied to full texts, thereby improving the efficiency of systematic reviews in this area.
Limitations
The limitations of the study highlight several critical areas for improvement and future exploration. Firstly, the absence of controlled experimental measurements for time efficiency and a formal cost-per-record analysis restricts the findings to qualitative assessments of productivity gains between manual and AI-assisted screening methods. The evaluation was confined to two specific AI tools, SciSpace (Advanced Plan) and Consensus (Pro tier), and their performance at the time of the study, which may not reflect their current capabilities due to ongoing updates in AI technology. Consequently, the results should not be viewed as definitive indicators of these tools’ effectiveness.
Additionally, the research was limited to a single, narrowly defined domain, which raises concerns about the generalizability of the findings to other fields, particularly those with standardized terminology where tool performance may vary. The reliance on specific prompt formulations for the screening procedure also suggests that alternative prompts could yield different classification results. Future research should aim to incorporate formal timing and cost analyses, replicate the study across diverse research domains, and evaluate a wider array of AI tools. Exploring multi-class classification approaches, such as introducing “partially relevant” categories, could further enhance the understanding of AI-assisted screening efficacy.
