DOI: https://doi.org/10.1007/s11192-026-05695-x
تاريخ النشر: 2026-07-01
المؤلف: Federico Torrielli وآخرون
الموضوع الرئيسي: الصلابة ضد الهجمات في تعلم الآلة
نظرة عامة
تبحث هذه الدراسة في نقاط الضعف في نماذج اللغة الكبيرة (LLMs) في سياق مراجعة الأقران الأكاديمية، مع التركيز بشكل خاص على حقن التعليمات غير المباشرة – وهي طريقة يمكن من خلالها للتعليمات المخفية داخل المخطوطات أن تؤثر على مراجعي الذكاء الاصطناعي دون علمهم. تقدم الدراسة إطار عمل المؤلف-المراجع-المنظم (ARO) لتحليل التفاعلات الاستراتيجية بين المؤلفين والمراجعين والمنظمين، مع تسليط الضوء على الحوافز والقدرات المتميزة التي تؤثر على التقييمات المعتمدة على الذكاء الاصطناعي. من خلال 5,600 تجربة محكومة تشمل مخطوطات من NeurIPS وICLR، وجد المؤلفون أن نماذج اللغة الكبيرة مثل ChatGPT وGemini اتبعت التعليمات المخفية بمعدلات نجاح بلغت 78% و86%، على التوالي. يمكن أن تؤدي هذه المناورة إلى تغيير كبير في مشاعر المراجعة وتوصيات القبول، مما يكشف عن نقاط الضعف الهيكلية في عمليات مراجعة الأقران المدعومة بالذكاء الاصطناعي.
تؤكد النتائج على أن آليات التوافق والسلامة الحالية غير كافية لعزل المحتوى عن تعليمات التحكم، مما يسمح لحقن التعليمات العدائية بالبقاء فعالة حتى عندما تكون مدمجة داخل مستندات علمية مشروعة. كما تشير الدراسة إلى أن موضع التعليمات داخل المخطوطة يؤثر على تأثيرها، حيث تكون الحمولات في المواضع المبكرة ذات تأثير خاص. تشير الطبيعة ذات الاستخدام المزدوج لهذه النقاط الضعف إلى أن الأنظمة التي تعتمد على نماذج اللغة الكبيرة في المهام التقييمية معرضة بشكل جوهري للتلاعب. يجب أن توسع الأبحاث المستقبلية هذا التحليل ليشمل مجالات أخرى وأنظمة ملكية، واستكشاف قابلية النقل عبر النماذج، وتطوير أطر تدقيق قوية للكشف عن كل من حقن التعليمات الهجومية والدفاعية، وبالتالي حماية نزاهة التقييمات الأكاديمية الآلية.
مقدمة
في مقدمة هذه الورقة البحثية، يضع المؤلفون سياق تحقيقهم في دمج نماذج اللغة الكبيرة (LLMs) في عملية مراجعة الأقران. يبرزون الاتجاه المتزايد لاستخدام نماذج اللغة الكبيرة لتعزيز الكفاءة والدقة في التقييمات الأكاديمية. ومع ذلك، يتناول المؤلفون أيضًا نقاط الضعف الجوهرية المرتبطة بنماذج اللغة الكبيرة، والتي يمكن أن تضر بنزاهة نظام مراجعة الأقران. علاوة على ذلك، تستعرض هذه القسم تطبيقات هجومية ودفاعية متنوعة تستغل هذه النقاط الضعف، مما يمهد الطريق لاستكشاف أعمق للتداعيات والحلول المحتملة في الأقسام اللاحقة من الورقة.
الطرق
تضمنت منهجية هذه الدراسة تحقيقًا تجريبيًا منهجيًا يهدف إلى قياس ضعف مراجعة الأقران الأكاديمية المدعومة بنماذج اللغة الكبيرة ضد هجمات حقن التعليمات غير المباشرة. هذا النوع من الهجمات يخفي التعليمات داخل المخطوطة، مما يؤثر على استجابات المراجع الذكائي لتتوافق مع هذه التوجيهات المخفية بدلاً من التعليمات المقصودة. تم تصميم تجربة محكومة لتقييم فعالية هذه الهجمات عبر أبعاد مختلفة، بما في ذلك هدف الهجوم، الهيكل الدلالي للحمولة، وموقعها داخل المخطوطة. تم إجراء التجارب باستخدام إطار عمل آلي يستهدف أكثر روبوتات الدردشة المعتمدة على نماذج اللغة الكبيرة استخدامًا، Google Gemini (Gemini 2.5) وOpenAI’s ChatGPT (GPT-5)، باستخدام مجموعة من الأوراق الأكاديمية الأصيلة والمراجعات التي كتبها البشر. تم إنشاء 5,600 حالة هجوم وتقييمها بشكل منهجي.
لضمان قوة منهجية التقييم، قارن الدراسة معدلات النجاح عبر ثلاثة مقيمين آليين: قاموس مشاعر VADER، المحكم المعتمد على نموذج اللغة الكبيرة، ومصنف أكاديمي تم تحسينه. أظهرت النتائج معدل اتفاق إجمالي قدره 86.75% لـ ChatGPT و79.31% لـ Gemini بين VADER ومصنف نموذج اللغة الكبيرة. من الجدير بالذكر أن المصنف الأكاديمي المحسن أظهر معدل نجاح أعلى من المقيمين الآخرين، خاصة بالنسبة لـ Gemini، حيث تفوق على VADER بمقدار 8.81 نقطة مئوية. تسلط هذه النتيجة الضوء على فعالية أداة تقييم محددة المجال، مما يشير إلى أنها أكثر قدرة على اكتشاف الفروق الدلالية والهيكلية للنص الأكاديمي المتلاعب به التي قد تتجاهلها الأدوات العامة.
النتائج
أسفر البروتوكول التجريبي عن توليد 5600 مخرجات ذكاء اصطناعي، مع توزيع متساوٍ قدره 2800 تجربة لكل من النموذجين المستهدفين، ChatGPT وGemini. استخدمت الدراسة 20 حمولة متميزة، مستمدة من خمسة مطالب محددة عبر هيكليتي حمولة وموضعين للحقن، لتقييم عينة من 100 ورقة أكاديمية. سهل هذا التصميم 100 تجربة لكل متجه للرفض، ووضع العلامات المائية، وهجمات المواقع الخارجية، بينما خضعت هجمات التوجيه الإيجابية والسلبية لـ 200 تجربة لكل متجه تحت ظروف مطالب مختلفة.
تلخص النتائج في الجدول 1، مع تسليط الضوء على التركيبات الفريدة لمواقع الحقن (L1: الصفحة الأولى، L2: الصفحة الأخيرة) المستخدمة في التجارب. من الجدير بالذكر أن هجمات التوجيه تم تقييمها تحت حالتين من المطالب – الطلبات القياسية وطلبات المشاعر المعاكسة – مما أدى إلى مضاعفة عدد التجارب لكل متجه من 100 إلى 200. سمح هذا النهج الشامل بإجراء تحليل قوي لاستجابات النماذج لمختلف متجهات الهجوم.
المناقشة
تناقش قسم المناقشة في الورقة البحثية ثلاثة أسئلة بحثية رئيسية تتعلق بفعالية ونقاط ضعف أنظمة مراجعة الأقران المدعومة بالذكاء الاصطناعي. السؤال الأول (RQ1) يستقصي إلى أي مدى يمكن أن تؤثر التعليمات المخفية في المخطوطات على مراجعي الذكاء الاصطناعي لإنتاج تقييمات مواتية، كاشفًا عن معدلات نجاح هجوم عالية تتجاوز 78% لـ ChatGPT و86% لـ Gemini. السؤال الثاني (RQ2) يستكشف إمكانية إعادة استخدام هذه التعليمات المخفية للكشف عن أو منع المراجعات التي تم إنشاؤها بواسطة الذكاء الاصطناعي. السؤال الثالث (RQ3) يفحص العوامل الهيكلية التي تؤثر على نجاح هجمات حقن التعليمات والدفاعات، مسلطًا الضوء على ظاهرة تُسمى “العمى السياقي”، حيث تفشل نماذج الذكاء الاصطناعي في التمييز بين المحتوى والتعليمات الميتا.
تشير النتائج إلى وجود ضعف كبير في عمليات مراجعة الأقران المدعومة بالذكاء الاصطناعي، حيث يمكن للنصوص غير المرئية أن تؤثر على نتائج المراجعين، مما يثير القلق بشأن نزاهة الأنظمة التقييمية التي تستخدم نماذج اللغة الكبيرة (LLMs). تؤكد الورقة على الحاجة الملحة لآليات كشف قوية وسياسات حوكمة للتخفيف من هذه المخاطر، حيث تزداد الاعتماد على نماذج اللغة الكبيرة في مراجعة الأقران وسط التحديات المستمرة في الحفاظ على جودة المراجعة والمساءلة. يقترح المؤلفون إطارًا لفهم التفاعلات بين المؤلفين والمراجعين والمنظمين، مؤطرين عملية مراجعة الأقران كلعبة عدائية حيث يمكن استخدام استراتيجيات هجومية ودفاعية.
القيود
تسلط قسم القيود الضوء على العيوب الأساسية لنماذج اللغة الكبيرة (LLMs) في سياق مراجعة الأقران. بينما تقدم نماذج اللغة الكبيرة حلاً محتملاً لتحديات التوسع، تشير الأدلة التجريبية إلى أنها ليست مجهزة بشكل كافٍ لتلبية المطالب التقييمية لمراجعة الأقران، مما يقدم أنماط فشل جديدة قد تضر بعملية المراجعة. تفحص الدراسة بشكل خاص اثنين من الروبوتات الدردشة العامة ضمن سياق علوم الكمبيوتر، مما يشير إلى أن النتائج قد لا تكون قابلة للتعميم على مجالات أخرى، أو أنظمة ملكية، أو إصدارات مستقبلية من نماذج اللغة الكبيرة.
تتمثل إحدى القيود الملحوظة في مساحة تعليمات المطالب المحدودة المستخدمة لتوليد المراجعات، حيث تم اختبار ثلاثة قوالب محددة فقط. قد لا يلتقط هذا التركيز الضيق النطاق الكامل للمطالب التي يمكن أن يستخدمها المستخدمون في الممارسة العملية، مما يشير إلى الحاجة لمزيد من الاستكشاف لمدى قوة النماذج عبر أنواع المطالب المتنوعة. بالإضافة إلى ذلك، كانت التحليلات محصورة في حمولات النصوص غير المرئية التي تم التلاعب بها من خلال عرض PDF، مما ترك متجهات هجوم محتملة أخرى – مثل إعادة تعيين نقاط كود الخط على مستوى الخط أو حقن متعددة الوسائط الهجينة – غير مختبرة، مما قد يكشف عن نقاط ضعف مختلفة.
DOI: https://doi.org/10.1007/s11192-026-05695-x
Publication Date: 2026-07-01
Author(s): Federico Torrielli et al.
Primary Topic: Adversarial Robustness in Machine Learning
Overview
This research investigates the vulnerabilities of large language models (LLMs) in the context of academic peer review, specifically focusing on indirect prompt injection—a method by which hidden instructions within manuscripts can manipulate AI reviewers without their awareness. The study introduces the Author-Reviewer-Organizer (ARO) framework to analyze the strategic interactions among authors, reviewers, and organizers, highlighting the distinct incentives and capabilities that influence AI-based evaluations. Through 5,600 controlled experiments involving manuscripts from NeurIPS and ICLR, the authors found that LLMs like ChatGPT and Gemini followed hidden instructions with success rates of 78% and 86%, respectively. This manipulation can significantly alter review sentiment and acceptance recommendations, revealing structural vulnerabilities in AI-assisted peer review processes.
The findings underscore that current alignment and safety mechanisms are insufficient to isolate content from control instructions, allowing adversarial prompt injections to remain effective even when embedded within legitimate scientific documents. The study also notes that the placement of instructions within a manuscript affects their influence, with early-position payloads being particularly impactful. The dual-use nature of these vulnerabilities suggests that systems relying on LLMs for evaluative tasks are inherently at risk of manipulation. Future research should expand this analysis to other disciplines and proprietary systems, explore cross-model transferability, and develop robust auditing frameworks to detect both offensive and defensive prompt injections, thereby safeguarding the integrity of automated scholarly evaluations.
Introduction
In the introduction of this research paper, the authors contextualize their investigation into the integration of Large Language Models (LLMs) in the peer review process. They highlight the growing trend of utilizing LLMs to enhance efficiency and accuracy in academic evaluations. However, the authors also address the inherent vulnerabilities associated with LLMs, which can compromise the integrity of the peer review system. Furthermore, the section surveys various offensive and defensive applications that exploit these vulnerabilities, setting the stage for a deeper exploration of the implications and potential solutions in subsequent sections of the paper.
Methods
The methodology of this study involved a systematic empirical investigation aimed at quantifying the vulnerability of LLM-assisted academic peer review to indirect prompt injection attacks. This type of attack conceals instructions within a manuscript, manipulating the AI reviewer’s responses to align with these hidden directives rather than the intended prompt. A controlled experiment was designed to assess the efficacy of these attacks across various dimensions, including the attack’s objective, the semantic structure of the payload, and its placement within the manuscript. The experiments were conducted using an automated framework targeting the two most widely used LLM-based chatbots, Google Gemini (Gemini 2.5) and OpenAI’s ChatGPT (GPT-5), utilizing a corpus of authentic academic papers and human-authored reviews. A total of 5,600 attack instances were generated and systematically evaluated.
To ensure the robustness of the evaluation methodology, the study compared success rates across three automated evaluators: the VADER sentiment lexicon, the LLM adjudicator, and a fine-tuned academic classifier. The results indicated an overall agreement rate of 86.75% for ChatGPT and 79.31% for Gemini between VADER and the LLM classifier. Notably, the fine-tuned academic classifier demonstrated a higher success rate than the other evaluators, particularly for Gemini, where it outperformed VADER by 8.81 percentage points. This finding highlights the effectiveness of a domain-specific evaluation tool, suggesting it is more adept at detecting the semantic and structural nuances of manipulated academic text that general-purpose tools may overlook.
Results
The experimental protocol resulted in the generation of 5600 AI outputs, with an equal distribution of 2800 trials for each of the two target models, ChatGPT and Gemini. The study employed 20 distinct payloads, derived from five specific prompts across two payload architectures and two injection loci, to assess a sample of 100 academic papers. This design facilitated 100 trials per vector for refusal, watermarking, and external site attacks, while positive and negative steering attacks were subjected to 200 trials per vector under varying prompt conditions.
The results are summarized in Table 1, highlighting the unique combinations of injection loci (L1: first page, L2: last page) utilized in the experiments. Notably, steering attacks were evaluated under two prompt conditions—standard and opposite-sentiment requests—effectively doubling the number of trials per vector from 100 to 200. This comprehensive approach allowed for a robust analysis of the models’ responses to various attack vectors.
Discussion
The discussion section of the research paper addresses three primary research questions regarding the efficacy and vulnerabilities of AI-assisted peer review systems. The first question (RQ1) investigates the extent to which hidden instructions in manuscripts can influence AI reviewers to produce favorable evaluations, revealing high attack success rates of over 78% for ChatGPT and 86% for Gemini. The second question (RQ2) explores the potential for repurposing these hidden instructions to detect or prevent AI-generated reviews. The third question (RQ3) examines structural factors that affect the success of prompt injection attacks and defenses, highlighting a phenomenon termed “contextual blindness,” where AI models fail to distinguish between content and meta-instructions.
The findings indicate a significant vulnerability in AI-assisted peer review processes, where invisible text can manipulate reviewer outcomes, raising concerns about the integrity of evaluative systems that utilize large language models (LLMs). The paper emphasizes the urgent need for robust detection mechanisms and governance policies to mitigate these risks, as the reliance on LLMs in peer review is increasing amid ongoing challenges in maintaining review quality and accountability. The authors propose a framework for understanding the interactions between authors, reviewers, and organizers, framing the peer review process as an adversarial game where both offensive and defensive strategies can be employed.
Limitations
The section on limitations highlights the fundamental shortcomings of large language models (LLMs) in the context of peer review. While LLMs present a potential solution to scaling challenges, empirical evidence indicates that they are not adequately equipped to meet the evaluative demands of peer review, introducing new failure modes that could compromise the review process. The study specifically examines two public chatbots within a computer science context, suggesting that findings may not be generalizable to other disciplines, proprietary systems, or future iterations of LLMs.
A notable limitation is the restricted prompt instruction space used to generate reviews, as only three specific templates were tested. This narrow focus may not capture the full range of user prompts that could be employed in practice, indicating a need for further exploration of the robustness of the models across varied prompt types. Additionally, the analysis was confined to invisible text payloads manipulated through PDF rendering, leaving other potential attack vectors—such as font-level codepoint remapping or hybrid multimodal injections—untested, which could reveal different vulnerabilities.
