DOI: https://doi.org/10.1093/jamia/ocaf223
PMID: https://pubmed.ncbi.nlm.nih.gov/41435508
تاريخ النشر: 2025-12-09
المؤلف: David Chen وآخرون
الموضوع الرئيسي: تحليل البيانات الشامل والمراجعات المنهجية
نظرة عامة
تحدد هذه القسم تطوير وتقييم AutoReporter، وهو نظام آلي مصمم لتقييم الالتزام بإرشادات التقرير في المخطوطات العلمية. يمكن أن يؤدي الإبلاغ غير المكتمل إلى تقويض إمكانية التكرار ومراجعة الأقران، مما يجعل تقييم امتثال المخطوطات مهمة حرجة ولكنها تتطلب موارد كبيرة. يستفيد AutoReporter من نموذج لغة كبير (LLM) لإجراء تقييمات تفصيلية، مما يظهر أداءً متفوقًا مقارنةً بتقييمات البشر عبر معايير مختلفة.
شمل التقييم مقارنة أداء طرق مختلفة مصممة مسبقًا ومُعززة بالاسترجاع باستخدام مجموعة بيانات SPIRIT-CONSORT-TM. كشفت النتائج أن الطلب بدون استرجاع، المدمج مع LLM للتفكير، حقق أعلى دقة تصنيف متوسطة (CONSORT: 90.09%; SPIRIT: 92.07%)، بينما كان أيضًا فعالًا من حيث وقت التشغيل والتكلفة. علاوة على ذلك، عند اختباره مع BenchReport، وهي مجموعة بيانات جديدة للمراجعات المنهجية، حقق AutoReporter دقة متوسطة مرجحة قدرها 91.8% وأظهر توافقًا كبيرًا بين المقيمين في 9 من أصل 10 مراجعات. تشير هذه النتائج إلى أن LLMs يمكن أن تؤتمت بشكل فعال تقييم الالتزام بإرشادات التقرير، مما يوفر حلاً قابلاً للتوسع لتعزيز مراقبة الجودة في تقارير البحث العلمي.
مقدمة
تسلط المقدمة الضوء على القضية الحرجة لإمكانية التكرار العلمي، مع التأكيد على الحاجة إلى تقارير بحث شاملة. بينما تهدف الإرشادات المعتمدة مثل CONSORT و SPIRIT إلى توحيد ممارسات الإبلاغ، تشير التدقيقات الأخيرة إلى تحسينات متواضعة واستمرار الإغفالات في الالتزام بهذه الإرشادات عبر الأبحاث السريرية وتطبيقات الذكاء الاصطناعي الناشئة. تعتبر الطبيعة كثيفة العمل والذاتية لمراجعة الالتزام بالإرشادات تحديًا كبيرًا، بالإضافة إلى الزيادة في حجم الأدبيات الطبية الحيوية وانتشار إصدارات إرشادات التقرير.
لمعالجة هذا التحدي، أظهرت التدخلات التحريرية التي يقودها الخبراء إمكانية في تعزيز اكتمال الإبلاغ، لكن توسيع هذه الجهود لا يزال صعبًا. يمكن أن تكتشف طرق معالجة اللغة الطبيعية التقليدية المعتمدة على القواعد والكلمات الرئيسية العناصر المحددة للإرشادات بدقة، لكنها تفتقر إلى الفهم السياقي اللازم للتطبيق الأوسع. بالمقابل، أظهرت مصنفات التعلم الآلي (ML) وعدًا في تصنيف أنواع المقالات وتقييم التحيز. يقدم هذا البحث AutoReporter، وهو نظام نموذج لغة كبير (LLM) مصمم لأتمتة تقييم الالتزام بإرشادات التقرير، مما يوفر ملاحظات في الوقت الحقيقي للمؤلفين ويمكّن من الفحص القابل للتوسع لفرق التحرير في المجلات.
الطرق
تحدد قسم “الطرق” الأساليب التجريبية والتحليلية المستخدمة في الدراسة. يوضح تصميم التجارب، بما في ذلك اختيار الموضوعات، والمواد المستخدمة، والإجراءات المحددة المتبعة لضمان إمكانية التكرار. تم إجراء تحليلات إحصائية لتقييم أهمية النتائج، باستخدام تقنيات مثل ANOVA وتحليل الانحدار لتفسير البيانات بدقة.
بالإضافة إلى ذلك، يصف القسم النماذج الرياضية المطبقة لمحاكاة الظواهر قيد التحقيق. تم التحقق من صحة هذه النماذج مقابل البيانات التجريبية لتأكيد موثوقيتها. تشمل الطرق أيضًا مناقشة أي قيود تم مواجهتها خلال الدراسة، مما يوفر نظرة شاملة على الإطار المنهجي الذي يدعم نتائج البحث.
النتائج
في هذه الدراسة، طور المؤلفون وأقاموا أداة AutoReporter مصممة لتقييم الالتزام بإرشادات التقرير باستخدام نماذج لغة كبيرة (LLMs). من خلال الاختبار التكراري على مجموعة بيانات تدريب CONSORT (n=10)، أسسوا نموذج طلب مثالي يتضمن دور LLM، تفاصيل الإرشادات، وطرق الاسترجاع. قارن التقييم على مجموعة بيانات تحقق CONSORT (n=20) تصاميم الطلبات المختلفة وطرق الاسترجاع، كاشفًا أن الطلب بدون استرجاع كان التركيبة الأكثر فعالية، مما أدى إلى أداء قابل للمقارنة مع الطلبات القليلة عبر كل من LLMs العامة و LLMs للتفكير. ومن الجدير بالذكر أن LLM للتفكير (gpt-o3-mini) أظهر أداءً متفوقًا مقارنة بالنماذج العامة وحقق دقة أعلى من PubMedBERT في كل من تقييمات CONSORT و SPIRIT.
أظهر مزيد من التحقق من AutoReporter على مجموعة بيانات BenchReport، التي تضمنت 10 مراجعات منهجية و506 نصوص مقالات، أنه حقق دقة تزيد عن 90% في 8 من أصل 10 مراجعات، مع توافق كبير مع المقيمين البشر (κ لـ Cohen > 0.6) في 9 من أصل 10 مراجعات. أشارت مقاييس الأداء العامة إلى دقة متوسطة مرجحة قدرها 91.8%، ودقة ماكرو قدرها 90.0%، واسترجاع ماكرو قدره 91.9%. تم اختبار الأداة في سيناريو واقعي، حيث أدت التعديلات بناءً على ملاحظات AutoReporter إلى معدل التزام بنسبة 100% بإرشادات PRISMA في المخطوطات التي تم تقييمها، مما يظهر إمكانياتها في تحسين جودة الإبلاغ في المراجعات المنهجية.
المناقشة
في هذه الدراسة، طور المؤلفون AutoReporter، وهي أداة تعتمد على LLM مصممة للتقييم الآلي لإرشادات الإبلاغ البحثية. تشير النتائج الرئيسية إلى أن نهج الطلب بدون استرجاع-معزز (RAG) تفوق على كل من تقنيات الطلب القليل و RAG، محققًا أداءً قابلًا للمقارنة مع طريقة PubMedBERT المتطورة بينما يقضي على الحاجة إلى موارد حسابية واسعة ومجموعات بيانات مشروحة للتعديل الدقيق. أظهر AutoReporter عمومية قوية عبر مختلف إرشادات الإبلاغ، والمجالات السريرية، وأنواع المقالات، مما يشير إلى أن هيكلة الطلب بعناية يمكن أن تستفيد بشكل فعال من قدرات التفكير الكامنة في LLMs.
تؤكد النتائج على إمكانيات التفكير بدون استرجاع في LLMs، خاصة مع نموذج gpt-o3-mini للتفكير، الذي قدم أداءً مثاليًا في التصنيف، وكفاءة في التكلفة، ووقت تشغيل. يقترح المؤلفون أن AutoReporter يمكن أن يعمل كمراجع مساعد بالذكاء الاصطناعي، يساعد المؤلفين ومحرري المجلات في تحديد العناصر المفقودة في التقارير قبل مراجعة الأقران. بينما يعد أداء الأداة واعدًا، يعترف المؤلفون بأن التعديل الدقيق حسب المجال قد يكون مفيدًا لمهام متخصصة. يجب أن تستكشف الأبحاث المستقبلية القدرات متعددة اللغات ودمج آليات التحقق الذاتي لتعزيز قابلية التفسير وقبول المستخدم في سير العمل التحريري الواقعي.
DOI: https://doi.org/10.1093/jamia/ocaf223
PMID: https://pubmed.ncbi.nlm.nih.gov/41435508
Publication Date: 2025-12-09
Author(s): David Chen et al.
Primary Topic: Meta-analysis and systematic reviews
Overview
The section outlines the development and evaluation of AutoReporter, an automated system designed to assess adherence to reporting guidelines in scientific manuscripts. Incomplete reporting can undermine reproducibility and peer review, making the evaluation of manuscript compliance a critical yet resource-intensive task. AutoReporter leverages a large language model (LLM) to perform item-wise assessments, demonstrating superior performance in comparison to human ratings across various benchmarks.
The evaluation involved comparing the performance of different prompt-engineered and retrieval-augmented generation methods using the SPIRIT-CONSORT-TM corpus. The findings revealed that the zero-shot, no-retrieval prompt combined with a reasoning LLM achieved the highest mean classification accuracy (CONSORT: 90.09%; SPIRIT: 92.07%), while also being efficient in terms of run-time and cost. Furthermore, when tested with BenchReport, a new dataset of systematic reviews, AutoReporter achieved a mean weighted accuracy of 91.8% and showed substantial inter-assessor agreement in 9 out of 10 reviews. These results indicate that LLMs can effectively automate the assessment of reporting guideline adherence, offering a scalable solution for enhancing quality control in scientific research reporting.
Introduction
The introduction highlights the critical issue of scientific reproducibility, emphasizing the need for comprehensive research reporting. While established guidelines like CONSORT and SPIRIT aim to standardize reporting practices, recent audits indicate only modest improvements and ongoing omissions in adherence to these guidelines across clinical research and emerging AI applications. A significant challenge is the labor-intensive and subjective nature of reviewing guideline adherence, compounded by the increasing volume of biomedical literature and the proliferation of reporting guideline versions.
To tackle this challenge, expert-led editorial interventions have shown potential in enhancing reporting completeness, but scaling these efforts remains difficult. Traditional rule- and keyword-driven natural language processing (NLP) methods can accurately detect specific guideline items but lack the contextual understanding necessary for broader application. In contrast, machine learning (ML) classifiers have demonstrated promise in classifying article types and assessing bias. This paper introduces AutoReporter, a large language model (LLM) system designed to automate the assessment of reporting guideline adherence, providing real-time feedback for authors and enabling scalable screening for journal editorial teams.
Methods
The “Methods” section outlines the experimental and analytical approaches employed in the study. It details the design of the experiments, including the selection of subjects, materials used, and the specific procedures followed to ensure reproducibility. Statistical analyses were conducted to evaluate the significance of the results, employing techniques such as ANOVA and regression analysis to interpret the data accurately.
Additionally, the section describes the mathematical models applied to simulate the phenomena under investigation. These models were validated against empirical data to confirm their reliability. The methods also include a discussion of any limitations encountered during the study, providing a comprehensive overview of the methodological framework that supports the research findings.
Results
In this study, the authors developed and evaluated an AutoReporter tool designed for assessing adherence to reporting guidelines using large language models (LLMs). Through iterative testing on the CONSORT Train set (n=10), they established an optimal prompt template that included the LLM’s role, guideline specifics, and retrieval methods. The evaluation on the CONSORT Validate set (n=20) compared various prompt designs and retrieval methods, revealing that zero-shot prompting without retrieval was the most effective combination, yielding comparable performance to few-shot prompting across both generalist and reasoning LLMs. Notably, the reasoning LLM (gpt-o3-mini) demonstrated superior performance compared to the generalist models and achieved higher accuracy than PubMedBERT in both CONSORT and SPIRIT Test evaluations.
Further validation of AutoReporter on the BenchReport dataset, which included 10 systematic reviews and 506 article texts, showed that it achieved over 90% accuracy in 8 out of 10 reviews, with substantial agreement with human raters (Cohen’s κ > 0.6) in 9 out of 10 reviews. The overall performance metrics indicated a weighted mean accuracy of 91.8%, macro precision of 90.0%, and macro recall of 91.9%. The tool was piloted in a real-world scenario, where revisions based on AutoReporter’s feedback led to a 100% adherence rate to PRISMA guidelines in assessed manuscripts, demonstrating its potential utility in improving reporting quality in systematic reviews.
Discussion
In this study, the authors developed AutoReporter, an LLM-based tool designed for automated assessment of research reporting guidelines. Key findings indicate that a zero-shot prompting approach without retrieval-augmented generation (RAG) outperformed both few-shot and RAG techniques, achieving performance comparable to the state-of-the-art PubMedBERT method while eliminating the need for extensive computational resources and annotated datasets for fine-tuning. The AutoReporter demonstrated strong generalizability across various reporting guidelines, clinical domains, and article types, suggesting that careful prompt structuring can effectively leverage the latent reasoning capabilities of LLMs.
The results underscore the potential of zero-shot reasoning in LLMs, particularly with the reasoning gpt-o3-mini model, which provided optimal classification performance, cost efficiency, and runtime. The authors propose that AutoReporter could serve as an AI co-reviewer, assisting authors and journal editors in identifying missing reporting items prior to peer review. While the tool’s performance is promising, the authors acknowledge that domain-specific fine-tuning may still be beneficial for specialized tasks. Future research should explore multilingual capabilities and the integration of self-verification mechanisms to enhance interpretability and user acceptance in real-world editorial workflows.