DOI: https://doi.org/10.3758/s13428-026-03052-7
PMID: https://pubmed.ncbi.nlm.nih.gov/42171863
تاريخ النشر: 2026-05-22
المؤلف: Benjamin Šimsa وآخرون
الموضوع الرئيسي: تحليل البيانات الشامل والمراجعات المنهجية
نظرة عامة
في هذا البحث، يستكشف المؤلفون فعالية نماذج اللغة الكبيرة (LLMs) لأتمتة استخراج البيانات في البحث الميتا، وهي عملية تتميز تقليديًا بطبيعتها التي تتطلب جهدًا كبيرًا وعرضة للأخطاء. باستخدام مجموعة بيانات تضم 43 ورقة بحثية في علم النفس الشبكي، اختبروا خمسة نماذج LLMs—Claude 4.6 Opus، Claude 4.5 Sonnet، Claude 4.5 Haiku، GPT-5.2، وGPT-5 mini—من خلال خط أنابيب آلي قائم على API مصمم للمعالجة الجماعية. أشارت النتائج إلى دقة الاستخراج تتراوح بين 79.6% إلى 91.3%، مع أداء أعلى للبيانات الصريحة والحرفية مقارنةً بالاستنتاجات الأكثر تعقيدًا. كما أظهرت النماذج القدرة على التعبير عن عدم اليقين في الحالات المثيرة للجدل، مما يبرز إمكانياتها في البحث الميتا.
تشير النتائج إلى أنه بينما لا تزال LLMs ليست بديلاً كاملاً للحكم البشري، إلا أنها يمكن أن تعزز بشكل كبير كفاءة وقابلية توسيع سير العمل في البحث الميتا. يدعو المؤلفون إلى دمج LLMs في أنظمة هجينة، مؤكدين أنه مع تحسين هذه النماذج وتقنيات التحفيز، يمكن أن تصبح جزءًا لا يتجزأ من ممارسات البحث الميتا. يقدم البحث إطارًا قابلًا للتكرار لاستخراج البيانات بشكل آلي، مع الوصول إلى API ومخرجات منظمة، تهدف إلى تسهيل التعاون الفعال بين LLMs والباحثين البشريين في مواجهة تحديات البحث الميتا.
مقدمة
تسلط المقدمة الضوء على النمو السريع للأدبيات العلمية، مع أكثر من 3 ملايين مقال يتم نشرها سنويًا، مما يؤدي إلى فجوة كبيرة في التوليف بين إنتاج البحث والقدرة على توليف الأدلة بشكل فعال. هذه الفجوة بارزة بشكل خاص في البحث الميتا، الذي يتطلب استخراج بيانات معقدة من دراسات متنوعة، وغالبًا ما يعتمد على عمليات يدوية تتطلب جهدًا كبيرًا ومعرضة للأخطاء والتحيزات. تؤكد المقدمة على إمكانيات نماذج اللغة الكبيرة (LLMs) في معالجة هذه التحديات من خلال أتمتة استخراج البيانات وتحسين الكفاءة في المراجعات المنهجية والبحث الميتا.
تظهر LLMs، المدربة على مجموعات نصية واسعة، قدرات متقدمة في فهم اللغة الطبيعية، والتوليد، واستخراج المعلومات. تشير الدراسات التجريبية إلى أن LLMs يمكن أن تتفوق على المعلقين البشريين في مهام متنوعة، بما في ذلك فحص الأدبيات واستخراج البيانات، مع إظهار دقة وموثوقية عالية. ومع ذلك، لا تزال هناك مخاوف بشأن موثوقيتها التشغيلية، بما في ذلك قضايا “الهلاوس”، والتحيز، وتعقيدات التحفيز، التي يمكن أن تؤثر على الأداء. تدعو المقدمة إلى تحقيقات تجريبية منهجية في دقة LLMs لمهام استخراج البيانات في البحث الميتا، حيث لا يزال البحث الحالي استكشافيًا ويفتقر إلى معايير شاملة. معالجة هذه الفجوة أمر حاسم لتطوير إرشادات قائمة على الأدلة لدمج LLMs بشكل مسؤول في سير العمل البحثي.
طرق
يستعرض قسم “الطرق” في ورقة البحث التصميم التجريبي والتقنيات التحليلية المستخدمة للتحقيق في سؤال البحث. يوضح معايير اختيار المشاركين، والإجراءات المحددة المتبعة أثناء جمع البيانات، والأدوات المستخدمة للقياس. يتم وصف التحليلات الإحصائية، بما في ذلك نماذج الانحدار واختبار الفرضيات، لتقييم العلاقات بين المتغيرات ولتحقق من النتائج.
بالإضافة إلى ذلك، يبرز القسم استخدام مجموعات التحكم والتوزيع العشوائي لتقليل التحيز وتعزيز موثوقية النتائج. تم تصميم المنهجية لضمان القابلية للتكرار والصرامة، مع أوصاف واضحة لعمليات التعامل مع البيانات والبرامج المستخدمة للتحليل. بشكل عام، فإن الطرق المستخدمة قوية ومصممة لمعالجة أهداف البحث بفعالية.
نتائج
في قسم النتائج، يقدم المؤلفون النتائج من ثلاث تحليلات رئيسية: دقة الاستخراج، النمذجة متعددة المستويات لمؤشرات الأداء، ومعايرة الثقة. باستخدام نموذج مختلط خطي عام (GLMM)، قاموا بتقييم دقة الاستخراج لمختلف نماذج اللغة (LLMs) مع الأخذ في الاعتبار التباين عبر أوراق علمية مختلفة ومتغيرات الاستخراج. توقع النموذج احتمالات الاستخراج الصحيحة، مع اعتبار GPT-5 mini فئة مرجعية. كشفت التحليلات عن اختلافات كبيرة في الأداء بين LLMs، حيث أظهر Claude 4.6 Opus أعلى نسبة احتمالات (OR = 3.10)، تليه Claude 4.5 Haiku (OR = 2.83)، Claude 4.5 Sonnet (OR = 2.29)، وGPT-5.2 (OR = 2.24). كانت دقة الأساس لـ GPT-5 mini مرتفعة بشكل ملحوظ (log-odds = 1.764؛ p < .001)، لكن ترتيب الأداء يشير إلى الحذر في التفسير بسبب التقييم الفردي لكل زوج من النموذج-الورقة. بالإضافة إلى ذلك، أشارت التحليلات إلى أن التباين في صعوبة الاستخراج عبر متغيرات مختلفة ساهم بشكل أكبر في تباين الأداء مقارنةً بالاختلافات بين الأوراق، كما يتضح من وجود تباين أكبر في الاعتراض العشوائي للمتغيرات. سلطت تحليل التكلفة-الفعالية الضوء على أن Claude 4.6 Opus كان النموذج الأكثر تكلفة بسعر 10.70 دولار، تليه Claude 4.5 Sonnet بسعر 6.66 دولار، معًا تشكل حوالي 77% من إجمالي الإنفاق على النماذج التي تم تقييمها.
مناقشة
قيمت الدراسة بشكل منهجي أداء خمسة نماذج حديثة من نماذج اللغة الكبيرة (LLMs) في استخراج البيانات الميتا-علمية من أوراق البحث النفسي، بهدف قياس دقتها مقابل مجموعة بيانات مرجعية مشفرة بواسطة البشر. تضمنت النماذج التي تم تقييمها Claude 4.6 Opus، Claude 4.5 Sonnet، Claude 4.5 Haiku، وGPT-5.2 وGPT-5 mini من OpenAI. استخدمت التقييم مجموعة بيانات بحث ميتا من Blanchard وآخرون (2022)، والتي شملت 43 دراسة تستخدم طرق أخذ عينات التجربة. أشارت النتائج إلى أنه بينما حققت النماذج دقة عالية للمتغيرات البسيطة (مثل عنوان الورقة وحجم العينة)، كان أداؤها متنوعًا بشكل كبير للمتغيرات الأكثر تعقيدًا التي تتطلب تفسيرًا دقيقًا، مع دقة عامة تتراوح بين 75% إلى 91.3%.
كما قدمت الدراسة عملية استخراج بيانات آلية مبسطة باستخدام تحفيز منظم ونهج قائم على API، مما يعزز قابلية التوسع مقارنةً بالطرق اليدوية السابقة. على الرغم من النتائج الواعدة، يحذر المؤلفون من الاعتماد الكامل على مخرجات LLM بسبب معدلات الخطأ الملحوظة، مقترحين نهجًا هجينيًا حيث يمكن أن تساعد LLMs المبرمجين البشريين من خلال الإشارة إلى التناقضات للمراجعة الإضافية. بالإضافة إلى ذلك، بينما قدمت النماذج درجات ثقة لاستخراجاتها، غالبًا ما لم تتماشى هذه الدرجات مع الصحة الفعلية، مما يشير إلى أنه لا ينبغي الاعتماد فقط على تقييمات الثقة لتقييم موثوقية البيانات. تؤكد النتائج على إمكانيات LLMs في البحث الميتا مع تسليط الضوء على الحاجة إلى دمج إشراف بشري بعناية في عملية استخراج البيانات.
DOI: https://doi.org/10.3758/s13428-026-03052-7
PMID: https://pubmed.ncbi.nlm.nih.gov/42171863
Publication Date: 2026-05-22
Author(s): Benjamin Šimsa et al.
Primary Topic: Meta-analysis and systematic reviews
Overview
In this research, the authors explore the efficacy of large language models (LLMs) for automating data extraction in meta-research, a process traditionally characterized by its labor-intensive and error-prone nature. Utilizing a dataset of 43 network psychometrics papers, they tested five LLMs—Claude 4.6 Opus, Claude 4.5 Sonnet, Claude 4.5 Haiku, GPT-5.2, and GPT-5 mini—through an automated API-based pipeline designed for batch processing. The results indicated extraction accuracy ranging from 79.6% to 91.3%, with higher performance for explicit, verbatim data compared to more complex inferences. The models also demonstrated the ability to express uncertainty in contentious cases, highlighting their potential utility in meta-research.
The findings suggest that while LLMs are not yet a complete replacement for human judgment, they can significantly enhance the efficiency and scalability of meta-research workflows. The authors advocate for the integration of LLMs into hybrid systems, emphasizing that as these models and prompting techniques improve, they could become integral to meta-research practices. The paper presents a reproducible framework for automated data extraction, featuring API access and structured outputs, aimed at facilitating effective collaboration between LLMs and human researchers in addressing meta-research challenges.
Introduction
The introduction highlights the rapid growth of scientific literature, with over 3 million articles published annually, leading to a significant synthesis gap between research production and the ability to synthesize evidence effectively. This gap is particularly pronounced in meta-research, which requires complex data extraction from diverse studies, often relying on manual, labor-intensive processes that are prone to errors and biases. The introduction emphasizes the potential of large language models (LLMs) to address these challenges by automating data extraction and improving efficiency in systematic reviews and meta-research.
LLMs, trained on extensive text corpora, exhibit advanced capabilities in natural language understanding, generation, and information extraction. Empirical studies indicate that LLMs can outperform human annotators in various tasks, including literature screening and data extraction, while also demonstrating high accuracy and reliability. However, concerns remain regarding their operational reliability, including issues of “hallucination,” bias, and the complexities of prompting, which can affect performance. The introduction calls for systematic empirical investigations into the accuracy of LLMs for data extraction tasks in meta-research, as current research is still exploratory and lacks comprehensive benchmarks. Addressing this gap is crucial for developing evidence-based guidelines for the responsible integration of LLMs into research workflows.
Methods
The “Methods” section of the research paper outlines the experimental design and analytical techniques employed to investigate the research question. It details the selection criteria for participants, the specific procedures followed during data collection, and the instruments used for measurement. Statistical analyses, including regression models and hypothesis testing, are described to assess the relationships between variables and to validate the findings.
Additionally, the section emphasizes the use of control groups and randomization to minimize bias and enhance the reliability of the results. The methodology is designed to ensure reproducibility and rigor, with clear descriptions of the data handling processes and software utilized for analysis. Overall, the methods employed are robust and tailored to address the research objectives effectively.
Results
In the results section, the authors present findings from three key analyses: extraction accuracy, multilevel modeling of performance predictors, and confidence calibration. Utilizing a generalized linear mixed model (GLMM), they assessed the extraction accuracy of various language models (LLMs) while accounting for variability across different scientific papers and extraction variables. The model predicted the log-odds of correct extractions, with GPT-5 mini serving as the reference category. The analysis revealed significant performance differences among the LLMs, with Claude 4.6 Opus exhibiting the highest odds ratio (OR = 3.10), followed by Claude 4.5 Haiku (OR = 2.83), Claude 4.5 Sonnet (OR = 2.29), and GPT-5.2 (OR = 2.24). The baseline accuracy for GPT-5 mini was notably high (log-odds = 1.764; p < .001), but the rank order of performance suggests caution in interpretation due to the single evaluation of each model-paper pair. Additionally, the analysis indicated that variability in extraction difficulty across different variables contributed more significantly to performance variation than differences among papers, as evidenced by a larger random-intercept variance for variables. The cost-effectiveness analysis highlighted that Claude 4.6 Opus was the most expensive model at $10.70, followed by Claude 4.5 Sonnet at $6.66, together accounting for approximately 77% of the total expenditure on the models evaluated.
Discussion
The study systematically evaluated the performance of five contemporary large language models (LLMs) in extracting metascientific data from psychological research papers, aiming to quantify their accuracy against a human-coded reference dataset. The models assessed included Anthropic’s Claude 4.6 Opus, Claude 4.5 Sonnet, Claude 4.5 Haiku, and OpenAI’s GPT-5.2 and GPT-5 mini. The evaluation utilized a meta-research dataset by Blanchard et al. (2022), which encompassed 43 studies employing experience sampling methods. The results indicated that while the models achieved high accuracy for straightforward variables (e.g., paper title and sample size), their performance varied significantly for more complex variables requiring nuanced interpretation, with overall accuracy ranging from 75% to 91.3%.
The study also introduced a streamlined, automated data extraction process using a structured prompt and API-based approach, enhancing scalability compared to previous manual methods. Despite the promising results, the authors caution against fully relying on LLM outputs due to the observed error rates, suggesting a hybrid approach where LLMs could assist human coders by flagging discrepancies for further review. Additionally, while the models provided confidence scores for their extractions, these scores often did not align with actual correctness, indicating that confidence ratings should not be solely relied upon for assessing data reliability. The findings underscore the potential of LLMs in meta-research while highlighting the need for careful integration of human oversight in the data extraction process.