DOI: https://doi.org/10.1007/s11192-026-05681-3
تاريخ النشر: 2026-06-13
المؤلف: Teo Sušnjak وآخرون
الموضوع الرئيسي: البحث في علم القياسات العلمية والبيبلومetrics
نظرة عامة
تطورت هذه الدراسة وصادقت على منهجية هجينة تعتمد على الذكاء الاصطناعي والبشر لتحليل التواصل الأكاديمي المتنازع عليه، مع التركيز بشكل خاص على جدل مرض لايم على مدى 25 عامًا. من خلال استخدام نماذج اللغة الكبيرة (LLMs) لتحليل الآلاف من الملخصات، قامت الدراسة برسم التحولات في موقف المؤلفين، والتركيز الموضوعي، وأنماط الاقتباس عبر مختلف أماكن النشر. كشفت النتائج عن عدم تماثل كبير في مواضع النشر واهتمام الاقتباس، حيث كانت المجلات ذات التأثير العالي تبرز بشكل أساسي وجهات نظر تتماشى مع إطار متلازمة مرض لايم بعد العلاج (PTLDS)، بينما كانت الآراء البديلة، مثل وجهة نظر مرض لايم المزمن (CLD)، محصورة إلى حد كبير في أماكن ذات تأثير أقل.
أظهر التحقق من مخرجات LLM مقابل تقييمات الخبراء توافقًا كبيرًا (كابا كوهين 0.58-0.71)، مما يشير إلى أن الإطار الهجين يعكس بشكل فعال حكم الخبراء وهو مناسب للتحليل العلمي على مستوى النصوص. لا يسلط هذا النهج الضوء فقط على التغيرات الزمنية في توزيع المواقف، بل يوفر أيضًا نموذجًا قابلًا للتكرار لمراقبة الجدل العلمي وعدم التوازن في النشر. في النهاية، تقدم الدراسة إطارًا قابلًا للتوسع لتحليل الأدبيات العلمية، مما يحول تحليل الخلافات العلمية من ملاحظات غير رسمية إلى مؤشرات قابلة للقياس مصنفة حسب المكان وتأثير الاقتباس.
مقدمة
تتناول مقدمة ورقة البحث التحديات التي تطرحها الزيادة السريعة في الأدبيات العلمية، لا سيما في المجالات المتنازع عليها مثل الرعاية الصحية، حيث يصبح التحليل اليدوي غير عملي. غالبًا ما تفشل الطرق التقليدية، مثل مؤشرات الببليومترية ونمذجة الموضوعات الأساسية، في التقاط الديناميات الدقيقة للنقاشات العلمية، مما يستلزم تطوير طرق موثوقة وقابلة للتوسع للتحليل العلمي القائم على الأدبيات. يقترح المؤلفون إطارًا هجينيًا يعتمد على الذكاء الاصطناعي والبشر يستفيد من نماذج اللغة الكبيرة (LLMs) لإجراء تحليل دلالي وواعٍ للمواقف للنصوص العلمية، مما يدمج المخرجات الآلية مع التحقق من الخبراء لتعزيز الموثوقية.
مع التركيز على جدل مرض لايم – وهو نقاش مت polarized حول الأعراض المستمرة بعد العلاج بالمضادات الحيوية – تهدف الدراسة إلى إظهار فعالية الإطار في اكتشاف المواقف وتحليل التغيرات الموضوعية على مدى 25 عامًا من الأدبيات. تم هيكلة البحث حول أربعة أسئلة رئيسية تستكشف موثوقية الإطار الهجين، وتطور وجهات النظر المتنافسة، وتأثير أماكن النشر، وتوزيع الأنماط الموضوعية عبر هذه الوجهات. من خلال استخدام مخططات تصنيف واضحة وتحسين تكراري، يسعى الإطار إلى إنتاج مؤشرات قابلة للتكرار تعكس تعقيدات الخطاب العلمي، مع الاعتراف بأن ليس كل الجدل قد يتناسب بشكل دقيق مع المنهجية المقترحة.
طرق
تناقش هذه القسم قيود الطرق التقليدية لتحليل الأدبيات العلمية، لا سيما في المجال الطبي الحيوي. بينما تُستخدم تقنيات مثل تخصيص ديريشليت الكامن (LDA) بشكل شائع لنمذجة الموضوعات، فإنها غالبًا ما تفشل في معالجة البيانات بشكل كافٍ، مما يؤدي إلى الاحتفاظ بمعلومات سياقية غير ذات صلة يمكن أن تضعف جودة الموضوعات المحددة. بالإضافة إلى ذلك، تكافح هذه الطرق لالتقاط موقف المؤلف أو الإطار التقييمي في المجالات المتنازع عليها. تقدم النماذج المعتمدة على التضمين، مثل BERTopic، نهجًا أكثر دقة من خلال دمج تضمينات الوثائق مع التجميع؛ ومع ذلك، فإن قابليتها للتفسير أقل من تلك الخاصة بـ LDA، ولا تزال تتطلب تحققًا من الخبراء.
يقترح المؤلفون منهجية جديدة تدمج نماذج اللغة الكبيرة (LLMs) مع تحقق من الخبراء المنظم، مستندة إلى وجهات نظر دراسات العلوم والتكنولوجيا (STS) حول الجدل العلمي. يتكون هذا العمل من أربع مراحل: الحصول على البيانات، التصنيف الآلي باستخدام LLMs، مراجعة الخبراء للتحقق، والتحليل الموضوعي مع إشراف بشري. يهدف هذا النهج إلى تعزيز فهم الموقف الدلالي والتصنيف الموضوعي داخل الأدبيات العلمية، مع معالجة أوجه القصور في الطرق الحالية للتحليل الببليومتري وتحليل المشاعر، والتي غالبًا ما تتجاهل المحتوى البلاغي الضروري لتفسير النقاشات العلمية.
نتائج
في قسم النتائج، يقدم المؤلفون مجموعة من الملخصات التي خضعت لتغييرات في التصنيف بعد تحفيز التأمل الذاتي. يتم تفصيل هذه التغييرات في الجدول 5، الذي يتضمن كل من الفئات المعدلة والنصوص المبررة المصاحبة لكل ملخص. يسلط هذا التحليل الضوء على تأثير التأمل الذاتي على عملية التصنيف، مما يوضح كيف يمكن أن يؤدي التحفيز إلى إعادة تقييم التصنيفات الأولية. تشير النتائج إلى أن التأمل الذاتي قد يعزز دقة وملاءمة التصنيفات في السياق المدروس.
مناقشة
في مناقشة التقدم في اكتشاف المواقف داخل الخطاب العلمي، يبرز البحث تطور المنهجيات من المصنفات التقليدية المعتمدة على الميزات إلى النماذج الحديثة المعتمدة على المحولات ونماذج اللغة الكبيرة المعتمدة على التحفيز (LLMs). يتم تأطير اكتشاف الموقف كوظيفة تصنيف مشرف، حيث تصنف النماذج موقف الكاتب تجاه هدف، عادةً باستخدام تسميات مثل مؤيد، ضد، لا شيء، ومحايد. يشير البحث إلى النقاشات المستمرة حول تميز تسمية المحايد ويؤكد على التحديات المتعلقة باكتشاف الموقف في السياقات العلمية، حيث غالبًا ما تكون العلامات المعجمية غائبة، مما يتطلب الاستدلال من الوضع السياقي وعادات المجال. تشير الأدبيات الحديثة إلى أن التحفيز المعزز بالمعرفة وتقنيات مثل التفكير المتسلسل يمكن أن تحسن أداء النماذج في اكتشاف المواقف الضمنية.
كما يناقش البحث دمج الأساليب الهجينة المعتمدة على الذكاء الاصطناعي والبشر في معالجة اللغة الطبيعية الطبية الحيوية، لا سيما للمهام المعقدة مثل تحليل الأدبيات. تستفيد هذه المنهجيات من الذكاء الاصطناعي للتصنيف الأولي، تليها تحقق من الخبراء لتعزيز الدقة والموثوقية. يعالج هذا النهج المخاوف بشأن جودة المحتوى في السجلات الأكاديمية ويؤكد على الحاجة إلى ممارسات تحقق قوية. يجادل المؤلفون بأن المؤشرات المستمدة من LLM ليست مخرجات محايدة ولكنها تتطلب تصميمًا وتقييمًا دقيقين، داعين إلى الشفافية وحكم الخبراء في تطبيقها. تعتبر دراسة حالة مرض لايم بمثابة عرض منهجي، توضح كيف يمكن استخدام الخطاب المت polarized المحيط بالحالة لتقييم تصنيف الموقف القائم على LLM والتحليل الموضوعي، مما يسهم في النهاية في تطوير مؤشرات علمية موثوقة.
القيود
تسلط قيود الدراسة الضوء على عدة عوامل حاسمة قد تؤثر على صلاحية وموثوقية النتائج. أولاً، يقتصر الاعتماد على الأدلة المستندة إلى الملخصات فقط على التحليل من خلال حذف التفاصيل المنهجية المهمة والهياكل البلاغية الموجودة في النصوص الكاملة. بالإضافة إلى ذلك، قد يؤدي تغطية الملخصات باللغة الإنجليزية إلى إدخال تحيز في انتشار المواقف الملاحظة، بينما يمكن أن تؤدي التغيرات الزمنية في المصطلحات إلى تمثيل خاطئ للتحولات في المطالب الجوهرية. يتطلب نقص التفاصيل في هيكل الملخصات غير القابلة للاسترداد الحذر في تفسير النتائج الخاصة بمرض لايم، حيث تعكس الأنماط داخل مجموعة النصوص المستردة بدلاً من تقديرات انتشار دقيقة للأدبيات الأوسع.
علاوة على ذلك، فرضت عملية التحقق قيودًا على المقيمين، الذين كانوا مقيدين بالاختيار بين مبررين مرشحين دون خيار رفض كلاهما أو تقديم بدائل نصية حرة. قد يؤدي هذا النهج المنظم إلى تأثيرات تثبيت، مما يتطلب تفسيرًا دقيقًا للأحكام المقارنة التي تم اتخاذها. قد لا يكون تركيز الدراسة على مرض لايم، وهو جدل موثق جيدًا مع فئات موقف واضحة، قابلاً للتعميم على قضايا أخرى قد تتطلب تصاميم مخططات أكثر تعقيدًا أو تطوير تحفيز تكراري. بينما يمكن أن يعالج تصميم النصوص الشفاف والتحقق التجريبي بعض القضايا المتعلقة بصلاحية البناء والتمثيل، إلا أنه لا يمكن القضاء على هذه التحديات تمامًا. كما تعترف الدراسة بأن أطر تحسين التحفيز مثل DSPy قد تعزز الاستقرار في نتائج الاستدلال عبر النماذج.
DOI: https://doi.org/10.1007/s11192-026-05681-3
Publication Date: 2026-06-13
Author(s): Teo Sušnjak et al.
Primary Topic: scientometrics and bibliometrics research
Overview
This study developed and validated a hybrid AI-human methodology for analyzing contested scholarly communication, specifically focusing on the Lyme disease controversy over a 25-year period. By employing large language models (LLMs) to analyze thousands of abstracts, the research mapped shifts in authorial stance, thematic focus, and citation patterns across various publication venues. The findings revealed significant asymmetries in publication placement and citation attention, with higher-impact journals predominantly featuring perspectives aligned with the post-treatment Lyme disease syndrome (PTLDS) framework, while alternative views, such as the chronic Lyme disease (CLD) perspective, were largely confined to lower-impact venues.
The validation of the LLM outputs against expert ratings demonstrated substantial agreement (Cohen’s kappa 0.58-0.71), indicating that the hybrid framework effectively mirrors expert judgment and is suitable for corpus-level scientometric analysis. This approach not only highlights temporal changes in stance distributions but also provides a reproducible model for monitoring scientific controversies and publication imbalances. Ultimately, the study presents a scalable framework for literature-based scientometrics, transforming the analysis of scientific disagreement from anecdotal observations into measurable indicators stratified by venue and citation impact.
Introduction
The introduction of the research paper addresses the challenges posed by the rapid growth of scientific literature, particularly in contested fields like healthcare, where manual analysis becomes impractical. Traditional methods, such as bibliometric indicators and basic topic modeling, often fail to capture the nuanced dynamics of scientific debates, necessitating the development of validated, scalable methods for literature-based scientometric analysis. The authors propose a hybrid AI-human framework that leverages large language models (LLMs) to conduct semantic and stance-aware analysis of scientific texts, integrating automated outputs with expert validation to enhance reliability.
Focusing on the Lyme disease controversy—a polarized debate regarding persistent symptoms post-antibiotic treatment—the study aims to demonstrate the framework’s effectiveness in detecting stance and analyzing thematic changes over 25 years of literature. The research is structured around four key questions that explore the reliability of the hybrid framework, the evolution of competing perspectives, the influence of publication venues, and the distribution of thematic patterns across these perspectives. By employing explicit classification schemas and iterative refinement, the framework seeks to produce reproducible indicators that reflect the complexities of scientific discourse, while acknowledging that not all controversies may fit neatly into the proposed methodology.
Methods
The section discusses the limitations of traditional methods for analyzing scientific literature, particularly in the biomedical field. While techniques like Latent Dirichlet Allocation (LDA) are commonly used for topic modeling, they often fail to adequately preprocess data, leading to the retention of irrelevant contextual information that can degrade the quality of identified topics. Additionally, these methods struggle to capture author stance or evaluative framing in contentious areas. Embedding-based models, such as BERTopic, offer a more nuanced approach by combining document embeddings with clustering; however, their interpretability is lower than that of LDA, and they still necessitate expert validation.
The authors propose a novel methodology that integrates large language models (LLMs) with structured expert validation, informed by Science and Technology Studies (STS) perspectives on scientific controversy. This workflow consists of four stages: data acquisition, automated classification using LLMs, expert review for validation, and thematic analysis with human oversight. This approach aims to enhance the understanding of semantic stance and thematic classification within scientific literature, addressing the shortcomings of existing bibliometric and sentiment analysis methods, which often overlook the rhetorical content essential for interpreting scientific debates.
Results
In the Results section, the authors present a selection of abstracts that underwent classification changes following self-reflection prompting. These changes are detailed in Table 5, which includes both the revised categories and the accompanying justification texts for each abstract. This analysis highlights the impact of self-reflection on the classification process, demonstrating how prompting can lead to a reevaluation of initial categorizations. The findings suggest that self-reflection may enhance the accuracy and relevance of classifications in the studied context.
Discussion
In the discussion of advancements in stance detection within scientific discourse, the paper highlights the evolution of methodologies from traditional feature-engineered classifiers to modern transformer-based models and prompt-based large language models (LLMs). Stance detection is framed as a supervised classification task, where models categorize a writer’s position towards a target, typically using labels such as Favor, Against, None, and Neutral. The paper notes ongoing debates regarding the distinctiveness of the Neutral label and emphasizes the challenges of stance detection in scientific contexts, where lexical markers are often absent, requiring inference from contextual positioning and domain conventions. Recent literature suggests that knowledge-enhanced prompting and techniques like chain-of-thought reasoning can improve model performance in detecting implicit stances.
The paper also discusses the integration of hybrid AI-human approaches in biomedical natural language processing, particularly for complex tasks like literature analysis. These methodologies leverage AI for initial labeling, followed by human expert validation to enhance accuracy and reliability. This approach addresses concerns about the quality of content in scholarly records and underscores the need for robust validation practices. The authors argue that LLM-derived indicators are not neutral outputs but require careful design and evaluation, advocating for transparency and expert judgment in their application. The case study of Lyme disease serves as a methodological demonstration, illustrating how the polarized discourse surrounding the condition can be utilized to evaluate LLM-based stance classification and thematic analysis, ultimately contributing to the development of reliable scientometric indicators.
Limitations
The limitations of the study highlight several critical factors that may affect the validity and reliability of the findings. Firstly, the reliance on abstract-only evidence restricts the analysis by omitting important methodological details and rhetorical structures present in full texts. Additionally, the coverage of English-language abstracts may introduce bias in the observed prevalence of stances, while temporal changes in terminology could misrepresent shifts in substantive claims. The lack of granularity in the structure of irretrievable abstracts necessitates caution in interpreting Lyme-specific findings, as they reflect patterns within the retrieved corpus rather than precise prevalence estimates of the broader literature.
Moreover, the validation process imposed constraints on raters, who were limited to selecting between two candidate justifications without the option to reject both or provide free-text alternatives. This structured approach may have led to anchoring effects, thus necessitating careful interpretation of the comparative judgments made. The study’s focus on Lyme disease, a well-documented controversy with clear stance categories, may not generalize to other issues that could require more complex schema designs or iterative prompt development. While transparent corpus design and empirical validation can address some issues of construct validity and representativeness, they cannot eliminate these challenges entirely. The study also acknowledges that prompt-optimisation frameworks like DSPy may enhance stability in inference-time results across models.