DOI: https://doi.org/10.1016/j.ipm.2026.104882
تاريخ النشر: 2026-05-08
المؤلف: António Correia وآخرون
الموضوع الرئيسي: البحث في علم القياسات العلمية والبيبلومetrics
نظرة عامة
تتناول ورقة البحث تحولًا جذريًا في علم قياس العلوم، مدفوعًا بتوافر بيانات علمية واسعة وتقدمات في الذكاء الاصطناعي (AI). يتم تعزيز الطرق التقليدية، التي تركز بشكل أساسي على تحليل الاقتباسات والترابط الببليوغرافي، من خلال دمج التمثيلات الدلالية والمعرفة المنظمة وفهم اللغة الطبيعية. على الرغم من إمكانيات أنظمة الذكاء الاصطناعي التوليدية، لا تزال التحديات مثل الهلاوس، ومشكلات الشفافية، وموثوقية المصادر قائمة. لمعالجة هذه التحديات، يقترح المؤلفون إطار عمل يجمع بين الرسوم البيانية المعرفية (KGs) ونماذج اللغة الكبيرة (LLMs) لتسهيل المهام العلمية المعروفة—مثل تحليل الاتجاهات ورسم خرائط التعاون—والتطبيقات الاستكشافية، بما في ذلك اكتشاف المعرفة والإثراء السياقي.
تؤكد الخاتمة على ضرورة تكييف أبحاث علم المعلومات للاستفادة من تقدمات الذكاء الاصطناعي لتحسين اتخاذ القرار في التخصصات العلمية. يهدف إطار العمل المتكامل KG-LLM المقترح إلى توفير رؤى عند الطلب من خلال استكشاف أنماط التطور والسياقات الاجتماعية-المعرفية من خلال بيئة تفاعلية تضم الإنسان في الحلقة (HITL). لا يعزز هذا النهج فقط قدرات التعلم واتخاذ القرار لكل من البشر والخوارزميات، بل يساهم أيضًا في سير العمل العام لعلم قياس العلوم. تقدم الرؤى المعروضة إرشادات للتطورات المستقبلية التي تدمج المنهجيات الهجينة مع صنع المعنى القائم على الأدلة في البحث عن المعلومات بين الإنسان والذكاء الاصطناعي.
مقدمة
تسلط مقدمة ورقة البحث هذه الضوء على الدور المتطور لعلم قياس العلوم في فهم ديناميات البحث العلمي، مع التأكيد على الطرق التقليدية مثل تحليل الاقتباسات ومؤشرات الببليومetrics. مع زيادة الإنتاج العلمي وازدياد البحث بين التخصصات، هناك حاجة ملحة لتكييف أدوات علم قياس العلوم. يقدم صعود الذكاء الاصطناعي (AI)، وخاصة الرسوم البيانية المعرفية (KGs) ونماذج اللغة الكبيرة (LLMs)، فرصًا وتحديات جديدة للمجال، بما في ذلك مشكلات الغموض والموثوقية في اتخاذ القرار.
يقترح المؤلفون خارطة طريق مفاهيمية وتقنية لدمج KGs وLLMs ضمن إطار عمل اجتماعي-تقني يركز على الإنسان بهدف تعزيز التحليلات العلمية. يحددون سؤالين رئيسيين للبحث: (1) كيف يمكن توحيد KGs وLLMs لاستفسارات أكثر تفاعلية ووعيًا بالسياق، و(2) كيف يمكن أن يقلل نهج الإنسان في الحلقة (HITL) من الأخطاء الشائعة في التحليل الببليوغرافي. تهدف الدراسة إلى تفعيل هذا الإطار من خلال خط أنابيب HITL يركز على توضيح أسماء المؤلفين، والتحقق من فعاليته مقارنة بالطرق التقليدية والتقنيات المستقلة. في النهاية، الهدف هو تحسين الوصول إلى التحليلات العلمية وسياقها دون الادعاء بالتفوق على الطرق الحالية.
الطرق
في هذا القسم، يحدد المؤلفون المنهجية التجريبية المستخدمة لتقييم إطار العمل المتكامل لنموذج اللغة-الرسوم البيانية المعرفية (KG-LLM) المقترح، تحديدًا في سياق توضيح أسماء المؤلفين. تنشأ هذه التحديات من تعقيدات عدم اتساق البيانات الوصفية، مما يعقد المهام مثل تقدير مخرجات النشر أو الإجابة على استفسارات معقدة. غالبًا ما تفشل الطرق التقليدية، بما في ذلك التعلم المراقب والتقنيات القائمة على القواعد، بسبب اعتمادها على البيانات الوصفية المنظمة، بينما تواجه الأساليب الحديثة المعتمدة على LLM، على الرغم من قدراتها في النمذجة الدلالية، مشكلات مثل الهلاوس وعمق التفكير المحدود. يقدم المؤلفون حالة استخدام لإثبات المفهوم تقوم بتفعيل إطار عملهم، مما يظهر قابليته للتطبيق في سيناريوهات معالجة المعلومات في العالم الحقيقي.
تضمنت الإعدادات التجريبية مقارنة إطار KG-LLM ضد أربع فئات من الطرق الحالية: الأساليب المعتمدة على جمع المعلومات من الجمهور، نماذج الشبكات العصبية الرسومية (GNN)، الطرق التقليدية المعتمدة على التعلم الآلي القائم على القواعد، والأساليب المعتمدة على LLM. تم اشتقاق مقاييس الأداء من الأدبيات السابقة، وكانت مجموعات البيانات المستخدمة تتراوح من مجموعات صغيرة تم تنسيقها بواسطة البشر إلى الرسوم البيانية المعرفية على نطاق واسع. اختبر المؤلفون فرضيتين: (H1) أن إطار KG-LLM يوفر آلية أكثر قوة لتحديد الشذوذ الدلالي مقارنة بالطرق التقليدية، و(H2) أن دمج KGs مع LLMs يمكن أن يخفف من القيود في توضيح أسماء المؤلفين مقارنة باستخدام هذه التقنيات بشكل منفصل. تسلط التحليلات الضوء على نقاط القوة والضعف لكل نهج، مع التأكيد على أن الإطار الهجين المقترح يهدف إلى معالجة الفجوات المحددة في المنهجيات الحالية.
المناقشة
في هذا القسم، يناقش المؤلفون عملية مراجعة الأدبيات لدراستهم حول دمج الرسوم البيانية المعرفية (KGs) ونماذج اللغة الكبيرة (LLMs) في علم قياس العلوم. استخدموا قواعد بيانات متعددة، بما في ذلك Scopus وWeb of Science وDimensions، لضمان بحث شامل، مستخدمين استعلامًا بوليانيًا يستهدف المقالات المتعلقة بـ KGs وLLMs وتطبيقاتها في الدراسات الكمية. أسفر البحث عن 37 سجلًا ذا صلة، جميعها نشرت بين عامي 2024 و2026، مما يبرز التطور المستمر في هذا المجال بين التخصصات. تكشف الأدبيات المختارة عن اتجاهين رئيسيين: تعزيز التحليلات العلمية التقليدية وتعزيز التطبيقات التوليدية، مع مساهمات ملحوظة من دراسات مختلفة تحسن الدقة، وقابلية التوسع، والقدرات الاستكشافية في سير العمل البحثي.
يبرز المؤلفون نتائج مهمة من الأدبيات، مثل استخدام LLMs لتحسين دقة الطرق العلمية التقليدية وتطوير تطبيقات مبتكرة تستفيد من KGs للبحث الاستكشافي. على سبيل المثال، تظهر الدراسات كيف يمكن أن تعزز KGs رسم خرائط المجالات العلمية وتسهيل توليد أفكار البحث. ومع ذلك، يحددون أيضًا قيودًا حاسمة، بما في ذلك الطبيعة الخاصة بالمجال للعديد من الأساليب الهجينة والاعتماد على KGs الثابتة للتحقق من الحقائق لـ LLMs. لمعالجة هذه التحديات، يقترح المؤلفون إطار عمل متكامل KG-LLM يجمع بين صرامة علم قياس العلوم التقليدية وقدرات التوليد للأنظمة الحديثة للذكاء الاصطناعي، بهدف إنشاء بيئة ديناميكية وتفاعلية مع المستخدم تعزز جودة وموثوقية التحليلات العلمية.
DOI: https://doi.org/10.1016/j.ipm.2026.104882
Publication Date: 2026-05-08
Author(s): António Correia et al.
Primary Topic: scientometrics and bibliometrics research
Overview
The research paper discusses a transformative shift in scientometrics, driven by the availability of extensive scientific data and advancements in artificial intelligence (AI). Traditional methods, primarily focused on citation analysis and bibliographic coupling, are being enhanced by the integration of semantic representations, structured knowledge, and natural language understanding. Despite the potential of generative AI systems, challenges such as hallucinations, transparency issues, and source reliability persist. To address these challenges, the authors propose a framework that combines knowledge graphs (KGs) and large language models (LLMs) to facilitate both established scientometric tasks—like trend analysis and collaboration mapping—and exploratory applications, including knowledge discovery and contextual enrichment.
The conclusion emphasizes the necessity of adapting information science research to leverage AI advancements for improved decision-making in scientific disciplines. The proposed KG-LLM integrated framework aims to provide on-demand insights by exploring evolution patterns and socio-epistemic contexts through a human-in-the-loop (HITL) interactive environment. This approach not only enhances the learning and decision-making capabilities of both humans and algorithms but also contributes to the overall scientometric workflow. The insights presented offer guidance for future developments that merge hybrid methodologies with evidence-based sensemaking in human-AI information seeking.
Introduction
The introduction of this research paper highlights the evolving role of scientometrics in understanding the dynamics of scientific research, emphasizing traditional methods like citation analysis and bibliometric indicators. As scientific output increases and research becomes more interdisciplinary, there is a pressing need for the tools of scientometrics to adapt. The rise of artificial intelligence (AI), particularly knowledge graphs (KGs) and large language models (LLMs), presents new opportunities and challenges for the field, including issues of opaqueness and reliability in decision-making.
The authors propose a conceptual and technical roadmap to integrate KGs and LLMs within a human-centered, socio-technical framework aimed at enhancing scientometric analyses. They outline two primary research questions: (1) how to unify KGs and LLMs for more interactive and context-aware inquiries, and (2) how a human-in-the-loop (HITL) approach can reduce common errors in bibliometric analysis. The study aims to operationalize this framework through a HITL pipeline focused on author name disambiguation, validating its effectiveness against traditional methods and standalone technologies. Ultimately, the goal is to improve the accessibility and contextualization of scientometric analyses without claiming superiority over existing methods.
Methods
In this section, the authors outline the experimental methodology employed to evaluate their proposed Knowledge Graph-Language Model (KG-LLM) integrated framework, specifically in the context of author name disambiguation. This challenge arises from the complexities of metadata inconsistencies, which complicate tasks such as estimating publication outputs or answering complex queries. Traditional methods, including supervised learning and rule-based techniques, often fall short due to their reliance on structured metadata, while recent LLM-based approaches, despite their semantic modeling capabilities, face issues such as hallucination and limited reasoning depth. The authors present a proof-of-concept use case that operationalizes their framework, demonstrating its applicability in real-world information processing scenarios.
The experimental setup involved comparing the KG-LLM framework against four categories of existing methods: crowdsourcing-based approaches, graph neural network (GNN) models, traditional heuristic-based machine learning methods, and LLM-based approaches. The performance metrics were derived from previous literature, and the datasets used ranged from small human-curated sets to large-scale knowledge graphs. The authors tested two hypotheses: (H1) that the KG-LLM framework provides a more robust mechanism for identifying semantic anomalies compared to traditional methods, and (H2) that integrating KGs with LLMs can mitigate limitations in author name disambiguation compared to using these technologies in isolation. The analysis highlights the strengths and weaknesses of each approach, emphasizing that the proposed hybrid framework aims to address the gaps identified in existing methodologies.
Discussion
In this section, the authors discuss the literature review process for their study on the integration of knowledge graphs (KGs) and large language models (LLMs) in scientometrics. They utilized multiple databases, including Scopus, Web of Science, and Dimensions, to ensure a comprehensive search, employing a Boolean query that targeted articles related to KGs, LLMs, and their applications in quantitative studies. The search yielded 37 relevant records, all published between 2024 and 2026, underscoring the ongoing evolution in this interdisciplinary field. The selected literature reveals two primary trends: enhancing traditional scientometric analyses and fostering generative applications, with notable contributions from various studies that improve accuracy, scalability, and exploratory capabilities in research workflows.
The authors highlight significant findings from the literature, such as the use of LLMs to improve the accuracy of traditional scientometric methods and the development of innovative applications that leverage KGs for exploratory research. For instance, studies demonstrate how KGs can enhance the mapping of scientific domains and facilitate the generation of research ideas. However, they also identify critical limitations, including the domain-specific nature of many hybrid approaches and the reliance on static KGs for fact-checking LLMs. To address these challenges, the authors propose a KG-LLM integrated framework that combines traditional scientometric rigor with the generative capabilities of modern AI systems, aiming to create a dynamic, user-interactive environment that enhances the quality and trustworthiness of scientometric analyses.