DOI: https://doi.org/10.1093/bioinformatics/btaf683
PMID: https://pubmed.ncbi.nlm.nih.gov/41495476
تاريخ النشر: 2026-01-01
المؤلف: Andrew Green وآخرون
الموضوع الرئيسي: تنقيب النصوص الطبية والأنطولوجيات
نظرة عامة
إن الزيادة الأسية في أبحاث RNA غير المشفر، التي تتجلى من خلال أكثر من 230,000 منشور منذ عام 2000، قد أدت إلى أزمة كبيرة في إدارة المعرفة في علم الأحياء الجزيئي، خاصة فيما يتعلق بتنظيم microRNAs (miRNAs). على الرغم من وظائفها التنظيمية الحيوية، تم تنسيق 1,400 مقالة فقط يدويًا إلى قاعدة بيانات Gene Ontology (GO) على مدار العقد الماضي، مما يبرز عنق زجاجة حرج. لمعالجة هذه المشكلة، يقدم المؤلفون GOFlowLLM، وهو خط أنابيب تنسيق آلي يستخدم نماذج اللغة الكبيرة (LLMs) المدعومة بالتفكير لاستخراج وتنظيم بيانات كتم الجينات التي تتوسطها miRNA بكفاءة. يظهر النظام دقة بنسبة 90% في اختيار مصطلحات GO الصحيحة ويحقق معدلات توافق عالية مع المنسقين البشريين في خطوات التفكير (95%) واختيار الأدلة (90%).
عند تطبيقه على 6,996 مقالة لم يتم تنسيقها سابقًا، حدد GOFlowLLM 2,538 تعليقا جديدا لمصطلحات GO عبر 1,785 مقالة في 58 ساعة فقط، مما قد يضاعف تنسيق miRNA GO المتاح. أظهرت مراجعة يدوية لمجموعة فرعية من هذه التعليقات أن المنسقين اتفقوا مع المصطلحات المختارة في 87% من الحالات، ومع تفكير النموذج في 92%، ومع الأدلة المستخرجة في 93%. توضح هذه الدراسة أن LLMs يمكن أن تعزز بشكل كبير عمليات التنسيق الحيوي مع الالتزام بمعايير الجودة العالية من خلال اتباع أطر التفكير المعمول بها. لا يوفر GOFlowLLM فقط تبريرًا شفافًا للتعليقات، بل يمثل أيضًا خطوة رائدة نحو أتمتة تعليق ncRNA GO، مما يعالج عنق الزجاجة في التنسيق الحيوي في علم RNA ويسهل دمج النتائج العلمية في موارد المعرفة المنظمة.
مقدمة
إن الزيادة الأسية في أبحاث RNA غير المشفر (ncRNA)، مع أكثر من 230,000 منشور منذ عام 2000، قد أدت إلى أزمة كبيرة في إدارة المعرفة في علم الأحياء الجزيئي، خاصة في تنسيق الأدبيات المتعلقة بـ microRNAs (miRNAs). على الرغم من الدور الحاسم لـ ncRNAs في تنظيم الجينات والعمليات البيولوجية، فإن جهود تنسيق الأدبيات الحالية، التي يقوم بها عدد قليل من المنسقين الحيويين، قد أسفرت عن عدد محدود من التعليقات في قواعد المعرفة مثل Gene Ontology (GO). هذه الفجوة تعيق قدرة الباحثين على الوصول إلى الشبكات التنظيمية الشاملة وفهم آليات عمل microRNA، حيث غالبًا ما تفتقر قواعد البيانات الحالية إلى الروابط المباشرة مع العمليات البيولوجية.
لمعالجة هذا التحدي، يقترح المؤلفون خط أنابيب تنسيق آلي يسمى GOFlowLLM، الذي يستفيد من نماذج اللغة الكبيرة (LLMs) المدعومة بالتفكير لتفسير وتنظيم بيانات تفاعل miRNA-بروتين من الأدبيات العلمية. يتبع GOFlowLLM مخططات تدفق مجموعة GO المعمول بها لتثبيط الجينات الذي تتوسطه miRNA، مما يحول عملية التنسيق من أحكام يدوية إلى مسارات تفكير خوارزمية. تظهر التقييمات الأولية أن GOFlowLLM يحقق توافقًا عاليًا مع التنسيق اليدوي، مما ينتج عنه الآلاف من التعليقات الجديدة لمصطلحات GO في جزء من الوقت الذي كان مطلوبًا سابقًا. لا تعزز هذه الطريقة المبتكرة فقط كفاءة تنسيق الأدبيات، بل تعد أيضًا بتحسين دقة وشمولية تعليقات ncRNA عبر أنواع مختلفة.
طرق
توضح قسم “الطرق” في ورقة البحث التصميم التجريبي والتقنيات التحليلية المستخدمة للتحقيق في أسئلة البحث. استخدمت الدراسة نهجًا كميًا، يتضمن تحليلات إحصائية لتقييم البيانات المجمعة من تجارب مختلفة. شملت المنهجيات المحددة تجارب محكومة، حيث تم التلاعب بالمتغيرات بشكل منهجي لملاحظة آثارها على النتائج ذات الصلة.
شملت جمع البيانات تدابير نوعية وكمية، مما يضمن فهمًا شاملاً للظواهر قيد الدراسة. تم إجراء التحليل باستخدام برامج إحصائية متقدمة، مما سهل تطبيق الاختبارات المناسبة لتحديد دلالة النتائج. يبرز القسم صرامة الطرق المستخدمة، مما يضمن أن النتائج قوية وموثوقة، وبالتالي تساهم في صحة استنتاجات البحث.
نتائج
في هذا القسم، يقدم المؤلفون نتائج تطويرهم وتقييمهم لـ GOFlowLLM، وهي أداة مصممة لتعليق مصطلحات علم الجينات (GO). تضمنت المرحلة الأولية استخدام عينة محدودة من خمس أوراق مفتوحة الوصول بسبب ندرة الأدبيات المنسقة. أظهرت التقييمات البشرية أنه بينما أنتج GOFlowLLM تعليقات صحيحة، لم تتماشى هذه دائمًا مع التعليقات الموجودة. تم تتبع هذه الفجوة إلى إدخال مصطلح GO جديد، تثبيط الجينات الذي تتوسطه miRNA عن طريق زعزعة استقرار mRNA (GO:0035279)، في أواخر عام 2021، مما دفع إلى مزيد من التحليل لأداء الأداة على مجموعتين متميزتين من المنشورات: تلك التي تم تعليقها قبل عام 2021 (تاريخية) وتلك التي تم تعليقها بعد (حديثة).
ركز التقييم على مقياسين رئيسيين: دقة الاستنساخ، التي تقيم قدرة الأداة على تكرار التعليقات الموجودة، والصحة، التي تقيس دقة التعليقات كما يحكم عليها المنسقون الخبراء. بعد التقييمات الأولية، تم تطبيق GOFlowLLM على 1,785 ورقة لم يتم تنسيقها سابقًا، مما أسفر عن 2,538 تعليقًا جديدًا. يعرف المؤلفون الدقة بأنها تطابق دقيق مع مصطلح GO النهائي المعين بواسطة GOFlowLLM، موضحين أنه بينما يسمح الطابع الهرمي لـ GO بمصطلحات أقل تحديدًا أن تكون دقيقة من الناحية الفنية، فإن تركيزهم هو على دقة المطابقة الدقيقة. يتم التأكيد على التمييز بين دقة الاستنساخ والصحة، حيث يتعلق الأول بتكرار التعليقات الموجودة والثاني بتوليد تعليقات دقيقة بناءً على إرشادات التنسيق الحالية.
مناقشة
تسلط قسم المناقشة في ورقة البحث الضوء على فعالية أداة GOFlowLLM في التنسيق الحيوي، خاصة لتعليقات Gene Ontology (GO) الخاصة بـ RNA غير المشفر (ncRNA). نجحت الأداة في إعادة إنتاج التعليقات الموجودة في 81% من المقالات الحديثة وأظهرت القدرة على تحديث التعليقات القديمة من الأوراق التاريخية، محققة معدلات صحة عالية على الرغم من انخفاض دقة الاستنساخ بسبب التغييرات في إرشادات التنسيق. أكدت التقييمات اليدوية أن GOFlowLLM يمكن أن تعزز دقة التعليقات، مما يتماشى مع المعايير الحالية، وحددت 2,538 تعليقًا جديدًا عبر 1,785 ورقة لم يتم تنسيقها سابقًا.
يتم وضع دمج نماذج اللغة الكبيرة (LLMs) في سير العمل التنسيقي كاستراتيجية واعدة لمعالجة الزيادة في حجم الأدبيات في أبحاث ncRNA. يتميز GOFlowLLM بآثار تفكير شفافة، مما يسهل مراجعة المنسقين والتحقق، وبالتالي معالجة تحدٍ كبير في اعتماد الذكاء الاصطناعي للتنسيق العلمي. يؤكد المؤلفون على إمكانية تحسينات مستقبلية، بما في ذلك توسيع استقلالية الأداة ودمج قواعد المعرفة الخارجية، مما قد يحسن دقة التنسيق بشكل أكبر ويوسع تطبيقها على أنواع RNA غير المشفرة الأخرى والسياقات البيولوجية. بشكل عام، تشير النتائج إلى أن التنسيق المدعوم بـ LLM يمكن أن يبسط بشكل كبير عملية التعليق مع الحفاظ على معايير جودة عالية في قواعد البيانات البيولوجية.
القيود
تسلط القيود المفروضة على التنفيذ الحالي لـ GoFlowLLM الضوء على عدة مجالات لتحسينات مستقبلية. بشكل أساسي، يقتصر النهج القائم على المخططات على معالجة RNA واحد في كل مرة، مما يقلل من الإنتاجية للدراسات التي تشمل تفاعلات متعددة بين RNA. بالإضافة إلى ذلك، لا يستوعب النظام تنسيق مجموعات miRNA، التي تتطلب منهجية متميزة بسبب آثارها التنظيمية الجماعية. تقتصر عملية التعليق على مجموعة صغيرة من مصطلحات Gene Ontology (GO) – تحديدًا ثلاث مصطلحات عملية بيولوجية (BP) ومصطلح واحد لوظيفة جزيئية – من حوالي 26,000 متاحة، مما يضمن دقة عالية ولكنه يحد من نطاق التعليق.
علاوة على ذلك، بينما يساعد GoFlowLLM المنسقين بشكل فعال من خلال تحديد أزواج miRNA-mRNA المرشحة والآليات المحتملة، فإن تصميمه مخصص لجوانب معينة من تنسيق GO التي قد لا تعمم بشكل جيد على جميع السياقات، خاصة في السيناريوهات البيولوجية الجديدة. جودة استخراج الأدلة مشيدة بنسبة 93.3%، ومع ذلك، هناك قيود في قدرة النظام على اختيار أجزاء فرعية ذات صلة من كامل الأوراق البحثية، حيث يعتمد حاليًا على أقسام محددة مسبقًا. علاوة على ذلك، يمكن أن تؤدي الاعتماد على واجهة برمجة التطبيقات لتعليقات EuropePMC لرموز الجينات إلى معلومات غير مكتملة، مما يؤدي إلى تحديد أهداف غير صحيحة عندما لا يتم تضمين الرموز في القائمة المقدمة. تؤكد هذه القيود على الحاجة إلى مزيد من التطوير لتعزيز قابلية تطبيق النظام ودقته في سياقات أوسع.
DOI: https://doi.org/10.1093/bioinformatics/btaf683
PMID: https://pubmed.ncbi.nlm.nih.gov/41495476
Publication Date: 2026-01-01
Author(s): Andrew Green et al.
Primary Topic: Biomedical Text Mining and Ontologies
Overview
The exponential increase in non-coding RNA research, evidenced by over 230,000 publications since 2000, has led to a significant knowledge management crisis in molecular biology, particularly concerning the curation of microRNAs (miRNAs). Despite their vital regulatory functions, only 1,400 articles have been manually curated to the Gene Ontology (GO) knowledgebase over the past decade, highlighting a critical bottleneck. To address this issue, the authors introduce GOFlowLLM, an automated curation pipeline utilizing reasoning-enabled Large Language Models (LLMs) to efficiently extract and structure miRNA-mediated gene silencing data. The system demonstrates a 90% accuracy in selecting the correct GO terms and achieves high agreement rates with human curators on reasoning steps (95%) and evidence selection (90%).
When applied to 6,996 previously uncurated articles, GOFlowLLM identified 2,538 new candidate GO annotations across 1,785 articles in just 58 hours, potentially doubling the available miRNA GO curation. A manual review of a subset of these annotations indicated that curators agreed with the selected terms in 87% of cases, the model’s reasoning in 92%, and the extracted evidence in 93%. This study illustrates that LLMs can significantly enhance biocuration processes while adhering to high-quality standards by following established reasoning frameworks. GOFlowLLM not only provides transparent justification for annotations but also represents a pioneering step towards automating ncRNA GO annotation, thereby addressing the biocuration bottleneck in RNA biology and facilitating the integration of scientific findings into structured knowledge resources.
Introduction
The exponential increase in non-coding RNA (ncRNA) research, with over 230,000 publications since 2000, has led to a significant knowledge management crisis in molecular biology, particularly in the curation of literature related to microRNAs (miRNAs). Despite the critical role of ncRNAs in gene regulation and biological processes, the existing literature curation efforts, primarily conducted by a small number of biocurators, have resulted in a limited number of annotations in knowledgebases like the Gene Ontology (GO). This gap hampers researchers’ ability to access comprehensive regulatory networks and understand microRNA action mechanisms, as current databases often lack direct links to biological processes.
To address this challenge, the authors propose an automated curation pipeline named GOFlowLLM, which leverages reasoning-enabled Large Language Models (LLMs) to interpret and structure miRNA-protein interaction data from scientific literature. GOFlowLLM follows established GO consortium flowcharts for miRNA-mediated gene silencing, transforming the curation process from manual judgments to algorithmic reasoning paths. Initial evaluations demonstrate that GOFlowLLM achieves high agreement with manual curation, producing thousands of new candidate GO annotations in a fraction of the time previously required. This innovative approach not only enhances the efficiency of literature curation but also promises to improve the accuracy and comprehensiveness of ncRNA annotations across diverse species.
Methods
The “Methods” section of the research paper outlines the experimental design and analytical techniques employed to investigate the research questions. The study utilized a quantitative approach, incorporating statistical analyses to evaluate the data collected from various experiments. Specific methodologies included controlled experiments, where variables were systematically manipulated to observe their effects on the outcomes of interest.
Data collection involved both qualitative and quantitative measures, ensuring a comprehensive understanding of the phenomena under study. The analysis was performed using advanced statistical software, which facilitated the application of appropriate tests to determine the significance of the results. The section emphasizes the rigor of the methods employed, ensuring that the findings are robust and reliable, thereby contributing to the validity of the research conclusions.
Results
In this section, the authors present the results of their development and evaluation of GOFlowLLM, a tool designed for annotating gene ontology (GO) terms. The initial phase involved using a limited sample of five open-access papers due to the scarcity of curated literature. Human evaluations indicated that while GOFlowLLM produced correct annotations, these did not always align with existing annotations. This discrepancy was traced back to the introduction of a new GO term, miRNA-mediated gene silencing by mRNA destabilization (GO:0035279), in late 2021, prompting further analysis of the tool’s performance on two distinct publication sets: those annotated before 2021 (historical) and those annotated after (recent).
The evaluation focused on two key metrics: reproduction accuracy, which assesses the tool’s ability to replicate existing GO annotations, and correctness, which measures the accuracy of annotations as judged by expert curators. Following the initial evaluations, GOFlowLLM was applied to 1,785 previously uncurated papers, resulting in 2,538 new annotations. The authors define accuracy as an exact match to the final GO term assigned by GOFlowLLM, clarifying that while the hierarchical nature of GO allows for less specific terms to be technically accurate, their focus is on exact match accuracy. The distinction between reproduction accuracy and correctness is emphasized, with the former relating to the replication of existing annotations and the latter to the generation of accurate annotations based on current curation guidelines.
Discussion
The discussion section of the research paper highlights the effectiveness of the GOFlowLLM tool in biocuration, particularly for non-coding RNA (ncRNA) Gene Ontology (GO) annotations. The tool successfully reproduced existing GO annotations in 81% of recent articles and demonstrated the ability to update outdated annotations from historical papers, achieving high correctness rates despite lower reproduction accuracy due to changes in curation guidelines. Manual evaluations confirmed that GOFlowLLM can enhance the specificity of annotations, aligning them with current standards, and identified 2,538 novel annotations across 1,785 previously uncurated papers.
The integration of large language models (LLMs) into biocuration workflows is positioned as a promising strategy to address the increasing volume of literature in ncRNA research. GOFlowLLM stands out for its transparent reasoning traces, which facilitate curator review and validation, thus addressing a significant challenge in adopting AI for scientific curation. The authors emphasize the potential for future enhancements, including expanding the tool’s autonomy and integrating external knowledge bases, which could further improve curation accuracy and broaden its application to other non-coding RNAs and biological contexts. Overall, the findings suggest that LLM-assisted curation can significantly streamline the annotation process while maintaining high quality standards in biological databases.
Limitations
The limitations of the current implementation of GoFlowLLM highlight several areas for future enhancement. Primarily, the flowchart-based approach is restricted to processing one RNA at a time, which reduces throughput for studies involving multiple RNA-target interactions. Additionally, the system does not accommodate the curation of miRNA clusters, which require a distinct methodology due to their collective regulatory effects. The annotation process is limited to a small subset of Gene Ontology (GO) terms—specifically three Biological Process (BP) terms and one Molecular Function term—out of approximately 26,000 available, ensuring high accuracy but limiting the breadth of annotation.
Moreover, while GoFlowLLM effectively assists curators by identifying candidate miRNA-mRNA pairs and potential mechanisms, its design is tailored to specific aspects of GO curation that may not generalize well to all contexts, particularly in novel biological scenarios. The quality of evidence extraction is commendable at 93.3%, yet there are limitations in the system’s ability to select relevant substrings from the entirety of research papers, as it currently relies on predetermined sections. Furthermore, the dependency on the EuropePMC annotations API for gene symbols can lead to incomplete information, resulting in incorrect target identification when symbols are not included in the provided list. These limitations underscore the need for further development to enhance the system’s applicability and accuracy in broader contexts.