DOI: https://doi.org/10.1371/journal.pone.0331464
PMID: https://pubmed.ncbi.nlm.nih.gov/40966234
تاريخ النشر: 2025-09-18
المؤلف: Zhenyun Du وآخرون
الموضوع الرئيسي: تنقيب النصوص الطبية والأنطولوجيات
نظرة عامة
في مجال الرعاية الصحية المعتمدة على الإنترنت، تعقد تعقيدات المصطلحات الطبية ونقص تدريب المرضى التعرف على الكيانات المسماة (NER) في حوارات الأطباء والمرضى. تقدم هذه الدراسة نموذج Flat-Lattice-CNN، الذي يدمج الشبكات العصبية التلافيفية (CNNs) مع معدلات تمدد متفاوتة على بنية Flat-Lattice. يلتقط هذا النموذج بفعالية كل من المعلومات الدلالية والبيانات الموضعية للشخصيات والكلمات، بينما يعالج أيضًا العلاقات المتزامنة بين الكيانات الطبية متعددة الكلمات، مما يعزز دقة التعرف.
تشير النتائج التجريبية إلى أن نموذج Flat-Lattice-CNN يحسن بشكل كبير أداء NER عبر جميع مجموعات البيانات التقييمية، محققًا زيادة ملحوظة بنسبة 2.3% في درجة F1 على مجموعة بيانات CTDD. تؤكد النتائج قدرة النموذج على مواجهة التحديات المرتبطة بأنماط التركيب الطويلة والمعقدة في الكيانات الطبية المسماة. تشمل المساهمات الرئيسية لهذا البحث معالجة القضية غير المستكشفة بشكل كافٍ المتعلقة بـ NER الطويل، وإظهار فعالية CNNs في نمذجة الاعتماديات متعددة الكلمات، واقتراح أن CNNs يمكن أن تكمل آليات الانتباه في التقاط الميزات السياقية. ستركز الأبحاث المستقبلية على الاستفادة من نماذج اللغة الكبيرة (LLMs) لتعزيز كفاءة NER الطويل، مع الاعتراف بالقيود الحالية لـ LLMs في مهام معالجة اللغة الطبيعية الطبية المحددة.
مقدمة
تناقش مقدمة هذه الورقة البحثية أهمية التعرف على الكيانات المسماة (NER) في معالجة اللغة الطبيعية (NLP)، وخاصة في المجال الطبي. يعد NER ضروريًا لاستخراج كيانات محددة من البيانات الطبية غير المنظمة، مما يدعم التقدم في البحث الطبي وتنفيذ أنظمة الرعاية الصحية الذكية. تسلط الورقة الضوء على التحديات التي تواجه التعرف على الكيانات الطبية الطويلة ومتعددة الكلمات في الحوارات الصحية عبر الإنترنت، حيث يصف المرضى غالبًا حالاتهم باستخدام تعبيرات طويلة. أظهرت طرق NER الحالية، مثل BiLSTM-CRF وBert-CRF، فعاليتها ولكنها محدودة عند تطبيقها على نصوص الرعاية الصحية الصينية عبر الإنترنت بسبب تركيزها على الكيانات الأقصر والهياكل التركيبية الإنجليزية.
لمعالجة هذه القيود، يقترح المؤلفون نموذجًا جديدًا يسمى Flat-Lattice-CNN، الذي يدمج بنية Flat-Lattice مع شبكة تلافيفية متعددة التمدد. يهدف هذا النموذج إلى التقاط علاقات الاعتماد البعيد وميزات التزامن متعددة الرموز داخل الكيانات الطبية المسماة، مما يحسن دقة التعرف. تؤكد الورقة على الحاجة إلى مراعاة كل من الاعتماديات الزوجية والاعتماديات المتزامنة في مهام NER، مقترحة أن CNNs يمكن أن تكمل آليات الانتباه في تعلم الميزات السياقية. توضح الأقسام اللاحقة من الورقة الأعمال ذات الصلة، النموذج المقترح، النتائج التجريبية، المناقشات، والاستنتاجات.
الطرق
في هذا القسم، يوضح المؤلفون المنهجية التجريبية المستخدمة للتحقق من نموذجهم المقترح لمهام التعرف على الكيانات المسماة الصينية (NER)، باستخدام مجموعتين من البيانات العامة: IMCS-2021 وCTDD. تركز مجموعة بيانات IMCS-2021 على الحوارات الخاصة بالأطفال وتحتوي على خمسة أنواع من الكيانات، بينما تتعلق مجموعة بيانات CTDD بأمراض النساء والتوليد، وتشمل ستة أنواع من الكيانات وتتميز بطول متوسط أعلى للكيانات. بشكل محدد، يبلغ متوسط طول الكيان في CTDD 4.33، مقارنة بـ 2.62 في IMCS-2021، مما يشير إلى انتشار أكبر للكيانات الطويلة في الأولى. تم تقسيم مجموعات البيانات إلى مجموعات تدريب، والتحقق، والاختبار، مع تحديد أحجام عينات محددة لكل منها.
أجرى المؤلفون تجارب مقارنة باستخدام عدة نماذج تحكم، بما في ذلك BiLSTM-CRF وLattice-LSTM وموديلات CRF المختلفة، لتقييم أداء نموذجهم المقترح. تشير النتائج إلى تحسين عام في الأداء، خاصة على مجموعات البيانات ذات الكيانات الطويلة، حيث حقق النموذج المقترح زيادة في درجة F1 بنسبة 2%. بشكل ملحوظ، عند العصر 15، وصلت درجة F1 لمجموعة بيانات CTDD إلى 0.52، بينما سجل نموذج FLAT-Lattice-Transformer 0.48. يبدو أن بنية النموذج المقترح، التي تتضمن طبقات تلافيفية لالتقاط الاعتماديات المتزامنة متعددة الرموز، تعزز سرعة التقاط المعلومات، كما يتضح من النتائج المقدمة في الجداول والأشكال المرفقة.
المناقشة
تسلط قسم المناقشة في الورقة الضوء على تطور التعرف على الكيانات المسماة (NER) في المجال الطبي، مشددًا على الحاجة إلى أساليب متخصصة بسبب الخصائص اللغوية الفريدة للنصوص الطبية. يشير المؤلفون إلى أنه بينما ركزت الدراسات السابقة بشكل أساسي على تعلم تمثيل المدخلات، فإن نموذج Flat-Lattice-CNN المقترح يعالج تحديات الكيانات الطويلة والمتداخلة في الحوارات الطبية الصينية. يدمج هذا النموذج بنية Flat-Lattice مع الشبكات العصبية التلافيفية (CNNs) لالتقاط الاعتماديات المتزامنة متعددة الكلمات بفعالية، والتي تعد ضرورية للتعرف على الكيانات الطبية الطويلة. تشير النتائج إلى أن Flat-Lattice-CNN يتفوق على النماذج الحالية، خاصة في تحديد الكيانات الطويلة، مما يساهم بشكل كبير في مجال NER الطبي.
علاوة على ذلك، يناقش المؤلفون قيود المنهجيات الحالية، وخاصة الاعتماد على آليات الانتباه التي تلتقط بشكل أساسي الاعتماديات الزوجية. يجادلون بأن التلافيف المتمددة توفر تكملة قيمة من خلال نمذجة الاعتماديات متعددة الكلمات، مما يعزز الأداء العام للنموذج. تؤكد النتائج على أهمية معالجة مهام NER الطويلة، التي كانت نسبيًا غير مستكشفة، وتقترح اتجاهات البحث المستقبلية، بما في ذلك دمج نماذج اللغة الكبيرة (LLMs) لتحسين الكفاءة والدقة في مهام معالجة اللغة الطبيعية الطبية المحددة.
DOI: https://doi.org/10.1371/journal.pone.0331464
PMID: https://pubmed.ncbi.nlm.nih.gov/40966234
Publication Date: 2025-09-18
Author(s): Zhenyun Du et al.
Primary Topic: Biomedical Text Mining and Ontologies
Overview
In the realm of internet-based healthcare, the complexity of medical terminology and the lack of patient training complicate named-entity recognition (NER) in doctor-patient dialogues. This study introduces the Flat-Lattice-CNN model, which integrates Convolutional Neural Networks (CNNs) with varying dilation rates on a Flat-Lattice architecture. This model effectively captures both semantic information and positional data of characters and words, while also addressing the co-occurrence relationships among multiword medical entities, thereby enhancing recognition accuracy.
Experimental results indicate that the Flat-Lattice-CNN model significantly improves NER performance across all evaluation datasets, achieving a notable 2.3% increase in F1 score on the CTDD dataset. The findings underscore the model’s capability to tackle the challenges associated with long and complex syntactic patterns in medical-named entities. Key contributions of this research include addressing the underexplored issue of long NER, demonstrating the effectiveness of CNNs in modeling multiword dependencies, and suggesting that CNNs can complement attention mechanisms in capturing contextual features. Future research will focus on leveraging Large Language Models (LLMs) to further enhance long NER efficiency, acknowledging the current limitations of LLMs in domain-specific medical NLP tasks.
Introduction
The introduction of this research paper discusses the significance of Named Entity Recognition (NER) in Natural Language Processing (NLP), particularly in the medical domain. NER is essential for extracting specific entities from unstructured medical data, which supports advancements in medical research and the implementation of smart healthcare systems. The paper highlights the challenges faced in recognizing long and multiword medical entities in online healthcare dialogues, where patients often describe their conditions using lengthy expressions. Existing NER methods, such as BiLSTM-CRF and Bert-CRF, have shown effectiveness but are limited when applied to Chinese online healthcare texts due to their focus on shorter entities and English syntactic structures.
To address these limitations, the authors propose a novel model called Flat-Lattice-CNN, which integrates a Flat-Lattice architecture with a multigranularity dilated-convolution network. This model aims to capture long-distance dependency relationships and multitoken co-occurrence features within medical-named entities, thereby improving recognition accuracy. The paper emphasizes the need to consider both pairwise dependencies and co-occurrence dependencies in NER tasks, suggesting that CNNs can complement attention mechanisms in learning contextual features. The subsequent sections of the paper outline related work, the proposed model, experimental results, discussions, and conclusions.
Methods
In this section, the authors detail the experimental methodology employed to validate their proposed model for Chinese Named Entity Recognition (NER) tasks, utilizing two public datasets: IMCS-2021 and CTDD. The IMCS-2021 dataset focuses on pediatric dialogues and contains five entity types, while the CTDD dataset, which pertains to gynecology and obstetrics, includes six entity types and features a higher average length of entities. Specifically, the average entity length in CTDD is 4.33, compared to 2.62 in IMCS-2021, indicating a greater prevalence of long-named entities in the former. The datasets were divided into training, validation, and test sets, with specific sample sizes outlined for each.
The authors conducted comparative experiments using several control models, including BiLSTM-CRF, Lattice-LSTM, and various CRF-based models, to assess the performance of their proposed model. Results indicate a general improvement in performance, particularly on datasets with long entities, where the proposed model achieved an F1-score increase of 2%. Notably, at epoch 15, the F1-score for the CTDD dataset reached 0.52, while the FLAT-Lattice-Transformer model scored 0.48. The proposed model’s architecture, which incorporates convolutional layers to capture multi-token co-occurrence dependencies, appears to enhance information capture speed, as evidenced by the results presented in the accompanying tables and figures.
Discussion
The discussion section of the paper highlights the evolution of Named Entity Recognition (NER) in the medical domain, emphasizing the need for specialized approaches due to the unique linguistic characteristics of medical texts. The authors note that while previous studies have primarily focused on input-representation learning, their proposed Flat-Lattice-CNN model addresses the challenges of long and nested entities in Chinese medical dialogues. This model integrates a Flat-Lattice structure with dilated convolutional neural networks (CNNs) to effectively capture multiword co-occurrence dependencies, which are crucial for recognizing lengthy medical entities. The results indicate that the Flat-Lattice-CNN outperforms existing models, particularly in identifying long entities, thereby contributing significantly to the field of medical NER.
Furthermore, the authors discuss the limitations of current methodologies, particularly the reliance on attention mechanisms that primarily capture pairwise dependencies. They argue that dilated convolutions provide a valuable complement by modeling multiword dependencies, which enhances the model’s overall performance. The findings underscore the importance of addressing long NER tasks, which have been relatively underexplored, and suggest future research directions, including the integration of Large Language Models (LLMs) to further improve efficiency and accuracy in domain-specific medical NLP tasks.