DOI: https://doi.org/10.1038/s41746-026-02490-z
PMID: https://pubmed.ncbi.nlm.nih.gov/41772044
تاريخ النشر: 2026-03-02
المؤلف: Yasaman Fatapour وآخرون
الموضوع الرئيسي: التعرف على الكلام والتوليف
نظرة عامة
التوثيق السريري الدقيق أمر حاسم لضمان رعاية آمنة وفعالة للمرضى، ويمكن أن تعزز أدوات الذكاء الاصطناعي التي تستخدم التعرف التلقائي على الكلام (ASR) هذه العملية. ومع ذلك، فإن أداء هذه الأدوات يختلف بشكل كبير بين المتحدثين ذوي اللهجات المختلفة، مما يؤدي إلى معدلات أعلى من أخطاء النسخ، خاصة بين المتحدثين غير الناطقين باللغة الإنجليزية. في تحليل مقارن لنماذج Whisper و WhisperX المطبقة على الكلام السريري، وُجد أن المتحدثين غير الناطقين أظهروا معدلات أخطاء مرتفعة بشكل ملحوظ.
لمعالجة هذه التحديات، تم تنفيذ طريقة ما بعد المعالجة باستخدام GPT-4o، والتي استعادة بدقة الفقدان في النسخ. أظهرت هذه الطريقة المتكاملة، التي تُعرف باسم WhisperX-GPT، تقليلاً ملحوظاً في أخطاء النسخ المتعلقة باللهجة، مما يبرز إمكانية دمج ASR مع نماذج اللغة المتقدمة لتحسين دقة التوثيق السريري عبر مجموعات المتحدثين المتنوعة.
مقدمة
تسلط مقدمة ورقة البحث الضوء على التقدم السريع ودمج أنظمة الذكاء الاصطناعي (AI) في الرعاية الصحية، مع التركيز بشكل خاص على تقنية التعرف التلقائي على الكلام (ASR). تعتبر ASR مكوناً محورياً في تحويل اللغة المنطوقة إلى نص منظم، مما يسهل التواصل بين أنظمة الذكاء الاصطناعي والمهنيين في الرعاية الصحية. تهدف هذه التقنيات إلى تحسين تقديم الرعاية، وتبسيط سير العمل، وتحسين نتائج الصحة. ومع ذلك، ظهرت مخاوف بشأن الأداء العادل لنماذج ASR عبر مجموعات المستخدمين المتنوعة، خاصة فيما يتعلق بالتنوع اللغوي مثل اللهجة، والتنغيم، والبنية النحوية.
تشير الورقة إلى أن نماذج ASR غالباً ما تواجه صعوبة في دقة النسخ للمتحدثين غير الناطقين باللغة الإنجليزية، وهو ما يمكن أن يُعزى إلى الاختلافات في النطق، والتركيب، والإيقاع. يتم التأكيد على هذه المشكلة من خلال التنوع المتزايد في القوى العاملة في الرعاية الصحية في الولايات المتحدة، حيث يُشكل العاملون في الرعاية الصحية المولودون في الخارج حوالي 18%، إلى جانب عدد متزايد من غير الناطقين باللغة الإنجليزية في السكان. يؤكد المؤلفون على ضرورة معالجة هذه الفجوات في أداء ASR لضمان التنفيذ العادل لتقنيات الذكاء الاصطناعي داخل نظام الرعاية الصحية.
الطرق
تحدد قسم “الطرق” الأساليب التجريبية والتحليلية المستخدمة في الدراسة. يتناول تصميم التجارب، بما في ذلك اختيار المواد، وتحضير العينات، والبروتوكولات المحددة المتبعة لضمان إمكانية إعادة الإنتاج. تم إجراء تحليلات إحصائية لتقييم دلالة النتائج، باستخدام تقنيات مثل ANOVA وتحليل الانحدار لتفسير البيانات بدقة.
بالإضافة إلى ذلك، يصف القسم النماذج الحسابية المستخدمة لمحاكاة الظواهر قيد التحقيق، بما في ذلك المعلمات والافتراضات التي وجهت عملية النمذجة. تم التحقق من صحة المنهجيات بدقة من خلال التجارب الضابطة وتقنيات التحقق المتبادل، مما يضمن موثوقية النتائج. بشكل عام، توفر الطرق المستخدمة إطاراً قوياً لفهم الآليات الأساسية وتساهم في استنتاجات الدراسة العامة.
المناقشة
في هذه الدراسة التجريبية، تم تقييم أداء نماذج التعرف التلقائي على الكلام (ASR)، وبشكل خاص Whisper و WhisperX، في نسخ الصوت السريري من المتحدثين الأصليين وغير الأصليين باللغة الإنجليزية، بما في ذلك أولئك الذين لديهم تدريب طبي وأولئك الذين ليس لديهم. وجدت الدراسة أن كلا النموذجين أظهروا دقة نسخ منخفضة للمتحدثين غير الناطقين، مع إظهار Whisper حساسية أكبر للأخطاء. للتخفيف من هذه الفجوات، تم تطوير خط أنابيب ما بعد المعالجة باستخدام نموذج لغة كبير (LLM)، مما أدى إلى تقليل كبير في أخطاء النسخ. لم يُحسن دمج تصحيح LLM موثوقية النسخ العامة فحسب، بل قلل أيضاً من التباين في الأداء عبر مجموعات المتحدثين المختلفة، مما يبرز أهمية معالجة التحيزات في النسخ في الإعدادات السريرية.
استخدم التحليل مقاييس متعددة، بما في ذلك معدل خطأ الكلمات (WER)، مسافة ليفنشتاين، التعرف على الكيانات المسماة (NER)، و BERTScore، لتقييم أداء النماذج. أشارت النتائج إلى أن WhisperX تفوقت على Whisper، خاصة في نسخ النصوص الطبية الأكثر تعقيداً، والتي كانت مرتبطة بمعدلات أخطاء أعلى. كما أظهرت الدراسة أن تطبيق تصحيح قائم على LLM (WhisperX-GPT) حسّن بشكل كبير دقة النسخ للمتحدثين غير الناطقين، مما ضيق الفجوة في الأداء بشكل فعال. تؤكد هذه النتائج على ضرورة وجود أطر تقييم قوية تأخذ في الاعتبار تنوع المتحدثين وخبرة المجال، فضلاً عن إمكانية LLMs في تعزيز دقة وسلامة التوثيق السريري الذي يتم إنشاؤه بواسطة الذكاء الاصطناعي.
DOI: https://doi.org/10.1038/s41746-026-02490-z
PMID: https://pubmed.ncbi.nlm.nih.gov/41772044
Publication Date: 2026-03-02
Author(s): Yasaman Fatapour et al.
Primary Topic: Speech Recognition and Synthesis
Overview
Accurate clinical documentation is critical for ensuring safe and effective patient care, and AI tools utilizing automatic speech recognition (ASR) can enhance this process. However, the performance of these tools varies significantly across speakers with different accents, resulting in higher transcription error rates, particularly among non-native English speakers. In a comparative analysis of the Whisper and WhisperX models applied to clinical speech, it was found that non-native speakers exhibited significantly elevated error rates.
To address these challenges, a post-processing method employing GPT-4o was implemented, which effectively restored lost accuracy in transcriptions. This integrated approach, referred to as WhisperX-GPT, demonstrated a notable reduction in accent-related transcription errors, highlighting the potential of combining ASR with advanced language models to improve clinical documentation accuracy across diverse speaker populations.
Introduction
The introduction of the research paper highlights the rapid advancement and integration of artificial intelligence (AI) systems in healthcare, particularly focusing on automatic speech recognition (ASR) technology. ASR serves as a pivotal component in converting spoken language into structured text, facilitating communication between AI systems and healthcare professionals. These technologies aim to enhance care delivery, streamline workflows, and improve health outcomes. However, concerns regarding the equitable performance of ASR models across diverse user populations have emerged, particularly in relation to linguistic variations such as accent, intonation, and grammatical structure.
The paper notes that ASR models often struggle with transcription accuracy for non-native English speakers, which can be attributed to differences in pronunciation, syntax, and prosody. This issue is underscored by the increasing diversity of the healthcare workforce in the United States, with approximately 18% of healthcare workers being foreign-born, alongside a growing number of non-English speakers in the population. The authors emphasize the necessity of addressing these disparities in ASR performance to ensure the equitable implementation of AI technologies within the healthcare system.
Methods
The “Methods” section outlines the experimental and analytical approaches employed in the study. It details the design of the experiments, including the selection of materials, sample preparation, and the specific protocols followed to ensure reproducibility. Statistical analyses were conducted to evaluate the significance of the results, employing techniques such as ANOVA and regression analysis to interpret the data accurately.
Additionally, the section describes the computational models used to simulate the phenomena under investigation, including the parameters and assumptions that guided the modeling process. The methodologies were rigorously validated through control experiments and cross-validation techniques, ensuring the reliability of the findings. Overall, the methods employed provide a robust framework for understanding the underlying mechanisms and contribute to the study’s overall conclusions.
Discussion
In this pilot study, the performance of Automatic Speech Recognition (ASR) models, specifically Whisper and WhisperX, was evaluated in transcribing clinical audio from both native and non-native English speakers, including those with and without medical training. The study found that both models exhibited reduced transcription accuracy for non-native speakers, with Whisper showing greater susceptibility to errors. To mitigate these disparities, a post-processing pipeline utilizing a large language model (LLM) was developed, resulting in significant reductions in transcription errors. The integration of LLM correction not only improved overall transcription reliability but also minimized the variability in performance across different speaker groups, highlighting the importance of addressing transcription biases in clinical settings.
The analysis employed multiple metrics, including Word Error Rate (WER), Levenshtein distance, Named Entity Recognition (NER), and BERTScore, to assess the models’ performance. Results indicated that WhisperX outperformed Whisper, particularly in transcribing more complex medical texts, which were associated with higher error rates. The study also demonstrated that the application of LLM-based correction (WhisperX-GPT) significantly improved transcription accuracy for non-native speakers, effectively narrowing the performance gap. These findings underscore the necessity for robust evaluation frameworks that account for speaker diversity and domain expertise, as well as the potential for LLMs to enhance the accuracy and safety of AI-generated clinical documentation.