DOI: https://doi.org/10.1128/spectrum.00564-25
PMID: https://pubmed.ncbi.nlm.nih.gov/41589861
تاريخ النشر: 2026-01-27
المؤلف: Jason D. Wittenbach وآخرون
الموضوع الرئيسي: تحديد البكتيريا واختبار الحساسية
نظرة عامة
تقيّم الدراسة أداء Keynome gAST، وهو نظام تعلم آلي يعتمد على k-mer مصمم لاختبار حساسية المضادات الحيوية الجينومية (AST)، باستخدام مجموعة بيانات تضم 956 عزلة بكتيرية سريرية. وجدت الدراسة أن Keynome gAST حقق توافقًا فئويًا بنسبة 96.9% عند مقارنته بنتائج AST الفينوتيبية التقليدية عبر 7,801 توقعات تتضمن 97 مجموعة من الأنواع والأدوية. أظهر النظام معدلات خطأ منخفضة جدًا، حيث كانت الأخطاء الكبيرة جدًا والأخطاء الكبيرة عند 1.4% و0.8%، على التوالي. عند تحليلها على مستوى الأنواع والأدوية، كان التوافق الفئوي الوسيط أعلى قليلاً عند 97.4%.
علاوة على ذلك، تفوق Keynome gAST على ResFinder، وهو نهج أبسط لتحديد علامات المقاومة، في التمييز بين العينات القابلة وغير القابلة للمقاومة، محققًا دقة ثنائية بنسبة 96.0% مقارنةً بـ 83.5% لـ ResFinder. تم عزو قيود ResFinder إلى حساسيته ونسبته المحدودة، حيث فشل في تحديد علامات المقاومة في 18.0% من العينات المقاومة في الفينوتيب، وحدد بشكل غير صحيح علامات المقاومة في 15.1% من العينات القابلة للمقاومة في الفينوتيب. تؤكد هذه النتائج على مزايا استخدام التعلم الآلي وتحليل الجينوم الكامل من خلال Keynome gAST، مما قد يعزز بشكل كبير دقة AST الجينومي ويسهل التعرف السريع على العلاجات المضادة للبكتيريا الفعالة في البيئات السريرية.
الطرق
في هذا القسم، يصف المؤلفون المنهجية المستخدمة في نظام Keynome gAST، الذي يستخدم نماذج التعلم الآلي للتنبؤ بظواهر اختبار حساسية المضادات الحيوية (AST) لمجموعات الأنواع والأدوية المختلفة. يتم تدريب كل نموذج باستخدام تقنيات التعلم الموجه على بيانات تسلسل الجينوم الكامل (WGS)، مع الاستفادة بشكل خاص من ميزات k-mer لتصنيف النتائج إلى فئات قابلة للمقاومة (S)، متوسطة (I)، أو مقاومة (R). يتم تصنيف النماذج إلى لوحتين: “مؤهلة” و”مرحلة البحث والتطوير”، بناءً على تقييمات الأداء.
استخدمت الدراسة ما مجموعه 70 مجموعة من الأنواع والأدوية في اللوحة المؤهلة و74 في لوحة مرحلة البحث والتطوير. تم ملاحظة قيد كبير وهو حجم مجموعات البيانات التدريبية غير الكافي، حيث احتوت أكثر من 80% من نماذج مرحلة البحث والتطوير على أقل من 500 عينة لتصنيفات المقاومة أو القابلية للمقاومة، مما أثر سلبًا على دقة النموذج ومنع تقدمها إلى اللوحة المؤهلة. يتم تقديم مزيد من التفاصيل حول مجموعات البيانات التدريبية، وهندسة النموذج، والإجراءات في الطرق التكميلية.
النتائج
في هذه الدراسة، تم تضمين ما مجموعه 956 عزلة من مركز UCI الطبي في التحليل، مع معالجة بيانات تسلسل الجينوم الكامل (WGS) باستخدام Keynome gAST. توقع النظام 7,801 نتيجة لاختبار حساسية المضادات الحيوية (AST) عبر 18 نوعًا و23 دواءً، مع تحيز تمثيلي كبير نحو عدد قليل من الأنواع، وخاصة *E. coli*، *S. aureus*، و*K. pneumoniae*، التي شكلت معًا حوالي 65.7% من مجموعة البيانات. أظهرت لوحة Keynome gAST المؤهلة توافقًا فئويًا (CA) بنسبة 96.9%، مع معدلات خطأ كبيرة (ME) وخطأ كبير جدًا (vME) أقل من 2%، وبالتالي تلبية معايير FDA لأنظمة AST الفينوتيبية. بالمقابل، أظهرت لوحة مرحلة البحث والتطوير دقة إجمالية أقل، مع CA بنسبة 88.5% ومعدلات خطأ أعلى.
كشفت مزيد من التحليلات لمجموعات الأنواع والأدوية الفردية أن اللوحة المؤهلة حققت CA وسطيًا بنسبة 97.4% لمجموعات ذات أحجام عينات كافية، بينما كانت لوحة مرحلة البحث والتطوير لديها CA وسطي بنسبة 86.7%. أظهر مقارنة مع نهج علامات المقاومة، ResFinder، أن Keynome gAST تفوق بشكل كبير على ResFinder، محققًا دقة إجمالية بنسبة 96.0% مقارنةً بـ 83.5% لـ ResFinder (P < 0.001). حافظ Keynome gAST على أداء متسق عبر أنواع وفئات أدوية مختلفة، بينما أظهر ResFinder تباينًا عاليًا في الدقة، وغالبًا ما كان يعاني من الحساسية والنوعية بسبب اعتماده على قاعدة بيانات العلامات التي لم تلتقط آليات المقاومة بشكل كافٍ. بشكل عام، أظهر Keynome gAST موثوقية متفوقة في التنبؤ بنتائج AST، خاصة في الحالات المتعارضة حيث لم يتطابق الفينوتيب ووجود العلامة.
المناقشة
في هذه الدراسة، تم تقييم أداء Keynome gAST، وهو نظام اختبار حساسية المضادات الحيوية الجينومي القائم على التعلم الآلي (AST)، باستخدام مجموعة بيانات تمثيلية سريرية تضم أكثر من 900 عزلة بكتيرية وأكثر من 7,000 نتيجة AST حقيقية من مركز طبي واحد. أظهرت لوحة Keynome gAST المؤهلة توافقًا فئويًا عاليًا (CA) يزيد عن 96%، مع معدلات خطأ كبيرة جدًا (vME) وخطأ كبير (ME) بنسبة 1.4% و0.8%، على التوالي. ظل الأداء مرتفعًا باستمرار عبر مجموعات الأنواع والأدوية الفردية، محققًا CA وسطيًا بنسبة 97.4%. بالمقابل، أظهر ResFinder، وهو نهج تقليدي قائم على علامات المقاومة، دقة إجمالية أقل بكثير (83.5%) وعانى من الحساسية والنوعية، وغالبًا ما كان يخطئ في تصنيف العينات القابلة وغير القابلة للمقاومة.
تسلط الدراسة الضوء على مزايا نهج التعلم الآلي مثل Keynome gAST، الذي يمكنه تعلم آليات المقاومة المعقدة من خلال تحليل التفاعلات بين المواقع الجينية، بدلاً من الاعتماد فقط على علامات المقاومة المعروفة. تسمح هذه المرونة بالاكتشاف المحتمل لميزات تنبؤية جديدة لكل مجموعة من الأنواع والأدوية. ومع ذلك، قد يؤدي تكوين مجموعة البيانات، رغم أنه يعكس الحقائق السريرية، إلى إدخال تحيزات نحو الأنواع والفينوتيب الأكثر شيوعًا. تشمل الاتجاهات المستقبلية دمج Keynome gAST مع تعزيز الحمض النووي للميكروبات مباشرة من العينة لتمكين توقعات AST السريعة، مما يحسن من اتخاذ القرارات السريرية. بالإضافة إلى ذلك، يبقى توسيع تمثيل مجموعات الأنواع والأدوية ذات الأهمية السريرية أولوية لتعزيز فائدة النظام في بيئات سريرية متنوعة.
DOI: https://doi.org/10.1128/spectrum.00564-25
PMID: https://pubmed.ncbi.nlm.nih.gov/41589861
Publication Date: 2026-01-27
Author(s): Jason D. Wittenbach et al.
Primary Topic: Bacterial Identification and Susceptibility Testing
Overview
The research evaluates the performance of Keynome gAST, a k-mer based machine learning system designed for genomic antimicrobial susceptibility testing (AST), using a dataset of 956 clinical bacterial isolates. The study found that Keynome gAST achieved a categorical agreement of 96.9% when compared to traditional phenotypic AST results across 7,801 predictions involving 97 species-drug combinations. The system demonstrated very low error rates, with very major and major errors at 1.4% and 0.8%, respectively. When analyzed at the species-drug level, the median categorical agreement was slightly higher at 97.4%.
Furthermore, Keynome gAST outperformed ResFinder, a simpler resistance marker approach, in distinguishing between susceptible and non-susceptible samples, achieving a binary accuracy of 96.0% compared to ResFinder’s 83.5%. The limitations of ResFinder were attributed to its low sensitivity and specificity, as it failed to identify resistance markers in 18.0% of phenotypically resistant samples and incorrectly identified resistance markers in 15.1% of phenotypically susceptible samples. These findings underscore the advantages of employing machine learning and whole-genome profiling through Keynome gAST, which could significantly enhance the accuracy of genomic AST and facilitate the rapid identification of effective antibiotic therapies in clinical settings.
Methods
In this section, the authors describe the methodology employed in the Keynome gAST system, which utilizes machine learning models to predict antimicrobial susceptibility testing (AST) phenotypes for various species-drug combinations. Each model is trained using supervised learning techniques on whole genome sequencing (WGS) data, specifically leveraging k-mer features to classify results into susceptible (S), intermediate (I), or resistant (R) categories. The models are categorized into two panels: “Qualified” and “R&D Stage,” based on performance assessments.
The study utilized a total of 70 species-drug combinations in the Qualified panel and 74 in the R&D Stage panel. A significant limitation noted was the insufficient size of the training datasets, with over 80% of the R&D Stage models containing fewer than 500 samples for resistant or susceptible classifications, which adversely affected model accuracy and precluded their advancement to the Qualified panel. Further details regarding the training datasets, model architecture, and procedures are provided in the Supplementary Methods.
Results
In this study, a total of 956 isolates from the UCI Medical Center were included in the analysis, with whole genome sequencing (WGS) data processed using Keynome gAST. The system predicted 7,801 antimicrobial susceptibility test (AST) results across 18 species and 23 drugs, with a significant representation bias towards a few species, particularly *E. coli*, *S. aureus*, and *K. pneumoniae*, which together accounted for approximately 65.7% of the dataset. The Keynome gAST Qualified panel demonstrated a categorical agreement (CA) of 96.9%, with major error (ME) and very major error (vME) rates below 2%, thus meeting FDA criteria for phenotypic AST systems. In contrast, the R&D Stage panel exhibited lower aggregate accuracy, with a CA of 88.5% and higher error rates.
Further analysis of individual species-drug combinations revealed that the Qualified panel achieved a median CA of 97.4% for combinations with sufficient sample sizes, while the R&D Stage panel had a median CA of 86.7%. A comparison with the resistance marker approach, ResFinder, showed that Keynome gAST significantly outperformed ResFinder, achieving 96.0% aggregate accuracy compared to ResFinder’s 83.5% (P < 0.001). Keynome gAST maintained consistent performance across various species and drug classes, while ResFinder exhibited high variability in accuracy, often struggling with sensitivity and specificity due to its reliance on a marker database that inadequately captured resistance mechanisms. Overall, Keynome gAST demonstrated superior reliability in predicting AST outcomes, particularly in discordant cases where phenotype and marker presence did not align.
Discussion
In this study, the performance of Keynome gAST, a machine learning-based genomic antimicrobial susceptibility testing (AST) system, was evaluated using a clinically representative dataset of over 900 bacterial isolates and more than 7,000 ground truth AST results from a single medical center. The Keynome gAST Qualified panel demonstrated a high categorical agreement (CA) of over 96%, with very major error (vME) and major error (ME) rates of 1.4% and 0.8%, respectively. The performance remained consistently high across individual species-drug combinations, achieving a median CA of 97.4%. In contrast, ResFinder, a traditional resistance marker-based approach, showed significantly lower overall accuracy (83.5%) and struggled with sensitivity and specificity, often misclassifying susceptible and resistant samples.
The study highlights the advantages of machine learning approaches like Keynome gAST, which can learn complex resistance mechanisms by analyzing interactions between genetic loci, rather than relying solely on known resistance markers. This flexibility allows for the potential discovery of predictive features de novo for each species-drug combination. However, the dataset’s composition, while reflective of clinical realities, may introduce biases toward more commonly encountered species and phenotypes. Future directions include integrating Keynome gAST with direct-from-sample pathogen DNA enrichment to enable rapid AST predictions, thereby improving clinical decision-making. Additionally, expanding the representation of clinically significant species-drug combinations remains a priority to enhance the system’s utility in diverse clinical settings.