قياس فجوة الاعتمادية في تصنيف أمراض النباتات عبر المجالات: تقييم الفعالية المحدودة لتقنيات التخفيف القياسية تحت التحول من التحكم إلى المجال Quantifying the reliability gap in cross-domain plant disease classification: benchmarking the limited efficacy of standard mitigation techniques under controlled-to-field shift

شارك:
المجلة: Frontiers in Plant Science، المجلد: 17
DOI: https://doi.org/10.3389/fpls.2026.1826962
PMID: https://pubmed.ncbi.nlm.nih.gov/42255292
تاريخ النشر: 2026-05-22
المؤلف: Kun Xiang وآخرون
الموضوع الرئيسي: الزراعة الذكية والذكاء الاصطناعي

نظرة عامة

تستكشف هذه الورقة البحثية فجوة الاعتمادية في نماذج تصنيف أمراض النباتات عند الانتقال من بيئات المختبرات المسيطر عليها إلى بيئات الحقل المتنوعة. تقوم الدراسة بتقييم منهجيات التخفيف المختلفة بشكل منهجي، بما في ذلك معايرة الثقة والتنبؤ الانتقائي، على نماذج تم تدريبها باستخدام بيانات PlantVillage وتم تقييمها مقابل صور أوراق PlantDoc. تكشف النتائج الرئيسية عن انخفاض كبير في الدقة بمقدار 67.7 نقطة مئوية في نموذج ResNet-50 المعدل خلال النقل عبر المجالات، على الرغم من متوسط الثقة المتوقعة البالغ 79.76%. قدمت تقنيات مثل تعديل درجة الحرارة وتعديلات الوعي بالهدف تحسينات محدودة، بينما أثرت طرق التكيف العدائية سلبًا على الأداء.

تسلط التحليل الضوء على اختلافات كبيرة في توزيع الصور بين المجالين، كما يتضح من المقاييس الكمية وتصوير Grad-CAM، مما يشير إلى تحول في تركيز النموذج من الميزات ذات الصلة إلى عناصر الخلفية. تقارن الدراسة أيضًا بين عدة هياكل أساسية، محددة DINOv2-S/14 كالأكثر فعالية في تقليل فجوة الاعتمادية. أظهرت طرق التجميع تحسينات في المعايرة لكنها كشفت عن نتائج مختلطة في إدارة عدم اليقين. بشكل عام، تؤكد النتائج أن دقة المعيار وحدها غير كافية لتقييم نماذج التشخيص الزراعي، مما يبرز الحاجة إلى استراتيجيات تكيف مجالية أكثر قوة وبروتوكولات تقييم شاملة في الأبحاث المستقبلية.

مقدمة

تسلط مقدمة الورقة البحثية الضوء على التأثير العالمي الكبير لأمراض المحاصيل، التي تؤدي إلى خسائر سنوية في الإنتاج تتراوح بين 20-40%، مما يهدد الأمن الغذائي ويثقل كاهل المزارعين أصحاب الحيازات الصغيرة اقتصاديًا. تناقش الورقة الدور الواعد للشبكات العصبية التلافيفية العميقة (CNNs) في أتمتة التعرف على الأمراض، محققة دقة تتجاوز 95% على مجموعات بيانات معيارية مثل PlantVillage. ومع ذلك، تؤكد على فجوة حرجة بين هذه الأداءات المعيارية وموثوقية النماذج في البيئات الزراعية الواقعية، حيث تختلف الظروف بشكل ملحوظ عن البيئات المسيطر عليها. تؤدي هذه الفجوة، المعروفة باسم تحول المجال، إلى انخفاضات كبيرة في الدقة عندما يتم تطبيق النماذج المدربة على مجموعات بيانات مسيطر عليها على بيانات الحقل، حيث تشير الدراسات السابقة إلى انخفاضات في الدقة تتراوح بين 20 إلى 50 نقطة مئوية.

يجادل المؤلفون بأنه بخلاف الدقة البسيطة، فإن معايرة درجات ثقة النموذج أمر حاسم، حيث قد توفر النماذج غير المعايرة ثقة مضللة عالية في التشخيصات غير الصحيحة، مما قد يؤدي إلى قرارات زراعية ضارة. يقترحون آليتين لتعزيز موثوقية النموذج: معايرة الثقة من خلال تعديل درجة الحرارة والتنبؤ الانتقائي، الذي يسمح للنماذج بالامتناع عن إجراء التنبؤات عندما تكون الثقة منخفضة. تهدف الورقة إلى وصف فجوة الاعتمادية في مصنفي أمراض النباتات عند الانتقال من الظروف المسيطر عليها إلى ظروف الحقل بشكل دقيق، وتقييم فعالية تقنيات التخفيف القياسية، واستكشاف آثار هيكل العمود الفقري واختلافات توزيع الصور على أداء النموذج. تشمل مساهمات الدراسة تحليلًا كميًا لفجوة الاعتمادية، وتقييمًا لاختلافات الإحصائيات البصرية بين مجموعات البيانات، وتقييمًا لمختلف استراتيجيات التكيف وطرق التجميع.

النتائج

تم تنظيم نتائج الدراسة في ستة وحدات متميزة تقيم بشكل جماعي مخاطر النشر المرتبطة بمصنفات المجال المسيطر في الظروف الواقعية. تسلط الوحدة 1 الضوء على فجوة موثوقية كبيرة في دراسة الحالة الرئيسية التي تستخدم نموذج ResNet-50 المعدل، مع تحديد مشكلات مثل انهيار الدقة، وسوء المعايرة، وفشل التنبؤ الانتقائي، والتحديات المتعلقة بالرفض المفتوح.

تتعمق الوحدة 2 في الأسباب وراء شدة هذه الفجوة، مستخدمة إحصائيات التحول الكمية وتحليل انتباه Grad-CAM لتقديم رؤى. في الوحدة 3، يتم تقييم فعالية التخفيفات البسيطة الواعية بالهدف، بينما تبحث الوحدة 4 في ما إذا كانت التمثيلات المحسنة يمكن أن تساعد في تقليل الفجوة المحددة. تقيم الوحدة 5 أداء قواعد التجميع، وأخيرًا، تلخص الوحدة 6 النتائج عبر الطرق المختلفة المستخدمة، مقدمة نظرة شاملة على النتائج.

المناقشة

في هذه الدراسة، تم استخدام مجموعتين متميزتين من صور أمراض الأوراق، PlantVillage وPlantDoc، لاستكشاف تحديات التصنيف عبر المجالات في علم أمراض النباتات. كانت PlantVillage، التي تتميز بتجانس بصري عالٍ وانخفاض في التباين داخل الفئات، هي المجال المصدر، بينما تمثل PlantDoc، التي تحتوي على صور بتباين كبير في الخلفية والظروف، المجال المستهدف. أدت عملية محاذاة الفئات بعناية إلى 21 فئة مرض مشتركة، مما يضمن وجود مفردات موحدة للمقارنة. تم تقسيم المجموعات بدقة لمنع تسرب المعلومات، مع استخدام أخذ عينات مصنفة لإنشاء مجموعات التدريب والتحقق والاختبار، مما يحافظ على نزاهة تجريبية صارمة.

كان النموذج الأساسي المستخدم هو ResNet-50 المعدل، الذي خضع لتعديل درجة الحرارة لمعالجة الثقة المفرطة في التنبؤات، خاصة تحت تحولات المجال. كشفت الدراسة عن فجوة موثوقية كبيرة، كما يتضح من انخفاض حاد في الدقة من 99.73% على PlantVillage إلى 32.05% على PlantDoc، على الرغم من مستويات الثقة العالية. أسفرت جهود المعايرة، بما في ذلك تعديل درجة الحرارة بعد الحدث، عن تحسينات متواضعة في خطأ المعايرة المتوقع (ECE) لكنها لم تسد فجوة الاعتمادية بشكل كافٍ، كما يتضح من قيم ECE المتبقية التي تزيد عن 0.36. أبرزت مقاييس التقييم صراعات النموذج مع التنبؤ الانتقائي والرفض المفتوح، مما يبرز الحاجة إلى استراتيجيات محسنة لتعزيز موثوقية النموذج في التطبيقات الواقعية.

القيود

تتعدد قيود هذه الدراسة، حيث تتركز بشكل أساسي حول نطاق التقييم المحدود، والقيود المنهجية، والحاجة إلى قابلية تطبيق أوسع. تستند الأبحاث إلى مجموعتين من البيانات – PlantVillage وPlantDoc – تغطيان فقط 21 فئة مرضية في سيناريو مصدر-هدف واحد، مما قد لا يمثل بشكل كافٍ الظروف المتنوعة التي تواجهها الزراعة العالمية. لا تأخذ التركيز على تصنيف الأوراق في الاعتبار الأخطاء المحتملة الناجمة عن التحديد، أو التقسيم، أو الفوضى في المشهد، ويقترح المؤلفون أن توسيع التقييم ليشمل مجموعات بيانات إضافية وأنظمة تشخيص شاملة من البداية إلى النهاية سيعزز من الصلاحية الخارجية.

منهجياً، تستخدم الدراسة بروتوكول تمثيل مجمد مع مجسات خطية عبر خمسة هياكل، والتي، على الرغم من عزل جودة التمثيل، لا تصف بشكل كامل موثوقية النماذج المعدلة. تحد القيود المفروضة على مجموعة ResNet-50 المعدلة ومجموعة DINOv2، التي تشارك نقاط التفتيش، من تنوع مساحة الوزن. بالإضافة إلى ذلك، تقتصر تقنيات التكيف المختبرة على طرق محاذاة المجال الخفيفة، مما يترك الأساليب الأكثر تعقيدًا غير مستكشفة. يؤكد المؤلفون أن نتائجهم يجب أن تُعتبر دراسة أساسية تبرز الفجوة في الأداء بدلاً من استكشاف شامل للحلول المحتملة. كما يشيرون إلى أهمية مراعاة العوامل الواقعية مثل التغيرات الموسمية وتفاعل المستخدم مع درجات الثقة المعايرة، داعين إلى تجارب ميدانية لتقييم الآثار العملية لتقدمهم الفني.

Journal: Frontiers in Plant Science, Volume: 17
DOI: https://doi.org/10.3389/fpls.2026.1826962
PMID: https://pubmed.ncbi.nlm.nih.gov/42255292
Publication Date: 2026-05-22
Author(s): Kun Xiang et al.
Primary Topic: Smart Agriculture and AI

Overview

This research paper investigates the reliability gap in plant disease classification models when transitioning from controlled laboratory settings to heterogeneous field environments. The study systematically benchmarks various mitigation techniques, including confidence calibration and selective prediction, on models trained with PlantVillage data and evaluated against PlantDoc leaf images. Key findings reveal a significant accuracy drop of 67.7 percentage points in a fine-tuned ResNet-50 model during cross-domain transfer, despite a mean predicted confidence of 79.76%. Techniques such as temperature scaling and target-aware adaptations provided limited improvements, while adversarial adaptation methods negatively impacted performance.

The analysis highlights substantial visual distribution differences between the two domains, as evidenced by quantitative metrics and Grad-CAM visualizations, which indicate a shift in model focus from relevant features to background elements. The study also compares multiple backbone architectures, identifying DINOv2-S/14 as the most effective in reducing the reliability gap. Ensemble methods demonstrated improved calibration but revealed mixed results in uncertainty management. Overall, the findings underscore that benchmark accuracy alone is insufficient for evaluating agricultural diagnostic models, emphasizing the need for more robust domain adaptation strategies and comprehensive evaluation protocols in future research.

Introduction

The introduction of the research paper highlights the significant global impact of crop diseases, which result in annual yield losses of 20-40%, thereby threatening food security and economically burdening smallholder farmers. The paper discusses the promising role of deep convolutional neural networks (CNNs) in automating disease recognition, achieving accuracies exceeding 95% on benchmark datasets like PlantVillage. However, it emphasizes a critical gap between these benchmark performances and the reliability of models in real-world agricultural settings, where conditions differ markedly from controlled environments. This discrepancy, known as domain shift, leads to substantial accuracy drops when models trained on controlled datasets are applied to field data, with prior studies indicating accuracy declines of 20 to 50 percentage points.

The authors argue that beyond mere accuracy, the calibration of model confidence scores is crucial, as miscalibrated models may provide misleadingly high confidence in incorrect diagnoses, potentially resulting in harmful agricultural decisions. They propose two mechanisms to enhance model reliability: confidence calibration through temperature scaling and selective prediction, which allows models to abstain from making predictions when confidence is low. The paper aims to rigorously characterize the reliability gap in plant disease classifiers when transitioning from controlled to field conditions, benchmark the effectiveness of standard mitigation techniques, and explore the implications of backbone architecture and visual distribution differences on model performance. The study’s contributions include a quantitative analysis of the reliability gap, an evaluation of visual statistics differences between datasets, and an assessment of various adaptation strategies and ensemble methods.

Results

The results of the study are structured into six distinct modules that collectively assess the deployment risk associated with controlled-domain classifiers in real-world conditions. Module 1 highlights a significant reliability gap in the primary case study utilizing a fine-tuned ResNet-50, identifying issues such as accuracy collapse, miscalibration, selective prediction failure, and challenges with open-set rejection.

Module 2 delves into the reasons behind the severity of this gap, employing quantitative shift statistics and Grad-CAM attention analysis to provide insights. In Module 3, the effectiveness of simple target-aware mitigations is benchmarked, while Module 4 investigates whether enhanced representations can help reduce the identified gap. Module 5 assesses the performance of ensemble baselines, and finally, Module 6 synthesizes findings across the various methods employed, offering a comprehensive overview of the results.

Discussion

In this study, two distinct leaf disease image datasets, PlantVillage and PlantDoc, were utilized to investigate the challenges of cross-domain classification in plant pathology. PlantVillage, characterized by high visual uniformity and low intra-class variability, served as the source domain, while PlantDoc, which features images with significant variability in background and conditions, represented the target domain. A careful category alignment process resulted in 21 shared disease categories, ensuring a unified vocabulary for comparison. The datasets were meticulously partitioned to prevent information leakage, with stratified sampling used to create training, validation, and test sets, thereby maintaining rigorous experimental integrity.

The primary model employed was a fine-tuned ResNet-50, which underwent temperature scaling to address overconfidence in predictions, particularly under domain shifts. The study revealed a significant reliability gap, evidenced by a drastic drop in accuracy from 99.73% on PlantVillage to 32.05% on PlantDoc, despite high confidence levels. Calibration efforts, including post-hoc temperature scaling, yielded modest improvements in expected calibration error (ECE) but did not sufficiently bridge the reliability gap, as indicated by residual ECE values above 0.36. The evaluation metrics highlighted the model’s struggles with selective prediction and open-set rejection, underscoring the need for improved strategies to enhance model reliability in real-world applications.

Limitations

The limitations of this study are multifaceted, primarily centered around the restricted evaluation scope, methodological constraints, and the need for broader applicability. The research is based on two datasets—PlantVillage and PlantDoc—covering only 21 disease categories in a single source-target scenario, which may not adequately represent the diverse conditions encountered in global agriculture. The focus on leaf-level classification does not account for potential errors arising from localization, segmentation, or scene clutter, and the authors suggest that expanding the evaluation to include additional datasets and end-to-end diagnostic pipelines would enhance external validity.

Methodologically, the study employs a frozen-representation protocol with linear probes across five architectures, which, while isolating representation quality, does not fully characterize the reliability of fine-tuned models. The limitations of the warm-start ResNet-50 ensemble and the DINOv2 ensemble, which share checkpoints, further restrict weight-space diversity. Additionally, the adaptation techniques tested are limited to lightweight domain-alignment methods, leaving more sophisticated approaches unexplored. The authors emphasize that their findings should be viewed as a baseline study highlighting the gap in performance rather than a comprehensive exploration of potential solutions. They also note the importance of considering real-world factors such as seasonal variation and user interaction with calibrated confidence scores, advocating for field trials to assess the practical implications of their technical advancements.