DOI: https://doi.org/10.3390/fi18030174
تاريخ النشر: 2026-03-23
المؤلف: Cristian Cosentino وآخرون
الموضوع الرئيسي: التقنيات التي تحافظ على الخصوصية في البيانات
نظرة عامة
يتناول هذا القسم من ورقة البحث التحديات والمنهجيات المرتبطة بالتعلم الآلي غير (MU) في سياق التعلم الخاضع للإشراف، وخاصة في معالجة اللغة الطبيعية (NLP). يبرز المخاطر التي تواجه نماذج التعلم الآلي في حفظ المعلومات الحساسة، مما يمكن أن يؤدي إلى مشكلات مثل تسرب المعلومات وانتهاكات الخصوصية، خاصةً تحت تنظيمات مثل اللائحة العامة لحماية البيانات (GDPR) التي تفرض حق النسيان. يقدم المؤلفون مراجعة منهجية تستند إلى إطار عمل PRISMA، مقترحين تصنيفًا متعدد المستويات يصنف تقنيات MU بناءً على عوامل مثل الدقة، والتفصيل، وقيود التطبيق. كما يقومون بإجراء تقييم مرجعي باستخدام DistilBERT، مقارنةً بين إعادة التدريب من الصفر مع تقنيات MU المختلفة، بما في ذلك التصميم من أجل النسيان والأساليب التقريبية بعد الحدث.
تؤكد الاستنتاجات على نهج شامل للتعلم الآلي غير، مقدمةً تنظيمًا هيكليًا للأدبيات، وإرشادات عملية للاختيار، وإطارًا تجريبيًا قابلاً للتكرار. يكشف التقييم أنه بينما توفر إعادة التدريب من الصفر الأداء الأكثر موثوقية، يمكن أن تكون الأساليب التقريبية بعد الحدث فعالة في الحفاظ على الفائدة والكفاءة، على الرغم من بعض القيود في فعالية النسيان. تؤكد الدراسة على أهمية تحقيق التوازن بين الدقة، وتكلفة الحوسبة، واعتبارات الخصوصية في النشر في العالم الحقيقي. في النهاية، تدعو إلى نهج عملي: يُنصح بإعادة التدريب للحصول على ضمانات قوية، بينما قد تكون الأساليب التقريبية مناسبة للاستجابات السريعة، شريطة وجود معايير قبول واضحة للتحقق من فعاليتها. يهدف التصنيف والإرشادات المقترحة إلى تسهيل تطوير أنظمة النسيان التي تكون عملية ومتوافقة مع القيود التشغيلية.
مقدمة
تتناول مقدمة الورقة التحديات المرتبطة بنماذج التعلم الآلي (ML)، وخاصة الشبكات العصبية العميقة (DNNs)، في الاحتفاظ وإدارة المعلومات المتعلمة من مجموعات بيانات التدريب. تبرز المخاطر التي تطرحها الذاكرة الضمنية للبيانات، بما في ذلك إمكانية تسرب المعلومات الحساسة، وتضخيم تحيز مجموعة البيانات، والضعف أمام الهجمات العدائية. تؤكد المقدمة على عدم كفاية حذف بيانات التدريب ببساطة لضمان الامتثال للتنظيمات مثل اللائحة العامة لحماية البيانات (GDPR)، خاصة فيما يتعلق بحق النسيان. غالبًا ما تكون العلاجات التقليدية، مثل إعادة تدريب النماذج من الصفر، غير عملية بسبب التكاليف الحاسوبية العالية ووقت التوقف عن الخدمة، خاصةً للهياكل المعقدة مثل نماذج اللغة الكبيرة (LLMs).
لمعالجة هذه القضايا، يتم تقديم مفهوم التعلم الآلي غير (MU) كحل قابل للتطبيق لإزالة تأثير بيانات التدريب المحددة بشكل فعال من النماذج المدربة مسبقًا. يهدف MU إلى تحقيق نتائج لا يمكن تمييزها عن تلك الخاصة بنموذج لم يواجه البيانات المحذوفة، وبالتالي دعم ممارسات الذكاء الاصطناعي المسؤولة والمتوافقة مع التنظيمات. تحدد الورقة مشهدًا مجزأ في منهجيات MU، التي تختلف في فعاليتها، ومتطلبات التشغيل، ومعايير التقييم. للتنقل في هذه التعقيدات، يقترح المؤلفون تصنيفًا متعدد المستويات وإطار قرار لطرق MU، يستند إلى دراسة مرجعية قابلة للتكرار باستخدام DistilBERT. يهدف هذا الإطار إلى مساعدة الممارسين في اختيار التقنيات المناسبة بناءً على احتياجاتهم المحددة من حيث الضمان والفعالية في النسيان، مع تقديم رؤى حول التوازن بين الدقة، والخصوصية، والكفاءة الحاسوبية.
الطرق
تستخدم البحث إرشادات PRISMA 2020 للمراجعات المنهجية، إلى جانب PRISMA-S لتقارير شفافة عن استراتيجية البحث. يضمن هذا الإطار المنهجي نهجًا شاملًا ومنهجيًا لتقييم الأدبيات ذات الصلة.
في التحليل المقارن لطرق النسيان، تقارن الدراسة استراتيجيات نسيان مختلفة مع مرجع إعادة التدريب من الصفر، والذي يعمل كنقطة مرجعية لتقييم فعالية هذه الطرق في إزالة البيانات $D_f$. يتم تصنيف النتائج إلى ثلاثة مجالات رئيسية: (i) التوازن بين النسيان والفائدة على مجموعات البيانات train_deleted و train_retained، (ii) الأداء من حيث التعميم والمعايرة على مجموعة البيانات test_full، و (iii) التقييمات التي تركز على الخصوصية، تحديدًا من خلال تدقيقات استدلال العضوية.
المناقشة
تسلط المناقشة حول التعلم الآلي غير (MU) الضوء على التعقيدات المرتبطة بإزالة تأثير بيانات التدريب المحددة من نماذج التعلم الخاضع للإشراف، وخاصة الشبكات العصبية العميقة. تعقد تشابكات المعلومات عبر معلمات النموذج إزالة البيانات بأثر رجعي، حيث إن حذف مجموعة فرعية من مجموعة بيانات التدريب لا يضمن أن النموذج قد “نسي” تلك البيانات. هذه القضية حاسمة في سياقات مثل الامتثال التنظيمي، والتهديدات الأمنية، وصيانة النموذج، مما يتطلب آليات فعالة لإزالة البيانات تحافظ على فائدة النموذج مع إدارة التكاليف الحاسوبية.
تهدف صياغة MU إلى تحديث معلمات النموذج لتقريب سلوك نموذج تم إعادة تدريبه من البيانات المتبقية، $D_{\text{retain}} = D \setminus D_f$. التحدي يكمن في تحقيق التوازن بين ثلاثة أهداف: الكفاءة، والحفاظ على الفائدة، والنسيان الفعال للبيانات المحذوفة. توجد طرق متنوعة، تتراوح من طرق النسيان الدقيقة التي تسعى إلى عدم التمييز عن إعادة التدريب إلى تقنيات تقريبية تعطي الأولوية للكفاءة على الضمانات الصارمة. تكشف الأدبيات عن وجود توازن بين صرامة النسيان والتنفيذ العملي، خاصة في النماذج الكبيرة حيث غالبًا ما تتطلب الكفاءة تخفيف المعادلة مع إعادة التدريب. لا يزال هناك تحدٍ كبير يتمثل في الحاجة إلى معايير مرجعية موحدة ومعايير تقييم قوية، حيث تختلف الممارسات الحالية على نطاق واسع، مما يعقد المقارنات عبر الدراسات ويعيق نشر تقنيات MU في التطبيقات الواقعية.
DOI: https://doi.org/10.3390/fi18030174
Publication Date: 2026-03-23
Author(s): Cristian Cosentino et al.
Primary Topic: Privacy-Preserving Technologies in Data
Overview
This research paper section discusses the challenges and methodologies associated with Machine Unlearning (MU) in the context of supervised learning, particularly within Natural Language Processing (NLP). It highlights the risks of ML models memorizing sensitive information, which can lead to issues such as information leakage and privacy violations, especially under regulations like the GDPR that enforce a Right to be Forgotten. The authors present a systematic review grounded in the PRISMA framework, proposing a multi-level taxonomy that categorizes MU techniques based on factors such as exactness, granularity, and application constraints. They also conduct a benchmark evaluation using DistilBERT, comparing retraining from scratch with various MU techniques, including design-for-unlearning and approximate post hoc methods.
The conclusions emphasize a comprehensive approach to machine unlearning, offering a structured literature organization, practical selection guidelines, and a reproducible experimental framework. The evaluation reveals that while retraining from scratch provides the most reliable performance, approximate post hoc methods can be effective in preserving utility and efficiency, albeit with some limitations in forgetting effectiveness. The study underscores the importance of balancing accuracy, computational cost, and privacy considerations in real-world deployments. Ultimately, it advocates for a pragmatic approach: retraining is advisable for strong guarantees, while approximate methods may be suitable for rapid responses, provided there are clear acceptance criteria for verifying their effectiveness. The proposed taxonomy and guidelines aim to facilitate the development of unlearning systems that are both practical and compliant with operational constraints.
Introduction
The introduction of the paper addresses the challenges associated with Machine Learning (ML) models, particularly Deep Neural Networks (DNNs), in retaining and managing learned information from training datasets. It highlights the risks posed by the implicit memorization of data, including the potential for sensitive information leakage, dataset bias amplification, and vulnerabilities to adversarial attacks. The introduction emphasizes the inadequacy of simply deleting training data to ensure compliance with regulations like the General Data Protection Regulation (GDPR), particularly regarding the Right to be Forgotten. Traditional remedies, such as retraining models from scratch, are often impractical due to high computational costs and service downtime, especially for complex architectures like Large Language Models (LLMs).
To address these issues, the concept of Machine Unlearning (MU) is introduced as a viable solution for effectively removing the influence of specific training data from pre-trained models. MU aims to achieve results indistinguishable from those of a model that has never encountered the deleted data, thus supporting responsible and regulation-compliant AI practices. The paper identifies a fragmented landscape in MU methodologies, which vary in their effectiveness, operational requirements, and evaluation metrics. To navigate this complexity, the authors propose a multi-level taxonomy and decision framework for MU methods, grounded in a reproducible benchmark study using DistilBERT. This framework aims to assist practitioners in selecting appropriate techniques based on their specific needs for assurance and effectiveness in unlearning, while also providing insights into the trade-offs between accuracy, privacy, and computational efficiency.
Methods
The research employs the PRISMA 2020 guidelines for systematic reviews, alongside PRISMA-S for a transparent reporting of the search strategy. This methodological framework ensures a comprehensive and systematic approach to evaluating the relevant literature.
In the comparative analysis of unlearning methods, the study contrasts various unlearning strategies with a retrain-from-scratch reference, which serves as a benchmark for assessing the effectiveness of these methods in removing data $D_f$. The results are categorized into three key areas: (i) the balance between forgetting and utility on the datasets train_deleted and train_retained, (ii) the performance in terms of generalization and calibration on the test_full dataset, and (iii) evaluations focused on privacy, specifically through membership inference audits.
Discussion
The discussion on Machine Unlearning (MU) highlights the complexities involved in removing the influence of specific training data from supervised learning models, particularly deep neural networks. The entanglement of information across model parameters complicates the retroactive removal of data, as simply deleting a subset from the training dataset does not guarantee that the model has “forgotten” that data. This issue is critical in contexts such as regulatory compliance, security threats, and model maintenance, necessitating efficient mechanisms for data removal that preserve model utility while managing computational costs.
The formulation of MU aims to update model parameters to approximate the behavior of a model retrained from the remaining data, $D_{\text{retain}} = D \setminus D_f$. The challenge lies in balancing three objectives: efficiency, utility retention, and effective forgetting of the removed data. Various approaches exist, ranging from exact unlearning methods that strive for indistinguishability from retraining to approximate techniques that prioritize efficiency over strict guarantees. The literature reveals a trade-off between the rigor of forgetting and practical implementation, particularly in large-scale models where efficiency often necessitates relaxing the equivalence to retraining. The need for standardized benchmarks and robust evaluation metrics remains a significant challenge, as current practices vary widely, complicating comparisons across studies and hindering the deployment of MU techniques in real-world applications.