DOI: https://doi.org/10.5753/reviews.2024.3757
تاريخ النشر: 2024-10-24
المؤلف: André Massahiro Shimaoka وآخرون
الموضوع الرئيسي: جودة البيانات وإدارتها
نظرة عامة
تقدم هذه القسم نظرة عامة على مراجعة منهجية للأدبيات (SLR) التي تحقق في تكييف نموذج عملية CRISP-DM في مشاريع علوم البيانات. تحدد المراجعة 16 دراسة تستكشف كيف يمكن تعديل CRISP-DM وتطبيقه باستخدام طرق وأطر ونماذج عملية متنوعة. على الرغم من الزيادة المتزايدة في مبادرات علوم البيانات المدفوعة بنمو البيانات، وتقدم التخزين، وتحسينات الحوسبة، لا يزال هناك تحدٍ كبير: 82% من الفرق لا تستخدم أي نموذج عملية، واعتماد طرق Agile في هذا المجال محدود. تسلط المراجعة الضوء على تطور CRISP-DM من العمليات الصارمة إلى منهجيات أكثر مرونة، مشيرة إلى التعديلات مثل تعديلات المراحل، وإضافة مراحل جديدة، والتكامل مع أساليب أخرى.
تكشف النتائج أنه بينما خضع CRISP-DM لتعديلات متنوعة لتناسب سياقات ومجالات الأعمال المحددة، فإن هدفه الأساسي يبقى دون تغيير. لقد شكلت التأثيرات التاريخية من نماذج مثل KDD و SEMMA، بالإضافة إلى منهجيات Agile المعاصرة مثل Scrum و Design Thinking، هذه التعديلات. تؤكد مراجعة الأدبيات المنهجية (SLR) على توافق مشاريع علوم البيانات مع مبادئ Agile وممارسات هندسة البرمجيات، لكنها تشير أيضًا إلى فجوة كبيرة في البحث بشأن دمج المرونة في علوم البيانات. تختتم الدراسة باقتراح إطار نظري لاستكشاف تكييفات CRISP-DM وتقترح الحاجة إلى بحث تجريبي في البيئات المؤسسية لتقييم فعالية دمج CRISP-DM مع الممارسات المرنة. كما تم الإشارة إلى البروتوكول القياسي لـ SLR لإمكانية تكراره في الدراسات المستقبلية.
مقدمة
تسلط المقدمة الضوء على التوسع السريع في البيانات التي ينشئها المستخدمون وآثاره على علوم البيانات، مدفوعة بالتقدم في التخزين، والوصول، والقدرات الحاسوبية. وفقًا لـ IDC (2020)، من المتوقع أن تزيد البيانات العالمية من 45 زيتابايت في عام 2019 إلى 175 زيتابايت بحلول عام 2025، مما يمثل نموًا كبيرًا بنسبة تقارب 289% على مدى ست سنوات. يتيح هذا الارتفاع في البيانات للمنظمات الاستفادة من علوم البيانات لتحسين اتخاذ القرارات وتطوير المنتجات البيانات عبر مختلف القطاعات، بما في ذلك المالية، والطب، والتسويق. تشير التقدمات التكنولوجية المستمرة وزيادة قبول الجمهور إلى أن مجال علوم البيانات سيستمر في التطور بشكل كبير في السنوات القادمة.
بالإضافة إلى ذلك، تشير المقدمة إلى تزايد شعبية منهجيات Agile منذ أوائل العقد الأول من القرن الحادي والعشرين، لا سيما في تطوير البرمجيات. لقد أظهرت الممارسات المرنة أنها تعزز التواصل، والتعاون، والجودة، وإنتاجية الفريق، ورضا العملاء، والتسليم الناجح للمنتجات ضمن صناعة التكنولوجيا. ستوفر القسم التالي نظرة عامة على العمليات الرئيسية في علوم البيانات، بما في ذلك CRISP-DM، KDD، SEMMA، Scrum، Kanban، و TDSP.
طرق
تناقش هذه القسم دمج منهجيات Agile مع علوم البيانات، مشيرة إلى الزيادة المتزايدة في اعتماد الممارسات المرنة في المنظمات للحصول على فوائد مثل تسريع التسليم، وتحسين الإدارة، وتعزيز الجودة. على الرغم من الشعبية المتزايدة لمشاريع علوم البيانات، إلا أن هناك فجوة كبيرة في ممارسات إدارة المشاريع، حيث تفتقر 82% من الفرق إلى عملية منظمة، مما يؤدي إلى فشل المشاريع أو نتائج غير مثالية. تشير الأدبيات إلى أنه بينما تتماشى علوم البيانات مع مبادئ Agile – التي تؤكد على التغذية الراجعة المستمرة والقدرة على التكيف – إلا أن هناك بحثًا محدودًا حول تطبيق Agile في سياقات علوم البيانات، لا سيما فيما يتعلق بإطار عمل CRISP-DM.
تهدف الدراسة إلى تقييم كيفية تكييف CRISP-DM أو استخدامه جنبًا إلى جنب مع منهجيات أخرى لتسهيل مشاريع علوم البيانات المرنة. تحدد نهج مراجعة الأدبيات المنهجية (SLR) لرسم خريطة لهذه التعديلات وتقييم دمج CRISP-DM مع أطر مثل SCRUM، DMAIC، وهياكل البيانات الكبيرة. من الجدير بالذكر أن دمج SCRUM مع CRISP-DM (SCRUM-DS) يتضمن أحداث وأدوار Agile، بينما يدمج QM-CRISP-DM أدوات إدارة الجودة مع مراحل CRISP-DM. تشير النتائج إلى أن هذه التكاملات تعزز من وظيفة CRISP-DM، مما يجعلها أكثر ملاءمة للبيئات المرنة من خلال السماح بعمليات تكرارية وأنشطة استكشافية تتماشى مع الطبيعة الديناميكية لمشاريع علوم البيانات.
نتائج
تكشف نتائج مراجعة الأدبيات المنهجية (SLR) التي أجريت في مارس 2023 عن نهج منظم لتحديد الدراسات ذات الصلة حول تكييفات إطار عمل CRISP-DM. في البداية، أسفر البحث الآلي في قاعدة البيانات عن 207 دراسات، والتي تم تضييقها لاحقًا من خلال تقييم مسبق للعناوين والملخصات، مما أسفر عن 37 دراسة. أدى التقييم الشامل لهذه الدراسات إلى قبول 15 منها، والتي تم التحقق منها لاحقًا من خلال عملية التراكم التي حددت دراستين إضافيتين، مما أدى إلى إجمالي 17 دراسة مختارة.
خضعت جميع الدراسات المقبولة لتقييم الجودة، حيث حصلت كل منها على درجة 4.5 أو أعلى في قائمة مراجعة من 8 أسئلة. أبرز التحليل أن العديد من تكييفات CRISP-DM كانت مصممة لتناسب سياقات محددة، بينما حافظت أخرى على نهج أكثر عمومية. من الجدير بالذكر أن ثمانية نماذج عدلت خطوات قائمة، بينما قدمت ستة خطوات جديدة، مما يعكس تطورًا ديناميكيًا لإطار عمل CRISP-DM. تم تفصيل النتائج، بما في ذلك تحليل مقارن للتعديلات، في جداول مرفقة، مما يبرز دمج عناصر من منهجيات مثل Agile، والتفكير التصميمي، وبدء التشغيل الرشيق في عملية CRISP-DM.
مناقشة
تتناول قسم المناقشة في ورقة البحث أهمية إطار عمل CRISP-DM (العملية القياسية عبر الصناعات للتنقيب عن البيانات) في علوم البيانات، مشددة على دوره في هيكلة مشاريع التنقيب عن البيانات عبر مختلف الصناعات. يُعترف بـ CRISP-DM لدورته الشاملة، التي تشمل ست مراحل: فهم الأعمال، وفهم البيانات، وإعداد البيانات، والنمذجة، والتقييم، والنشر. تم تصميم كل مرحلة لتسهيل التواصل الفعال بين أصحاب المصلحة وتبسيط إدارة المشاريع، على الرغم من أنها لا تلتزم بدقة بتقدم خطي، مما يسمح بعمليات تكرارية. لقد أدت قابلية تكيف الإطار إلى تطوره ودمجه مع منهجيات أخرى، مثل KDD (اكتشاف المعرفة في قواعد البيانات) و SEMMA (العينة، الاستكشاف، التعديل، النمذجة، التقييم)، التي تركز على جوانب مختلفة من معالجة البيانات وتحليلها.
تتناول الورقة أيضًا مقارنة CRISP-DM مع منهجيات أخرى مثل Scrum و Kanban، مشددة على أغراضها وأساليبها المميزة. بينما يعد Scrum إطارًا مرنًا يهدف إلى التطوير التكراري، يوفر CRISP-DM نموذجًا منظمًا يمكن تكييفه مع سياقات متنوعة دون أن يكون مرنًا بطبيعته. بالإضافة إلى ذلك، يتم مناقشة عملية فريق علوم البيانات (TDSP) كإطار أكثر توجيهًا نحو المرونة تم تطويره بواسطة Microsoft، والذي يشترك في أوجه التشابه مع CRISP-DM ولكنه يركز على قبول العملاء والقدرة على التكيف التكراري. تهدف منهجية مراجعة الأدبيات المنهجية (SLR) المستخدمة في البحث إلى تحديد تكييفات CRISP-DM في مشاريع علوم البيانات، وبالتالي المساهمة في فهم كيفية تخصيص هذا النموذج الأساسي لتلبية احتياجات المشاريع المحددة مع الحفاظ على مبادئه الأساسية.
DOI: https://doi.org/10.5753/reviews.2024.3757
Publication Date: 2024-10-24
Author(s): André Massahiro Shimaoka et al.
Primary Topic: Data Quality and Management
Overview
The section provides an overview of a systematic literature review (SLR) that investigates the adaptation of the CRISP-DM process model in Data Science projects. The review identifies 16 studies that explore how CRISP-DM can be modified and applied using various methods, frameworks, and process models. Despite the increasing prevalence of Data Science initiatives driven by data growth, storage advancements, and computational improvements, a significant challenge remains: 82% of teams do not employ any process model, and the adoption of Agile Methods in this domain is limited. The review highlights the evolution of CRISP-DM from rigid processes to more agile methodologies, noting adaptations such as phase modifications, new phase additions, and integration with other approaches.
The findings reveal that while CRISP-DM has undergone various adaptations to suit specific contexts and business domains, its core purpose remains unchanged. Historical influences from models like KDD and SEMMA, as well as contemporary agile methodologies such as Scrum and Design Thinking, have shaped these adaptations. The SLR emphasizes the compatibility of Data Science projects with agile principles and software engineering practices, yet it also points to a significant gap in research regarding the integration of agility in Data Science. The study concludes by proposing a theoretical framework for exploring CRISP-DM adaptations and suggests the need for empirical research in corporate settings to assess the effectiveness of combining CRISP-DM with agile practices. The standardized protocol of the SLR is also noted for its potential reproducibility in future studies.
Introduction
The introduction highlights the rapid expansion of user-generated data and its implications for Data Science, driven by advancements in storage, accessibility, and computational capabilities. According to IDC (2020), global data is projected to increase from 45 zettabytes in 2019 to 175 zettabytes by 2025, marking a substantial growth of approximately 289% over six years. This surge in data enables organizations to leverage Data Science for improved decision-making and the development of data products across various sectors, including finance, medicine, and marketing. The ongoing technological advancements and growing public acceptance suggest that the field of Data Science will continue to evolve significantly in the coming years.
Additionally, the introduction notes the rising popularity of Agile methodologies since the early 2000s, particularly in software development. Agile practices have been shown to enhance communication, collaboration, quality, team productivity, client satisfaction, and the successful delivery of products within the technology industry. The subsequent section will provide an overview of key Data Science processes, including CRISP-DM, KDD, SEMMA, Scrum, Kanban, and TDSP.
Methods
The section discusses the integration of Agile methodologies with Data Science, highlighting the increasing adoption of Agile practices in organizations for benefits such as accelerated delivery, improved management, and enhanced quality. Despite the growing popularity of Data Science projects, a significant gap exists in project management practices, with 82% of teams lacking a structured process, leading to project failures or suboptimal outcomes. The literature indicates that while Data Science aligns with Agile principles—emphasizing constant feedback and adaptability—there is limited research on the application of Agile in Data Science contexts, particularly regarding the CRISP-DM framework.
The study aims to evaluate how CRISP-DM can be adapted or utilized alongside other methodologies to facilitate Agile Data Science projects. It outlines a systematic literature review (SLR) approach to map these adaptations and assess the integration of CRISP-DM with frameworks such as SCRUM, DMAIC, and Big Data architectures. Notably, the integration of SCRUM with CRISP-DM (SCRUM-DS) incorporates Agile events and roles, while QM-CRISP-DM merges quality management tools with CRISP-DM phases. The findings suggest that these integrations enhance CRISP-DM’s functionality, making it more suitable for Agile environments by allowing for iterative processes and exploratory activities that align with the dynamic nature of Data Science projects.
Results
The results of the Systematic Literature Review (SLR) conducted in March 2023 reveal a structured approach to identifying relevant studies on adaptations of the CRISP-DM framework. Initially, an automated database search yielded 207 studies, which were subsequently narrowed down through a pre-assessment of titles and abstracts, resulting in 37 studies. A thorough assessment of these studies led to the acceptance of 15, which were further validated through a snowballing process that identified 2 additional studies, culminating in a total of 17 selected studies.
All accepted studies underwent a quality assessment, with each scoring 4.5 or higher on an 8-question checklist. The analysis highlighted that many adaptations of CRISP-DM were tailored to specific contexts, while others maintained a more generic approach. Notably, eight models modified existing steps, and six introduced new steps, reflecting a dynamic evolution of the CRISP-DM framework. The findings, including a comparative analysis of the adaptations, are detailed in accompanying tables, emphasizing the integration of elements from methodologies such as agile, design thinking, and lean startup into the CRISP-DM process.
Discussion
The discussion section of the research paper elaborates on the significance of the CRISP-DM (Cross Industry Standard Process for Data Mining) framework in data science, emphasizing its role in structuring data mining projects across various industries. CRISP-DM is recognized for its comprehensive lifecycle, which includes six phases: Business Understanding, Data Understanding, Data Preparation, Modeling, Evaluation, and Deployment. Each phase is designed to facilitate effective communication among stakeholders and streamline project management, although it does not strictly adhere to a linear progression, allowing for iterative processes. The framework’s adaptability has led to its evolution and integration with other methodologies, such as KDD (Knowledge Discovery in Databases) and SEMMA (Sample, Explore, Modify, Model, Assess), which focus on different aspects of data handling and analysis.
The paper also contrasts CRISP-DM with other methodologies like Scrum and Kanban, highlighting their distinct purposes and approaches. While Scrum is an agile framework aimed at iterative development, CRISP-DM provides a structured model that can be adapted to various contexts without being inherently agile. Additionally, the Team Data Science Process (TDSP) is discussed as a more agile-oriented framework developed by Microsoft, which shares similarities with CRISP-DM but emphasizes customer acceptance and iterative adaptability. The systematic literature review (SLR) methodology employed in the research aims to identify adaptations of CRISP-DM in data science projects, thereby contributing to the understanding of how this foundational model can be tailored to meet specific project needs while maintaining its core principles.