تحليل تأثير نماذج اللغة الكبيرة في دورة حياة علم البيانات: دراسة تخطيط منهجي
Analyzing the impact of LLMs in Data Science lifecycle: a systematic mapping study

شارك:
المجلة: International Journal of Data Science and Analytics، المجلد: 22، العدد: 1
DOI: https://doi.org/10.1007/s41060-026-01041-9
تاريخ النشر: 2026-02-12
المؤلف: Sai Sanjna Chintakunta وآخرون
الموضوع الرئيسي: طرق التحليل الحاسوبي والنصي

نظرة عامة

تستكشف هذه الدراسة المنهجية دمج نماذج اللغة الكبيرة (LLMs) ضمن دورة حياة علم البيانات، وتحلل الأدبيات ذات الصلة من قواعد بيانات Scopus و IEEE. تصنف البحث أنواع نماذج اللغة الكبيرة المستخدمة، والمراحل المحددة من عملية علم البيانات التي تتناولها، ومنهجيات التقييم المعتمدة. تسلط الضوء على كل من المساهمات الإيجابية والقيود المتعلقة بنماذج اللغة الكبيرة، مقدمة نظرة عامة منظمة على المشهد الحالي، بما في ذلك الاتجاهات، والفجوات، وفرص البحث المستقبلية في تقاطع نماذج اللغة الكبيرة وعلم البيانات.

تشير النتائج إلى أن نماذج اللغة الكبيرة يمكن أن تعزز بشكل كبير الإنتاجية وتخفض الحواجز أمام غير الخبراء عند استخدامها كأدوات مساعدة تكمل الحكم البشري. ومع ذلك، لا تزال التحديات قائمة، خاصة في ضمان الدقة في المهام المعقدة، والحفاظ على قابلية إعادة إنتاج المخرجات، ومعالجة قضايا السرية مع البيانات الحقيقية. ومن الجدير بالذكر أن الدراسة تحدد المجالات التي لم يتم استكشافها بشكل كافٍ في مراحل تعريف المشكلة والنشر/الصيانة من دورة حياة علم البيانات، مما يشير إلى أن نماذج اللغة الكبيرة يمكن أن تساعد في تحويل الأهداف التجارية إلى مهام تحليلية وإدارة المخاطر المرتبطة بالأنابيب الآلية. بالإضافة إلى ذلك، تدعو الأبحاث إلى تطوير أطر تقييم موحدة، حيث غالبًا ما تفشل المقاييس الحالية في التقاط الطبيعة الاحتمالية لمخرجات نماذج اللغة الكبيرة، مما يشير إلى الحاجة إلى أساليب أكثر منهجية لتقييم أداء نماذج اللغة الكبيرة في مهام علم البيانات.

مقدمة

تناقش مقدمة الورقة الدور المتزايد لنماذج اللغة الكبيرة (LLMs) في مجالات متنوعة، وخاصة ضمن دورة حياة علم البيانات. لقد أظهرت نماذج اللغة الكبيرة قدرات تتجاوز معالجة اللغة الطبيعية الأساسية، مما يمكّن من حل المشكلات الديناميكية والتكامل مع الأدوات الحاسوبية للمهام المعقدة. يشير المؤلفون إلى نموذج من خمس مراحل لدورة حياة علم البيانات—تعريف المشكلة، جمع البيانات وإعدادها، استكشاف البيانات وتحليلها، بناء النموذج وتقييمه، والنشر والصيانة—كإطار لفهم كيفية تطبيق نماذج اللغة الكبيرة عبر هذه المراحل. على الرغم من التقييمات المعزولة لنماذج اللغة الكبيرة في مهام محددة، إلا أن هناك فجوة ملحوظة في الاستطلاعات الشاملة التي تقيم تأثيرها عبر دورة الحياة بأكملها.

لمعالجة هذه الفجوة، أجرى المؤلفون دراسة منهجية (SMS) لتصنيف وتحليل تطبيقات نماذج اللغة الكبيرة عبر جميع المراحل الخمس لدورة حياة علم البيانات. تهدف هذه الدراسة إلى تقديم رؤى حول فعالية نماذج اللغة الكبيرة في تحويل سير عمل علم البيانات، مع تسليط الضوء على كل من الفرص لتعميم التحليلات والتحديات المتعلقة بالموثوقية وقابلية التطبيق الخاصة بالمجال. تشمل مساهمات الورقة تحليلًا مفصلًا لتطبيقات نماذج اللغة الكبيرة، وطرق التقييم، ومقاييس الأداء، بالإضافة إلى تقييم تأثير نماذج اللغة الكبيرة على عمليات علم البيانات. تهدف النتائج إلى توجيه الأبحاث المستقبلية وإبلاغ الممارسين حول دمج نماذج اللغة الكبيرة في ممارسات علم البيانات.

طرق البحث

توضح قسم منهجية البحث النهج المنظم المستخدم في دراسة الخرائط، مع الالتزام بالإرشادات المحدثة لدراسات الخرائط المنهجية (SMSs) كما اقترحها بيترسن وآخرون. تشمل المنهجية أربع مراحل رئيسية: البحث، والفحص، والتصنيف، والتركيب، مما يضمن عملية شفافة ومنظمة. لتسهيل ذلك، تستخدم الدراسة نموذج هدف-سؤال-مقياس (GQM)، الذي يحدد تسلسلًا هرميًا واضحًا بين الأهداف البحثية، والأسئلة المحددة، والمقاييس القابلة للقياس للتحليل.

الهدف الرئيسي من الدراسة هو التحقيق بشكل منهجي في تأثير نماذج اللغة الكبيرة المختلفة (LLMs) على دورة حياة علم البيانات. لتحقيق ذلك، صاغ الباحثون أسئلة بحث محددة ومقاييس مقابلة ستوجه تحليل وتقييم النتائج. تم تصميم هذا النهج المنظم لتقديم رؤى شاملة حول دور نماذج اللغة الكبيرة في سياق علم البيانات.

النتائج

في هذا القسم، يقدم المؤلفون النتائج من دراستهم المنهجية، موضحين القائمة الشاملة للأوراق التي تم تحديدها من خلال بحثهم، كما هو موثق في المواد المرجعية [10]. تشمل النتائج متغيرات مختلفة تتعلق بأسئلة البحث، بما في ذلك أنواع نماذج اللغة الكبيرة (LLMs) المستخدمة، والمراحل المحددة من دورة حياة علم البيانات التي تم تناولها، والمهام المنفذة، ومجالات التطبيق المستكشفة، ومنهجيات التقييم المعتمدة.

تتناول الأقسام الفرعية اللاحقة الرؤى المستمدة من هذه النتائج، مع معالجة منهجية لأسئلة البحث الموضحة في الدراسة. يسمح هذا النهج المنظم بفهم شامل لمشهد البحث المتعلق بنماذج اللغة الكبيرة وتطبيقاتها ضمن مجال علم البيانات.

المناقشة

ت outlines قسم المناقشة في الورقة دورة حياة علم البيانات المنظمة، مع التأكيد على أهميتها في استخراج القيمة من البيانات عبر مراحل مختلفة، بما في ذلك تعريف المشكلة، جمع البيانات وإعدادها، استكشاف البيانات وتحليلها، بناء النموذج وتقييمه، والنشر والصيانة. بينما توجد أطر متعددة، مثل KDD و CRISP-DM، يتبنى المؤلفون نموذجًا من خمس مراحل يجسد الأنشطة الأساسية عبر هذه المراحل. تسلط الورقة الضوء على دور نماذج اللغة الكبيرة (LLMs) في تعزيز سير عمل علم البيانات، مشيرة إلى قدراتها في أتمتة المهام مثل معالجة البيانات وتحليلها، خاصة في تحليل البيانات الاستكشافية، حيث أظهرت نماذج اللغة الكبيرة وعدًا كبيرًا.

تظهر مراجعة الأدبيات فهمًا مجزأً لتطبيقات نماذج اللغة الكبيرة عبر دورة حياة علم البيانات، حيث تركز العديد من الدراسات بشكل ضيق على مهام محددة بدلاً من تقديم نظرة شاملة. يحدد المؤلفون فجوات البحث، خاصة في مجالات نشر النموذج وتعريف المشكلة، ويقترحون دراسة منهجية لتصنيف الأبحاث الحالية وفقًا لمراحل علم البيانات. يهدف هذا النهج إلى تقديم فهم شامل لكيفية تأثير هياكل نماذج اللغة الكبيرة المختلفة على عمليات علم البيانات المتنوعة، مما يمهد الطريق للبحوث المستقبلية والتطبيقات العملية. كما توضح الورقة ستة أسئلة بحثية مصممة لتوجيه المراجعة المنهجية، مع معالجة مراحل دورة حياة علم البيانات، وتقنيات التقييم، والتأثيرات المبلغ عنها لنماذج اللغة الكبيرة، مما يسهم في تقديم منظور أكثر توحيدًا حول دمج نماذج اللغة الكبيرة في علم البيانات.

القيود

في قسم “القيود”، يعترف المؤلفون بعدة تحديات قد تؤثر على صحة نتائجهم. تنشأ إحدى القيود الرئيسية من سلسلة البحث المستخدمة لتحديد الدراسات ذات الصلة، والتي، على الرغم من كونها شاملة، قد لا تشمل جميع الأبحاث المهمة بسبب الطبيعة الواسعة والمتطورة للمجال، خاصة فيما يتعلق بتطبيق نماذج اللغة الكبيرة (LLMs) عبر دورة حياة علم البيانات. إن عدم وجود تعريف مقبول عالميًا لهذه الدورة، إلى جانب الأطر والمصطلحات المتنوعة التي يستخدمها الباحثون، يعقد من تحديد الدراسات ذات الصلة.

لمعالجة هذه المشكلة، قام المؤلفون بإدراج مجموعة متنوعة من المصطلحات المرادفة المتعلقة بالمهام الرئيسية مثل التصور، ومساعدة البرمجة، وإعداد البيانات، والعمليات التحليلية. على سبيل المثال، قاموا بتضمين مصطلحات مثل “تصور البيانات”، و”توليد الشيفرة”، و”تنظيف البيانات” لالتقاط تنوع اللغة في الأدبيات. ومع ذلك، على الرغم من هذه الجهود، تشير الطبيعة متعددة التخصصات للموضوع وإمكانية وجود مصطلحات محددة للغاية في بعض الأوراق إلى أن بعض الدراسات ذات الصلة قد لا تزال قد تم تجاهلها. نفذ المؤلفون استراتيجية للبحث في كل من العناوين والملخصات لتعزيز التغطية، ومع ذلك، فإنهم يدركون أن الخصائص الناشئة للمجال قد تؤدي إلى فجوات في مراجعتهم.

Journal: International Journal of Data Science and Analytics, Volume: 22, Issue: 1
DOI: https://doi.org/10.1007/s41060-026-01041-9
Publication Date: 2026-02-12
Author(s): Sai Sanjna Chintakunta et al.
Primary Topic: Computational and Text Analysis Methods

Overview

This systematic mapping study investigates the integration of Large Language Models (LLMs) within the data science lifecycle, analyzing relevant literature from Scopus and IEEE databases. The research categorizes the types of LLMs utilized, the specific stages of the data science process they address, and the evaluation methodologies employed. It highlights both the positive contributions and limitations of LLMs, providing a structured overview of the current landscape, including trends, gaps, and future research opportunities in the intersection of LLMs and data science.

The findings indicate that LLMs can significantly enhance productivity and lower barriers for non-experts when used as assistive tools that complement human judgment. However, challenges persist, particularly in ensuring accuracy in complex reasoning tasks, maintaining reproducibility of outputs, and addressing confidentiality issues with real data. Notably, the study identifies underexplored areas in the problem definition and deployment/maintenance stages of the data science lifecycle, suggesting that LLMs could aid in translating business goals into analytical tasks and managing risks associated with automated pipelines. Additionally, the research calls for the development of standardized evaluation frameworks, as current metrics often fail to capture the probabilistic nature of LLM outputs, indicating a need for more systematic approaches to assess LLM performance in data science tasks.

Introduction

The introduction of the paper discusses the expanding role of Large Language Models (LLMs) in various domains, particularly within the data science lifecycle. LLMs have demonstrated capabilities that extend beyond basic natural language processing, enabling dynamic problem-solving and integration with computational tools for complex tasks. The authors reference a five-stage model of the data science lifecycle—Problem Definition, Data Collection and Preparation, Data Exploration and Analysis, Model Building and Evaluation, and Deployment and Maintenance—as a framework for understanding how LLMs can be applied across these stages. Despite isolated evaluations of LLMs in specific tasks, there is a notable gap in comprehensive surveys that assess their impact throughout the entire lifecycle.

To address this gap, the authors conducted a systematic mapping study (SMS) to categorize and analyze LLM applications across all five stages of the data science lifecycle. This SMS aims to provide insights into the effectiveness of LLMs in transforming data science workflows, highlighting both opportunities for democratizing analytics and challenges related to reliability and domain-specific applicability. The contributions of the paper include a detailed analysis of LLM applications, assessment methods, and performance metrics, as well as an impact assessment of LLMs on data science processes. The findings are intended to guide future research and inform practitioners on the integration of LLMs into data science practices.

Methods

The research methodology section details the structured approach employed in the mapping study, adhering to the updated guidelines for systematic mapping studies (SMSs) as proposed by Petersen et al. The methodology encompasses four key phases: search, screening, classification, and synthesis, ensuring a transparent and organized process. To facilitate this, the study utilizes the Goal-Question-Metric (GQM) paradigm, which establishes a clear hierarchy among the research objectives, specific questions, and measurable metrics for analysis.

The primary aim of the study is to systematically investigate the impact of various large language models (LLMs) on the data science lifecycle. To this end, the researchers formulated specific research questions and corresponding metrics that will guide the analysis and evaluation of the findings. This structured approach is designed to yield comprehensive insights into the role of LLMs within the context of data science.

Results

In this section, the authors present the findings from their systematic mapping study, detailing the comprehensive list of papers identified through their search, as documented in the referenced material [10]. The results encompass various variables pertinent to the research questions, including the types of Large Language Models (LLMs) utilized, the specific stages of the data science lifecycle addressed, the tasks executed, the application domains explored, and the evaluation methodologies employed.

Subsequent subsections delve into the insights derived from these findings, systematically addressing the research questions outlined in the study. This structured approach allows for a thorough understanding of the landscape of research related to LLMs and their applications within the data science domain.

Discussion

The discussion section of the paper outlines the structured data science lifecycle, emphasizing its importance in extracting value from data through various stages, including Problem Definition, Data Collection and Preparation, Data Exploration and Analysis, Model Building and Evaluation, and Deployment and Maintenance. While multiple frameworks exist, such as KDD and CRISP-DM, the authors adopt a five-stage model that encapsulates essential activities across these stages. The paper highlights the role of Large Language Models (LLMs) in enhancing data science workflows, noting their capabilities in automating tasks like data preprocessing and analysis, particularly in exploratory data analysis, where LLMs have shown significant promise.

The literature review reveals a fragmented understanding of LLM applications across the data science lifecycle, with many studies focusing narrowly on specific tasks rather than providing a comprehensive overview. The authors identify research gaps, particularly in the areas of model deployment and problem definition, and propose a systematic mapping study to categorize existing research according to the data science stages. This approach aims to provide a holistic understanding of how different LLM architectures impact various data science processes, thereby laying the groundwork for future research and practical applications. The paper also outlines six research questions designed to guide the systematic review, addressing the stages of the data science lifecycle, evaluation techniques, and reported impacts of LLMs, ultimately contributing to a more unified perspective on the integration of LLMs in data science.

Limitations

In the “Limitations” section, the authors acknowledge several challenges that may affect the validity of their findings. A primary limitation arises from the search string used to identify relevant studies, which, despite being comprehensive, may not encompass all significant research due to the broad and evolving nature of the field, particularly regarding the application of Large Language Models (LLMs) throughout the data science lifecycle. The lack of a universally accepted definition of this lifecycle, coupled with the varied frameworks and terminology employed by researchers, complicates the identification of pertinent studies.

To address this issue, the authors incorporated a variety of synonymous terms related to key tasks such as visualization, programming assistance, data preparation, and analytical processes. For example, they included terms like “data visualization,” “code generation,” and “data cleaning” to capture the diversity of language in the literature. However, despite these efforts, the interdisciplinary nature of the topic and the potential for highly specific terminology in some papers suggest that certain relevant studies may still have been overlooked. The authors implemented a strategy to search both titles and abstracts to enhance coverage, yet they recognize that the emerging characteristics of the field may lead to gaps in their review.