DOI: https://doi.org/10.1049/smc2.70023
تاريخ النشر: 2026-01-01
المؤلف: Joshua Rodriguez وآخرون
الموضوع الرئيسي: طرق التحليل الحاسوبي والنصي
نظرة عامة
تستكشف هذه الورقة البحثية تطبيق نماذج اللغة الكبيرة (LLMs) في الترميز النوعي في إدارة الأنظمة الحضرية، بهدف تعزيز الكفاءة مع الحفاظ على موثوقية مقارنة بالمقيمين البشريين. تدرس الدراسة بشكل خاص أداء نماذج GPT-4o وGPT-4o-mini وo1-mini من OpenAI في الترميز الاستنتاجي لعشرة مستندات حالة بناءً على 17 خاصية توأم رقمي. تم استخدام طريقتين للتوجيه – تحليل النص الكامل وتحليل أجزاء النص – لتقييم معالجة النماذج الدلالية مقابل جهود الترميز البشري. تشير النتائج إلى أن LLMs، خاصة عند استخدام طريقة التجزئة، يمكن أن تحقق توافقًا كبيرًا مع المقيمين البشريين، مما يشير إلى أن LLMs تحاكي بشكل فعال عمليات الترميز الذاكرية البشرية وتخفف من تحيزات تجميع السياق.
تسلط النتائج الضوء على أن استخدام نهج توجيه قائم على التجزئة يحسن من الاتفاق الداخلي والاسترجاع دون التضحية بالدقة، كما يتضح من زيادة تحديد الإيجابيات الحقيقية. ومن الجدير بالذكر أنه بينما أظهرت نماذج GPT-4o وo1-mini انخفاضًا في الاتفاق مع المقيمين البشريين عند استخدام تحليل النص الكامل، أظهرت كلا النماذج توافقًا كبيرًا عند تطبيق التجزئة. بالإضافة إلى ذلك، أظهرت GPT-4o-mini أداءً ثابتًا بغض النظر عن حجم النص، متفوقة على o1-mini في تحليل النص الكامل. تؤكد هذه الدراسة على إمكانية استخدام LLMs لتعزيز أو أتمتة عملية تصنيف المستندات في إدارة الأنظمة الحضرية، خاصة من خلال تنفيذ استراتيجيات التجزئة ذات الحجم الثابت للترميز الاستنتاجي.
مقدمة
تناقش مقدمة هذه الورقة البحثية التعقيدات المتعلقة بإدارة الأنظمة الحضرية، والتي تشمل البيئة المبنية، والبيئة الطبيعية، والتفاعلات الاجتماعية. وتبرز الحاجة إلى أن يشارك المعماريون والمخططون ومديرو المياه وصناع السياسات في تحليل نصي مكثف لمجموعة متنوعة من الوثائق لضمان الامتثال للمعايير والتنمية الحضرية الفعالة. ومع ذلك، فإن طرق الترميز البشرية التقليدية لتحليل الوثائق تعاني من تحديات، بما في ذلك التحيزات، وعدم الاتساق، وعدم الكفاءة، خاصة عند التعامل مع مجموعات بيانات كبيرة. تفترض الورقة أن الذكاء الاصطناعي (AI)، وبشكل خاص نماذج اللغة الكبيرة (LLMs)، يمكن أن تخفف من هذه الأعباء من خلال تحسين عملية الترميز من خلال التعاون بين البشر والذكاء الاصطناعي.
يستكشف المؤلفون إمكانية استخدام LLMs، وخاصة GPT-4o من OpenAI ونسخها، لأداء الترميز الاستنتاجي على الأدبيات المتعلقة بأنظمة المياه الحضرية. يحققون في طريقتين لمعالجة الدلالات: تحليل النص الكامل وتجزئة النص إلى أقسام أصغر، مقارنة أداء LLMs بالمقيمين البشريين. أشارت الدراسات السابقة إلى أن LLMs يمكن أن تحقق دقة مقارنة بالمشفرين البشريين، لكن هذه الدراسة تهدف إلى تحسين النهج من خلال معالجة تحيزات تجميع السياق من خلال التجزئة النصية ذات الحجم الثابت. يُقترح أن تحافظ هذه الطريقة على الموضوعات المحلية التي قد يتم تجاهلها في تحليلات الوثائق الكاملة، وبالتالي توفر رؤى أعمق حول تفاصيل البيانات. بشكل عام، تسعى الدراسة إلى تقييم كيف يؤثر حجم البيانات على دقة وفعالية LLM في سياق إدارة الأنظمة الحضرية.
طرق
يستعرض قسم “المواد والطرق” تصميم التجربة والإجراءات المستخدمة في الدراسة. يوضح المواد المحددة المستخدمة، بما في ذلك أي مواد كيميائية، ومعدات، وعينات بيولوجية، لضمان إمكانية تكرار التجارب. تشمل المنهجية العمليات خطوة بخطوة لجمع البيانات، بما في ذلك أي تحليلات إحصائية تم إجراؤها لتفسير النتائج.
بالإضافة إلى ذلك، قد يصف القسم الضوابط التجريبية والظروف التي أجريت فيها التجارب، مع تسليط الضوء على أي متغيرات تم التلاعب بها أو قياسها. يسمح هذا النهج الشامل بفهم واضح لكيفية اشتقاق النتائج ويدعم صحة الاستنتاجات المستخلصة من البحث.
النتائج
تقدم النتائج المعروضة في الجدول 2 مقاييس الأداء لتقنيات استخراج البيانات التي تم تقييمها، مع التركيز على التباين والدقة والموثوقية والاسترجاع. يتم تقييم التباين من خلال الاتفاق الداخلي عبر عدة تكرارات، مما يوفر رؤى حول اتساق النتائج. تعكس الدقة، التي تُعرف على أنها نسبة الاسترجاعات ذات الصلة إلى إجمالي مجموعة البيانات، الفعالية العامة لعملية الاستخراج. يتم تعريف الموثوقية والاسترجاع بشكل أكبر على أنهما نسبة الاسترجاعات ذات الصلة إلى جميع الاسترجاعات ونسبة الاسترجاعات ذات الصلة إلى جميع العناصر ذات الصلة، على التوالي، وفقًا للإطار الذي وضعه ويتن وزملاؤه.
في الأقسام التالية، سيتم تقديم مناقشة شاملة لكل مقياس، موضحة آثارها على فعالية تقنيات استخراج البيانات المستخدمة في الدراسة. تهدف هذه التحليل إلى تعزيز الفهم لنقاط القوة والقيود للمنهجيات المطبقة.
مناقشة
في هذه الدراسة، استخدم المؤلفون نهج الترميز الاستنتاجي لتحليل خصائص التوأم الرقمي (DT) في الأدبيات العلمية، مستخدمين كتاب رموز يحتوي على 17 بعدًا محددًا. تم إجراء الترميز يدويًا بواسطة فريق من الباحثين غير الخبراء وتمت مقارنته مع النتائج التي تم توليدها بواسطة نماذج اللغة الكبيرة (LLMs)، وبشكل خاص GPT-4o وGPT-4o-mini وo1-mini من OpenAI. كشفت التحليل أن نهج التجزئة – حيث تم تقسيم النصوص إلى مقاطع من 500 كلمة – أسفر عن اتفاق داخلي أعلى وتوافق مع المشفرين البشريين مقارنةً بنهج الورقة الكاملة. ومن الجدير بالذكر أن نموذج o1-mini أظهر أداءً متفوقًا في التحليل المجزأ، محققًا اتفاقًا داخليًا بنسبة 89.9%، متفوقًا بشكل كبير على طريقة الورقة الكاملة.
تشير النتائج إلى أن LLMs يمكن أن تعزز بشكل فعال جهود الترميز البشرية، خاصة عند استخدام التوجيهات المنظمة واستراتيجيات التجزئة. أبرزت الدراسة أن كلا من نماذج GPT-4o وo1-mini حققتا استرجاعًا أفضل واتفاقًا مع المقيمين البشريين عند استخدام نهج التجزئة، مما يشير إلى إمكاناتهما كأدوات موثوقة لتحليل الوثائق المعقدة. ومع ذلك، يحذر المؤلفون من التعميم المفرط لهذه النتائج، حيث كان الأداء مرتبطًا بكتاب الرموز المحدد وطرق التوجيه المستخدمة. يُوصى بإجراء أبحاث مستقبلية لاستكشاف التباينات في استراتيجيات التجزئة وقدرات معالجة الدلالات لـ LLMs لتعزيز فعاليتها في مهام الترميز الاستنتاجي.
DOI: https://doi.org/10.1049/smc2.70023
Publication Date: 2026-01-01
Author(s): Joshua Rodriguez et al.
Primary Topic: Computational and Text Analysis Methods
Overview
This research paper investigates the application of large language models (LLMs) for qualitative coding in urban systems management, aiming to enhance efficiency while maintaining reliability comparable to human evaluators. The study specifically examines the performance of OpenAI’s GPT-4o, GPT-4o-mini, and o1-mini models in deductively coding 10 case documents based on 17 digital twin characteristics. Two prompting methods—whole text analysis and text chunk analysis—were employed to assess the models’ semantic processing against human coding efforts. Results indicate that LLMs, particularly when using a chunking method, can achieve significant agreement with human raters, suggesting that LLMs effectively mimic human memory coding processes and mitigate context aggregation biases.
The findings highlight that employing a chunk-based prompting approach improves internal agreement and recall without sacrificing precision, as evidenced by a higher identification of true positives. Notably, while GPT-4o and o1-mini showed decreased agreement with human raters when using whole text analysis, both models demonstrated significant agreement when chunking was applied. Additionally, GPT-4o-mini exhibited consistent performance regardless of text volume, outperforming o1-mini in whole text analysis. This research underscores the potential of LLMs to augment or automate the document classification process in urban systems management, particularly through the implementation of fixed-size chunking strategies for deductive coding.
Introduction
The introduction of this research paper discusses the complexities involved in managing Urban Systems, which encompass the built environment, natural environment, and societal interactions. It highlights the necessity for architects, planners, water managers, and policymakers to engage in extensive textual analysis of various documents to ensure compliance with standards and effective urban development. However, traditional human coding methods for document analysis are fraught with challenges, including biases, inconsistencies, and inefficiencies, particularly when dealing with large datasets. The paper posits that Artificial Intelligence (AI), specifically Large Language Models (LLMs), could alleviate these burdens by enhancing the coding process through human-AI collaboration.
The authors explore the potential of LLMs, particularly OpenAI’s GPT-4o and its variants, to perform deductive coding on literature related to urban water systems. They investigate two semantic processing methods: whole text analysis and chunking text into smaller sections, comparing the performance of LLMs to human evaluators. Previous studies have indicated that LLMs can achieve accuracy comparable to human coders, but this research aims to further refine the approach by addressing context aggregation biases through fixed-size text chunking. This method is proposed to preserve localized themes that may be overlooked in whole document analyses, thereby providing deeper insights into the nuances of the data. Overall, the study seeks to assess how the volume of data impacts LLM accuracy and effectiveness in the context of urban systems management.
Methods
The “Materials and Methods” section outlines the experimental design and procedures employed in the study. It details the specific materials used, including any reagents, equipment, and biological samples, ensuring reproducibility of the experiments. The methodology encompasses the step-by-step processes for data collection, including any statistical analyses performed to interpret the results.
Additionally, the section may describe the experimental controls and conditions under which the experiments were conducted, highlighting any variables that were manipulated or measured. This comprehensive approach allows for a clear understanding of how the findings were derived and supports the validity of the conclusions drawn from the research.
Results
The results presented in Table 2 detail the performance metrics of the evaluated data mining techniques, focusing on variance, accuracy, precision, and recall. Variance is assessed through internal agreement across multiple iterations, providing insight into the consistency of the results. Accuracy, defined as the proportion of relevant retrievals to the total dataset, reflects the overall effectiveness of the mining process. Precision and recall are further defined as the ratio of relevant retrievals to all retrievals and the ratio of relevant retrievals to all relevant items, respectively, following the framework established by Witten and colleagues.
In the following sections, a comprehensive discussion of each metric will be provided, elucidating their implications for the effectiveness of the data mining techniques employed in the study. This analysis aims to enhance understanding of the strengths and limitations of the methodologies applied.
Discussion
In this study, the authors employed a deductive coding approach to analyze digital twin (DT) characteristics in scientific literature, utilizing a codebook with 17 defined dimensions. The coding was performed manually by a team of non-expert researchers and compared against results generated by large language models (LLMs), specifically OpenAI’s GPT-4o, GPT-4o-mini, and o1-mini. The analysis revealed that the chunking approach—where texts were divided into 500-word segments—yielded higher internal agreement and alignment with human coders compared to the whole paper approach. Notably, the o1-mini model demonstrated superior performance in chunked analysis, achieving an internal agreement of 89.9%, significantly outperforming the whole paper method.
The findings suggest that LLMs can effectively augment human coding efforts, particularly when structured prompts and chunking strategies are employed. The study highlighted that both GPT-4o and o1-mini models achieved better recall and agreement with human raters when using the chunking approach, indicating their potential as reliable tools for analyzing complex documents. However, the authors caution against overgeneralizing these results, as the performance was contingent on the specific codebook and prompting methods used. Future research is recommended to explore variations in chunking strategies and the semantic processing capabilities of LLMs to enhance their effectiveness in deductive coding tasks.