DOI: https://doi.org/10.1108/ecam-12-2025-2035
تاريخ النشر: 2026-05-06
المؤلف: Jun Wang وآخرون
الموضوع الرئيسي: تقنيات تصنيف النصوص والمستندات
نظرة عامة
تتناول هذه الورقة البحثية التحديات المتعلقة بالتصنيف الآلي لتقارير حوادث البناء، والتي تشمل انخفاض الدقة، ندرة البيانات، عدم توازن الفئات، وعدم كفاية التمثيل الدلالي. تقترح الدراسة إطار عمل جماعي موفر للموارد يهدف إلى تحسين إدارة معلومات السلامة، وتسهيل تحديد المخاطر في الوقت المناسب، ودعم اتخاذ القرارات المستندة إلى البيانات في سلامة البناء. لمواجهة عدم توازن الفئات، استخدم المؤلفون تقنية العينة العشوائية الزائدة على مجموعة بيانات تقارير حوادث البناء وقاموا بتكييف أربعة نماذج لغوية كبيرة (DeBERTa-v3-Large، T5-Large، OPT، وEttin-Encoder-1B) باستخدام التعديل الدقيق الفعال من حيث المعلمات (PEFT) مع طريقة التكيف منخفض الرتبة (LoRA).
تشير النتائج إلى أن النماذج الجماعية التي تستخدم التصويت الصعب والتكديس حققت أعلى درجة F1 متوسطة كلية تبلغ 0.9377، متفوقة على جميع تكوينات التصويت الناعم والنماذج الفردية. ومن الجدير بالذكر أن التجميع بالتصويت الصعب الذي يجمع بين OPT وEttin-Encoder-1B وT5-Large، بالإضافة إلى نموذج التكديس الذي يستخدم OPT وT5-Large، أظهر أداءً متفوقًا عبر فئات الحوادث المختلفة، لا سيما في تحديد الفئات الأقل. تسلط الدراسة الضوء على فعالية العينة العشوائية الزائدة في التخفيف من عدم توازن الفئات وتظهر أن التعديل الدقيق الفعال من حيث المعلمات يمكن أن يحافظ على أداء قوي مع موارد حسابية محدودة. لا تعزز هذه الطريقة المبتكرة دقة تحليل تقارير الحوادث الآلية فحسب، بل تقلل أيضًا من الاعتماد على الترميز اليدوي، مما يعزز الإدارة الاستباقية للسلامة والامتثال التنظيمي في صناعة البناء.
مقدمة
تؤكد مقدمة الورقة على الحاجة الملحة لتحسين إدارة السلامة في صناعة البناء، حيث تحدث حوالي سدس الحوادث القاتلة العالمية. يعد التصنيف الفعال لتقارير حوادث البناء أمرًا ضروريًا لتحديد أنواع الحوادث المتميزة، وأسبابها، وتنفيذ استراتيجيات وقائية مستهدفة. تبرز الورقة أن طرق التصنيف التقليدية غالبًا ما تعاني من قيود في التمثيل الدلالي والكفاءة الحسابية، مما يؤدي إلى دقة دون المستوى وزيادة المخاطر في اتخاذ قرارات السلامة.
لمعالجة هذه التحديات، تقترح الدراسة استخدام تقنيات الذكاء الاصطناعي المتقدمة، وخاصة النماذج اللغوية الكبيرة (LLMs) التي تم تحسينها من خلال التعديل الدقيق الفعال من حيث المعلمات (PEFT). يقدم المؤلفون إطار عمل جماعي يجمع بين هياكل نماذج مختلفة لتعزيز قوة التصنيف ودقته. يهدف هذا الإطار إلى دعم محترفي السلامة من خلال توفير أداة دعم القرار بدلاً من استبدال مراجعة الخبراء، معترفًا بتعقيدات السرد غير المنظم للحوادث. توضح الورقة هيكلها، مشيرة إلى أن الأقسام التالية ستتناول الأدبيات ذات الصلة، والمنهجية، والتطبيقات التجريبية، والاستنتاجات.
الطرق
تتكون منهجية البحث الموضحة في هذه الدراسة من ثلاث خطوات رئيسية: جمع البيانات ومعالجتها، تدريب مصنف نموذج لغوي كبير (LLM) واحد، وإنشاء مصنف جماعي. تتضمن مجموعة البيانات 10,994 تقريرًا عن حوادث البناء مأخوذة من موقع OSHA، تغطي الحوادث من يناير 2013 إلى يناير 2023. تم تصنيف كل تقرير إلى واحدة من ثماني فئات حدث أو تعرض وفقًا لنظام تصنيف الإصابات والأمراض المهنية (OIICS). لضمان جودة عالية في التعليقات، قام ثلاثة خبراء في المجال، بما في ذلك طالبان دراسات عليا مدربان من OSHA ومحكم بمستوى دكتوراه، بإجراء عملية التسمية. تضمنت بروتوكولات التسمية مرحلة تجريبية لتكرير التناسق، حيث تم تحقيق اتفاق بين المراجعين بنسبة تقارب 97.5% بعد ثلاث جولات، واتفاق نهائي بنسبة 96.5% لكامل مجموعة البيانات. كانت توزيع الفئات غير متوازن بشكل ملحوظ، مما دفع إلى استخدام العينة العشوائية الزائدة في مجموعة التدريب للحفاظ على نسب الفئات مع تجنب تشويه الهيكل اللغوي في البيانات النصية.
لتدريب مصنف LLM الواحد، تم استخدام نماذج متنوعة، بما في ذلك DeBERTa-v3-Large وT5-Large وOPT وEttin-Encoder-1B، حيث تم اختيار كل منها لتنوعها المعماري وملاءمتها لخصائص نصوص سلامة البناء. تم تكييف النماذج باستخدام التعديل الدقيق الفعال من حيث المعلمات (PEFT) مع التكيف منخفض الرتبة (LoRA)، مما يسمح بالتكيف الفعال مع المجال ببيانات محدودة. تمثل النماذج المختارة أنماط تحويل مختلفة—فقط مشفر، مشفر-مفكك، ومفكك فقط—مما يسهل تقييم شامل لأدائها على السرد المعقد النموذجي لتقارير حوادث البناء. تهدف هذه التنوع المنهجي إلى تعزيز التعلم الجماعي من خلال التقاط أنماط دلالية متميزة داخل البيانات، مما يحسن دقة التصنيف وفهم العلاقات السببية الأساسية في التقارير.
النتائج
يقدم قسم النتائج تقييمًا شاملاً لأفضل النماذج الجماعية أداءً في تصنيف السرد القصير للحوادث. تظهر مصفوفات الالتباس للتصويت الصعب، التصويت الناعم، والتكديس هيمنة قوية على القطر، مما يشير إلى دقة عالية في التصنيف، حيث حققت الفئات الرئيسية معدلات تصنيف صحيحة تزيد عن 97%. ومن الجدير بالذكر أن أكثر الأخطاء شيوعًا في التصنيف حدثت بين الفئات المتشابهة دلاليًا، لا سيما بين “التعرض للمواد أو البيئات الضارة” (EXPO) و”الاتصال بالأشياء أو المعدات” (CONT). أظهر التجميع بالتكديس، على وجه الخصوص، أعلى متوسط درجة F1 كلية تبلغ 0.9377، متفوقًا على الأسس التقليدية مثل SVM (0.8299) وLSTM (0.7165) بفروق كبيرة.
بالإضافة إلى النماذج التقليدية، دمجت الدراسة نماذج LLM خفيفة الوزن (DistilBERT وElectra وMobileBERT) لمقارنة أكثر دقة. تجاوزت طرق التجميع المقترحة باستمرار هذه الأسس التحويلية، مع تحسينات تتراوح بين 2.6 إلى 4.2 نقطة مئوية. كما أظهر التجميع بالتكديس استقرارًا متفوقًا عبر البذور، كما يتضح من أدنى انحراف معياري (0.0072) ومعامل التباين (0.0077) بين جميع الطرق العشوائية التي تم تقييمها. تشير هذه النتائج إلى أن تحسينات الأداء تعود ليس فقط إلى حجم النموذج ولكن أيضًا إلى التكامل الفعال للهياكل المتنوعة من خلال التعديل الدقيق الفعال من حيث المعلمات (PEFT) واستراتيجيات التعلم الجماعي.
المناقشة
تسلط قسم المناقشة في الورقة البحثية الضوء على التقدم الكبير والتحديات المستمرة في مجال تصنيف نصوص حوادث البناء باستخدام معالجة اللغة الطبيعية (NLP) وتعلم الآلة (ML). استخدمت الدراسات المبكرة بشكل أساسي أنظمة قائمة على القواعد ونماذج ML التقليدية، التي حققت أداءً معتدلاً بسبب الاعتماد على ميزات مصنوعة يدويًا ومجموعات بيانات صغيرة وغير متوازنة. انتقلت التطورات الأخيرة نحو التعلم العميق والنماذج القائمة على التحويل، مثل BERT وGPT-3، التي تلتقط بشكل أفضل المعلومات الدلالية والسياقية. ومع ذلك، لا تزال العديد من الدراسات الحالية تعاني من قضايا حجم مجموعة البيانات وعدم توازن الفئات، وغالبًا ما تستخدم أقل من 10,000 عينة، مما يهدد قوة النموذج وقدرته على التعميم. تحدد الورقة الفجوات الحرجة، بما في ذلك التعامل غير الكافي مع عدم توازن الفئات والاعتماد على تقنيات تمثيل النصوص القديمة، التي تفشل في التقاط تعقيدات السرد الخاص بالمجال.
لمعالجة هذه الفجوات، تستخدم الدراسة مجموعة بيانات أكبر من 10,994 تقريرًا عن حوادث البناء وتدمج تقنيات العينة العشوائية الزائدة للتخفيف من عدم توازن الفئات. تستخدم نماذج لغوية كبيرة متقدمة (LLMs) تم تعديلها باستخدام التكيف منخفض الرتبة (LoRA) عبر هياكل متنوعة، مما يعزز قدرة النماذج على التقاط العلاقات الدلالية الدقيقة في سرد الحوادث. يعزز دمج طرق التجميع، بما في ذلك التصويت الصعب، التصويت الناعم، والتكديس، أداء التصنيف، حيث تحقق درجة F1 متوسطة قصوى تبلغ 0.9377. تشير النتائج إلى أنه بينما تتفوق استراتيجيات التجميع على النماذج الفردية، لا تزال هناك قيود منهجية، لا سيما في معالجة السرد المعقد وتطبيق المعرفة الخاصة بالمجال. غالبًا ما تنشأ الأخطاء في التصنيف من صعوبة النماذج في التفكير السببي والدلالات المجردة، مما يبرز الحاجة إلى مزيد من التحسين في التعامل مع أوصاف الحوادث الغامضة ومتعددة المراحل. بشكل عام، تؤسس الدراسة معيارًا جديدًا لتصنيف تقارير الحوادث المهنية بشكل آلي بينما تبرز مجالات البحث والتحسين المستقبلية.
DOI: https://doi.org/10.1108/ecam-12-2025-2035
Publication Date: 2026-05-06
Author(s): Jun Wang et al.
Primary Topic: Text and Document Classification Technologies
Overview
This research paper addresses the challenges of automated classification of construction accident reports, which include low accuracy, data scarcity, class imbalance, and inadequate semantic representation. The study proposes a resource-efficient ensemble framework aimed at improving safety information management, facilitating timely risk identification, and supporting data-driven decision-making in construction safety. To tackle class imbalance, the authors employed random oversampling on a construction accident report dataset and adapted four large language models (DeBERTa-v3-Large, T5-Large, OPT, and Ettin-Encoder-1B) using parameter-efficient fine-tuning (PEFT) with the Low-Rank Adaptation (LoRA) method.
The findings indicate that the ensemble models utilizing hard voting and stacking achieved the highest macro-average F1 score of 0.9377, outperforming all soft voting configurations and individual models. Notably, the hard voting ensemble combining OPT, Ettin-Encoder-1B, and T5-Large, along with the stacking model using OPT and T5-Large, exhibited superior performance across various accident subcategories, particularly in identifying minority classes. The study highlights the effectiveness of random oversampling in mitigating class imbalance and demonstrates that parameter-efficient fine-tuning can sustain strong performance with limited computational resources. This innovative approach not only enhances the accuracy of automated accident report analysis but also reduces reliance on manual coding, thereby promoting proactive safety management and regulatory compliance in the construction industry.
Introduction
The introduction of the paper emphasizes the critical need for improved safety management in the construction industry, where approximately one-sixth of global fatal accidents occur. Effective classification of construction accident reports is essential for identifying distinct accident types, their causes, and implementing targeted preventive strategies. The paper highlights that traditional classification methods often suffer from limitations in semantic representation and computational efficiency, leading to suboptimal accuracy and increased risks in safety decision-making.
To address these challenges, the study proposes the use of advanced artificial intelligence techniques, particularly large language models (LLMs) optimized through parameter-efficient fine-tuning (PEFT). The authors introduce an ensemble framework that combines various model architectures to enhance classification robustness and accuracy. This framework aims to support safety professionals by providing a decision-support tool rather than replacing expert review, acknowledging the complexities of unstructured accident narratives. The paper outlines its structure, indicating subsequent sections will cover related literature, methodology, empirical applications, and conclusions.
Methods
The research methodology outlined in this study consists of three primary steps: data collection and processing, single large language model (LLM) classifier training, and ensemble classifier creation. The dataset includes 10,994 construction accident reports sourced from the OSHA website, covering incidents from January 2013 to January 2023. Each report was categorized into one of eight Event or Exposure categories as per the Occupational Injury and Illness Classification System (OIICS). To ensure high-quality annotations, three domain experts, including two graduate students with OSHA training and a doctoral-level arbitrator, conducted the labeling process. The annotation protocol involved a pilot phase to refine consistency, achieving an inter-coder agreement of approximately 97.5% after three rounds, and a final agreement of 96.5% for the entire dataset. The class distribution was notably imbalanced, prompting the use of random oversampling in the training set to maintain class proportions while avoiding distortion of the linguistic structure in the textual data.
For the single LLM classifier training, various models were employed, including DeBERTa-v3-Large, T5-Large, OPT, and Ettin-Encoder-1B, each selected for their architectural diversity and relevance to the characteristics of construction safety texts. The models were adapted using parameter-efficient fine-tuning (PEFT) with Low-Rank Adaptation (LoRA), which allows for effective domain adaptation with limited data. The chosen models represent different transformer paradigms—encoder-only, encoder-decoder, and decoder-only—facilitating a comprehensive evaluation of their performance on complex narratives typical of construction accident reports. This methodological diversity aims to enhance ensemble learning by capturing distinct semantic patterns within the data, thereby improving classification accuracy and understanding of the underlying causal relationships in the reports.
Results
The results section presents a comprehensive evaluation of top-performing ensemble models for classifying short accident narratives. Confusion matrices for hard voting, soft voting, and stacking ensembles demonstrate strong diagonal dominance, indicating high accuracy in classification, with major categories achieving correct classification rates above 97%. Notably, the most frequent misclassifications occurred between semantically similar categories, particularly between “Exposure to harmful substances or environments” (EXPO) and “Contact with objects or equipment” (CONT). The stacking ensemble, in particular, exhibited the highest mean macro F1 score of 0.9377, outperforming traditional baselines such as SVM (0.8299) and LSTM (0.7165) by significant margins.
In addition to conventional models, the study incorporated lightweight LLMs (DistilBERT, Electra, and MobileBERT) for a more nuanced comparison. The proposed ensemble methods consistently surpassed these transformer baselines, with improvements ranging from 2.6 to 4.2 percentage points. The stacking ensemble also demonstrated superior cross-seed stability, evidenced by the lowest standard deviation (0.0072) and coefficient of variation (0.0077) among all stochastic methods evaluated. These findings suggest that the performance enhancements are attributable not only to model scale but also to the effective integration of diverse architectures through parameter-efficient fine-tuning (PEFT) and ensemble learning strategies.
Discussion
The discussion section of the research paper highlights significant advancements and persistent challenges in the field of construction accident text classification using natural language processing (NLP) and machine learning (ML). Early studies primarily utilized rule-based systems and traditional ML models, which achieved moderate performance due to reliance on handcrafted features and small, imbalanced datasets. Recent advancements have shifted towards deep learning and transformer-based models, such as BERT and GPT-3, which better capture semantic and contextual information. However, many existing studies still grapple with issues of dataset size and class imbalance, often using fewer than 10,000 samples, which compromises model robustness and generalization. The paper identifies critical gaps, including the inadequate handling of class imbalance and the reliance on outdated text representation techniques, which fail to capture the complexities of domain-specific narratives.
To address these gaps, the study employs a larger dataset of 10,994 construction accident reports and incorporates random oversampling techniques to mitigate class imbalance. It utilizes advanced large language models (LLMs) fine-tuned with Low-Rank Adaptation (LoRA) across various architectures, enhancing the models’ ability to capture nuanced semantic relationships in accident narratives. The integration of ensemble methods, including hard voting, soft voting, and stacking, further improves classification performance, achieving a peak macro F1-score of 0.9377. The results indicate that while the ensemble strategies outperform individual models, systematic limitations remain, particularly in processing complex narratives and applying domain-specific knowledge. Misclassifications often stem from the models’ struggles with causal reasoning and abstract semantics, underscoring the need for further refinement in handling ambiguous and multi-stage accident descriptions. Overall, the study establishes a new state-of-the-art for automated classification of occupational accident reports while highlighting areas for future research and improvement.