DOI: https://doi.org/10.3390/s26041081
PMID: https://pubmed.ncbi.nlm.nih.gov/41755023
تاريخ النشر: 2026-02-07
المؤلف: Dezheng Kong وآخرون
الموضوع الرئيسي: نمذجة الموضوعات
نظرة عامة
تقدم ورقة البحث أداة مساعدة لإعداد تعتمد على الذكاء الاصطناعي مصممة لتسهيل تكوين أنظمة تطبيقات إنترنت الأشياء (IoT)، وخاصة للمستخدمين غير الخبراء. يبرز المؤلفون التحديات التي تواجه تكوين الأجهزة الجديدة أو غير المرئية بشكل موثوق، حيث غالبًا ما تؤدي نماذج الذكاء الاصطناعي الحالية إلى مخرجات غير مكتملة أو خاطئة. لتعزيز موثوقية هذه التكوينات، تقترح الورقة أداة استخراج بيانات تقنية تعتمد على الذكاء الاصطناعي التوليدي تستخدم استخراجًا قائمًا على المخطط من أوراق البيانات بصيغة PDF أو HTML. تقوم هذه الأداة بتحويل المعلومات التقنية إلى تنسيق منظم يدعم التكوينات المعتمدة على الذكاء الاصطناعي وتستخدم قاعدة بيانات متجهة محلية لاسترجاع التشابه الدلالي، مما يوفر أدلة مستندة إلى الوثائق لاستجابات التوليد المعزز بالاسترجاع (RAG).
شملت تقييم الأداة المقترحة استخراج المواصفات من أوراق بيانات مختلفة لأجهزة الاستشعار والمعدات ومقارنتها بالقيم الحقيقية لتقييم الدقة والكمال. أظهرت النتائج تحسنًا كبيرًا في موثوقية الإجابة على أسئلة التكوين من البداية إلى النهاية (QA) عند مقارنتها بقاعدة تجارية، ChatPDF. على وجه التحديد، حققت الطريقة المقترحة زيادة في الاسترجاع من 0.636 إلى 0.926 وزيادة في الدقة من 0.595 إلى 0.807 عبر 960 زوجًا ذهبيًا من أسئلة وأجوبة، مما يشير إلى أن الأداة تعزز بشكل فعال اكتساب المواصفات الرئيسية وموثوقية التكوين بشكل عام.
مقدمة
تسلط مقدمة ورقة البحث هذه الضوء على التحديات التي تطرحها التوسع السريع لتطبيقات إنترنت الأشياء (IoT) عبر مختلف القطاعات، بما في ذلك المدن الذكية والرعاية الصحية. مع تنوع أجهزة إنترنت الأشياء بشكل متزايد، يواجه المستخدمون صعوبات في تكوين أجهزة الاستشعار والمعدات غير المتجانسة بسبب اختلاف الواجهات وبروتوكولات الاتصال. تؤكد الورقة أن المستخدمين غير الخبراء غالبًا ما يواجهون صعوبات مع تعقيدات متطلبات الأجهزة المحددة، خاصة عند التعامل مع الوثائق غير المهيكلة مثل أوراق بيانات PDF، التي تفتقر إلى التخزين الداخلي لصيغ قابلة للقراءة بواسطة الآلة.
لمعالجة هذه التحديات، يقترح المؤلفون أداة استخراج بيانات تقنية تعتمد على الذكاء الاصطناعي التوليدي مصممة لتحويل محتوى أوراق البيانات غير المهيكلة إلى صيغ منظمة وقابلة للقراءة بواسطة الآلة. تهدف هذه الأداة إلى تسهيل دمج مواصفات الأجهزة في أنظمة التكوين الآلي، مما يعزز موثوقية عمليات الإعداد المعتمدة على الذكاء الاصطناعي. تستخدم الطريقة المقترحة استراتيجية استخراج قائمة على المخطط لتحديد وتطبيع المواصفات الرئيسية، مثل الخصائص الكهربائية وبروتوكولات الاتصال، مما يضمن توافقًا متسقًا عبر وثائق مختلف الشركات المصنعة. تؤكد الورقة أن هذه الطريقة تحسن بشكل كبير أداء أنظمة التوليد المعزز بالاسترجاع (RAG) في الأسفل، خاصة للأجهزة غير المرئية، مما يساهم في تقديم مساعدة أكثر فعالية وموثوقية في تكوين إنترنت الأشياء.
طرق
في هذا القسم، يصف المؤلفون إعداد التجربة ومجموعة بيانات التقييم المستخدمة لتقييم قوة ومرونة أداة الاستخراج المقترحة عبر وثائق تقنية متنوعة. قاموا بتجميع مجموعة بيانات تتكون من ثمانية أوراق بيانات متميزة من شركات تصنيع أجهزة إنترنت الأشياء المختلفة، مع التركيز على التباين في هيكل الوثيقة، والمجال الفني، وكثافة المحتوى لضمان تقييم شامل. تم إجراء التجارب على محطة عمل محلية مزودة بمعالج Intel Core i7-12700F، وGPU RTX 5070 Ti، و32 جيجابايت من الذاكرة العشوائية.
بالنسبة للتفكير التوليدي، استخدم المؤلفون النموذج المحلي google/gemma-2-27b-it، بينما تم توليد التضمينات الدلالية باستخدام نموذج text-embedding-3-small بحجم شريحة 512 توكن، وتم فهرستها عبر FAISS. كان متوسط وقت المعالجة من البداية إلى النهاية للاستفسارات حوالي 10 ثوانٍ، والذي زاد عندما كان من الضروري استخدام آلية احتياطية بصرية. يتم تفعيل هذه الآلية الاحتياطية البصرية عندما تفشل الاستخراجات النصية في تقديم أدلة كافية، مثل عندما يكون الحقل المستهدف فارغًا بعد التحقق أو عندما لا يعيد المسترجع سياقًا عالي الثقة للاستفسار.
نتائج
في هذا القسم، يقدم المؤلفون النتائج التجريبية من التجارب التي أجريت على مجموعة بيانات مختارة من أوراق بيانات إنترنت الأشياء غير المتجانسة. يقيمون أداء النهج الأساسي، ChatPDF، جنبًا إلى جنب مع أداة استخراج البيانات التقنية المعتمدة على الذكاء الاصطناعي التوليدي المقترحة. يبرز التحليل العلاقة بين اكتمال الاسترجاع (Recall) ودقة التوليد، موضحًا كيف تعالج الهيكلية متعددة الوسائط بشكل فعال قيود طرق الاستخراج التقليدية التي تعتمد فقط على النص. تتكون مجموعة التقييم من 960 استفسارًا، بما في ذلك 800 استفسار يمكن الإجابة عليه و160 استفسارًا غير قابل للإجابة عمدًا، لتقييم قدرة النظام على الامتناع عن تقديم إجابات عندما تكون المواصفات غائبة.
تكشف النتائج عن تحسين كبير في الاسترجاع، حيث زاد من 0.636 إلى 0.926، وزيادة في الدقة العامة، حيث ارتفعت من 0.595 إلى 0.807، عند النظر في مجموعة التقييم الكاملة التي تشمل الاستفسارات غير القابلة للإجابة. تدعم هذه النتائج فرضية المؤلفين بأن أوراق البيانات التقنية هي كيانات متعددة الوسائط، حيث يتم تمثيل المعلومات الأساسية غالبًا في صيغ غير نصية، مثل الرسوم البيانية الميكانيكية ومخططات التوقيت. يبرز هذا التحسين فعالية الأداة المقترحة في استخراج البيانات الحيوية من أوراق البيانات المعقدة.
نقاش
في هذا القسم، يقدم المؤلفون أداة جديدة لاستخراج البيانات التقنية تعتمد على الذكاء الاصطناعي التوليدي مصممة لتحويل أوراق بيانات PDF وHTML غير المتجانسة إلى تنسيق موحد ومطابق للمخطط، مما يعزز موثوقية التكوينات المعتمدة على الذكاء الاصطناعي لأجهزة إنترنت الأشياء. تدمج الأداة المعرفة الهيكلية المستخرجة في قاعدة بيانات متجهة محلية، مما يسهل الاسترجاع المستند إلى الوثائق لتطبيقات التوليد المعزز بالاسترجاع (RAG) في الأسفل. يضع المؤلفون معيار QA ذهبي تم التحقق منه يدويًا، مما يوضح أن استخراج المخطط عالي الجودة يحسن بشكل كبير موثوقية QA لتكوين من البداية إلى النهاية مقارنةً بحلول RAG التجارية الحالية. تعالج هذه الطريقة بشكل فعال التحديات مثل تعقيد اختيار الأجهزة لغير الخبراء، وعدم قدرة نماذج الذكاء الاصطناعي على دعم الأجهزة غير المرئية، وتباين الوثائق التقنية.
كما يسلط النقاش الضوء على قيود الأنظمة الحالية في سياق تكوين إنترنت الأشياء وفهم الوثائق التقنية. بينما استكشفت الدراسات السابقة جوانب مختلفة من أتمتة إنترنت الأشياء المعتمدة على الذكاء الاصطناعي، لم يتم دمج أي منها التفكير المدفوع بواسطة LLM، ومساعدة التكوين، وتأسيس الوثائق، والاستخراج القائم على المخطط، وإرشادات QA في إطار متماسك. تهدف الأداة المقترحة إلى سد الفجوة بين الوثائق التقنية غير المهيكلة والمتطلبات للحصول على تكوين موثوق معتمد على الذكاء الاصطناعي، مما يوفر أساسًا قابلًا للتوسع لدعم تكوين الأجهزة الآلي في المستقبل. يوضح المؤلفون هيكل الأداة، موضحين تصميمها التشغيلي ذو المرحلتين، وتقنيات معالجة الوثائق، وعمليات تطبيع المخطط، ودمجها مع سير عمل مساعدة الإعداد، مما يساهم في تحسين تجربة المستخدم والسلامة التشغيلية في بيئات إنترنت الأشياء.
قيود
تحدد الدراسة عدة قيود رئيسية تستدعي المزيد من التحسينات على الأداة المقترحة. أولاً، هناك مشكلة غموض المعلمات، حيث قد تسيء الأداة تفسير الحقول المتشابهة دلاليًا، مثل التمييز بين الظروف القصوى المطلقة والظروف التشغيلية الموصى بها. يمكن أن يؤدي هذا الغموض إلى إيجابيات كاذبة متبقية، خاصة عندما لا تكون حدود الأقسام في البيانات محددة بوضوح.
ثانيًا، تظهر الأداة تأخيرًا في وقت التشغيل، مع وقت استخراج يبلغ حوالي 10 ثوانٍ لكل استفسار. بينما يعتبر هذا التأخير غير مناسب لتطبيقات التحكم في الوقت الحقيقي، إلا أنه يعتبر مقبولًا لمهام التكوين، حيث تتم معالجة أوراق البيانات عادةً مرة واحدة خلال إعداد النظام الأولي. وبالتالي، يبقى التركيز على دقة الاستخراج بدلاً من تحقيق سرعات على مستوى المللي ثانية. أخيرًا، تم تصميم المخطط الحالي خصيصًا لأجهزة استشعار إنترنت الأشياء، ويتطلب تكييفه لفئات الأجهزة الأخرى هندسة مخطط محددة للمجال. ومع ذلك، تم تصميم خط الأنابيب الأساسي، الذي يتضمن معالجة مسبقة تعتمد على التخطيط، وآلية احتياطية بصرية، ومنطق التحقق، ليكون عامًا وقابلًا للتطبيق عبر مجالات الأجهزة المختلفة.
DOI: https://doi.org/10.3390/s26041081
PMID: https://pubmed.ncbi.nlm.nih.gov/41755023
Publication Date: 2026-02-07
Author(s): Dezheng Kong et al.
Primary Topic: Topic Modeling
Overview
The research paper presents an AI-based setup assistance tool designed to facilitate the configuration of Internet of Things (IoT) application systems, particularly for non-expert users. The authors highlight the challenges faced in reliably configuring newly released or previously unseen devices, as existing AI models often yield incomplete or erroneous outputs. To enhance the reliability of these configurations, the paper proposes a generative AI-based technical data extraction tool that utilizes schema-based extraction from PDF or HTML datasheets. This tool converts technical information into a structured format that supports AI-assisted configurations and employs a local vector database for semantic similarity retrieval, thereby providing document-grounded evidence for Retrieval-Augmented Generation (RAG) responses.
The evaluation of the proposed tool involved extracting specifications from various sensor and device datasheets and comparing these with ground-truth values to assess accuracy and completeness. The results demonstrated a significant improvement in end-to-end configuration question-answering (QA) reliability when compared to a commercial baseline, ChatPDF. Specifically, the proposed method achieved a Recall increase from 0.636 to 0.926 and an Accuracy increase from 0.595 to 0.807 across 960 golden QA pairs, indicating that the tool effectively enhances the acquisition of key specifications and overall configuration reliability.
Introduction
The introduction of this research paper highlights the challenges posed by the rapid expansion of Internet of Things (IoT) applications across various sectors, including smart cities and healthcare. As IoT devices become increasingly diverse, users face difficulties in configuring heterogeneous sensors and devices due to varying interfaces and communication protocols. The paper emphasizes that non-expert users often struggle with the complexities of device-specific requirements, particularly when dealing with unstructured documentation such as PDF datasheets, which lack the onboard storage for machine-readable formats.
To address these challenges, the authors propose a generative AI-based technical data extraction tool designed to convert unstructured datasheet content into structured, machine-readable formats. This tool aims to facilitate the integration of device specifications into automated configuration systems, thereby enhancing the reliability of AI-assisted setup processes. The proposed method utilizes a schema-based extraction strategy to identify and normalize key specifications, such as electrical characteristics and communication protocols, ensuring consistent alignment across different manufacturers’ documentation. The paper asserts that this approach significantly improves the performance of downstream Retrieval-Augmented Generation (RAG) systems, particularly for unseen IoT devices, thereby contributing to more effective and reliable IoT configuration assistance.
Methods
In this section, the authors describe the experimental setup and evaluation dataset used to assess the proposed extraction tool’s robustness and adaptability across varied technical documentation. They curated a dataset consisting of eight distinct datasheets from different IoT device manufacturers, emphasizing variability in document structure, technical domain, and content density to ensure a comprehensive evaluation. The experiments were conducted on a local workstation equipped with an Intel Core i7-12700F CPU, an RTX 5070 Ti GPU, and 32 GB of RAM.
For generative reasoning, the authors employed the locally deployed model google/gemma-2-27b-it, while semantic embeddings were generated using the text-embedding-3-small model with a chunk size of 512 tokens, indexed via FAISS. The average end-to-end processing time for queries was approximately 10 seconds, which increased when a visual fallback was necessary. This visual fallback mechanism is activated when text-based extraction fails to provide sufficient evidence, such as when the target field is null after validation or when the retriever does not return high-confidence context for the query.
Results
In this section, the authors present the empirical findings from experiments conducted on a curated dataset of heterogeneous IoT datasheets. They evaluate the performance of the baseline approach, ChatPDF, alongside their proposed generative AI-based technical data extraction tool. The analysis emphasizes the relationship between retrieval completeness (Recall) and generation precision, demonstrating how the multimodal architecture effectively addresses the limitations of traditional text-only extraction methods. The evaluation set comprises 960 queries, including 800 answerable and 160 deliberately unanswerable queries, to assess the system’s ability to abstain from providing answers when specifications are absent.
The results reveal a significant enhancement in Recall, increasing from 0.636 to 0.926, and Overall Accuracy, rising from 0.595 to 0.807, when considering the full evaluation set that includes unanswerable queries. These findings substantiate the authors’ hypothesis that technical datasheets are multimodal entities, with essential information often represented in nontextual formats, such as mechanical drawings and timing diagrams. This improvement underscores the effectiveness of the proposed tool in extracting critical data from complex datasheets.
Discussion
In this section, the authors present a novel generative AI-based technical data extraction tool designed to convert heterogeneous PDF and HTML datasheets into a unified, schema-normalized format, enhancing the reliability of AI-assisted configurations for IoT devices. The tool integrates extracted structured knowledge into a local vector database, facilitating document-grounded retrieval for downstream retrieval-augmented generation (RAG) applications. The authors establish a manually verified golden QA benchmark, demonstrating that high-quality schema extraction significantly improves end-to-end configuration QA reliability compared to existing commercial RAG solutions. This approach effectively addresses challenges such as the complexity of device selection for non-experts, the inability of AI models to support unseen devices, and the heterogeneity of technical documentation.
The discussion also highlights the limitations of existing systems in the context of IoT configuration and technical document understanding. While previous studies have explored various aspects of AI-assisted IoT automation, none have integrated LLM-driven reasoning, configuration assistance, document grounding, schema-based extraction, and QA guidance into a cohesive framework. The proposed tool aims to bridge the gap between unstructured technical documentation and the requirements for reliable AI-assisted configuration, providing a scalable foundation for future automated device-configuration support. The authors outline the architecture of the tool, detailing its two-phase operational design, document preprocessing techniques, schema normalization processes, and integration with a setup assistance workflow, ultimately contributing to improved user experience and operational safety in IoT environments.
Limitations
The research identifies several key limitations that warrant further enhancements to the proposed tool. Firstly, there is an issue of parameter ambiguity, where the tool may misinterpret semantically similar fields, such as distinguishing between absolute maximum and recommended operating conditions. This ambiguity can lead to residual false positives, particularly when section boundaries in the data are not clearly defined.
Secondly, the tool exhibits runtime latency, with an extraction time of approximately 10 seconds per query. While this latency is unsuitable for real-time control applications, it is deemed acceptable for configuration tasks, as datasheets are typically processed once during the initial system setup. Consequently, the focus remains on extraction accuracy rather than achieving millisecond-level speeds. Lastly, the current schema is specifically tailored for IoT sensors, and adapting it for other device classes necessitates domain-specific schema engineering. Nevertheless, the foundational pipeline, which includes layout-aware preprocessing, visual fallback, and validation logic, is designed to be generic and applicable across various hardware domains.