DOI: https://doi.org/10.1145/3706598.3713337
تاريخ النشر: 2025-04-24
المؤلف: Bhada Yun وآخرون
الموضوع الرئيسي: إدارة المعلومات الشخصية وسلوك المستخدم
نظرة عامة
تستكشف الدراسة دمج الأدوات المدعومة بالذكاء الاصطناعي في العمل المعرفي، مع التركيز بشكل خاص على تحديات تركيب المعلومات غير المنظمة لاتخاذ قرارات مستنيرة. من خلال تطوير Yodeai، وهو نظام مدعوم بالذكاء الاصطناعي، ودراسات مستخدمين تشمل 16 مدير منتج، تحدد الأبحاث ثلاثة متطلبات أساسية للذكاء الاصطناعي التوليدي: التحكم القابل للتكيف من قبل المستخدم، آليات التعاون الشفافة، ودمج المعرفة الخلفية مع المعلومات الخارجية. ومع ذلك، تم ملاحظة قيود كبيرة أيضًا، بما في ذلك الاعتماد المفرط على الذكاء الاصطناعي، وعزلة المستخدم، والعوامل السياقية التي تتجاوز قدرات الذكاء الاصطناعي.
تؤكد النتائج على الحاجة إلى أدوات الذكاء الاصطناعي لدعم التحكم من قبل المستخدم، وطرق التحقق، والنهج التعاونية. تقترح الدراسة مبادئ تصميم تعطي الأولوية للتكيف مع سير العمل المتنوع، والمساءلة في كل من السياقات الشخصية والتعاونية، والتشغيل البيني الواعي بالسياق. تهدف هذه المبادئ إلى توجيه تطوير أنظمة الذكاء الاصطناعي المتمحورة حول الإنسان التي تعزز بدلاً من أن تحل محل القدرات البشرية. مع استمرار تطور الذكاء الاصطناعي في البيئات المهنية، سيكون من الضروري معالجة التحديات المحددة لتعزيز التعاون الفعال بين الإنسان والذكاء الاصطناعي، مما يؤدي في النهاية إلى تحسين عمليات اتخاذ القرار عبر مجالات مختلفة من العمل المعرفي.
مقدمة
في مقدمة الورقة، يبرز المؤلفون تعقيد اتخاذ القرار في العمل المعرفي، حيث يواجه المديرون مشاكل مترابطة وديناميكية، تُعرف باسم “الفوضى” من قبل راسل أكوف. تُقدّر نسبة كبيرة من بيانات المؤسسات – حوالي 80% – بأنها فوضوية وغير منظمة، مما يعقد استخراج رؤى موثوقة لاتخاذ قرارات مستنيرة. بينما تحمل الأدوات المعتمدة على الذكاء الاصطناعي وعودًا لهيكلة وتركيب هذه البيانات، إلا أنها لا يمكن أن تحل محل الطبيعة التكرارية والتعاونية لتحليل البيانات التي تعتمد على خبرة المجال. يؤكد المؤلفون على ضرورة استكشاف الفرص والقيود التي يفرضها الذكاء الاصطناعي التوليدي في العمل المعرفي، خصوصًا من خلال تطوير نظام مدعوم بالذكاء الاصطناعي يسمى Yodeai، مصمم لمديري المنتجات (PMs).
حددت الدراسة التكوينية التي أجريت مع 20 عاملًا معرفيًا، بما في ذلك مديري المنتجات وغيرهم من المهنيين، ثلاثة تحديات رئيسية: تركيب كميات هائلة من البيانات غير المنظمة، استخراج رؤى موثوقة، والتعاون الفعال. تشير النتائج إلى أن أدوات الذكاء الاصطناعي الناجحة يجب أن تدمج عناصر العمل السياقية، والمعرفة الشخصية بالمجال، وعملية اتخاذ القرار التكرارية. شملت التقييم التجريبي لـ Yodeai دراسة مدتها 80 دقيقة مع 16 مدير منتج، الذين استخدموا أدوات تفاعلية لتحليل مجموعات البيانات. أظهرت النتائج أنه بينما سهلت Yodeai استكشاف البيانات المتنوعة واتخاذ القرار، ظهرت تحديات مثل الاعتماد المفرط على الأتمتة ومخاوف الخصوصية. يقترح المؤلفون ثلاثة تداعيات تصميمية لتفاعلات الذكاء الاصطناعي في العمل المعرفي: القابلية للتكيف، والمساءلة، والتشغيل البيني، مما يساهم في فهم أعمق لدور الذكاء الاصطناعي في تعزيز عمليات العمل المعرفي.
النتائج
في هذا القسم، تقدم الأبحاث تحليلًا شاملاً للنتائج المستخلصة من المقابلات مع مديري المنتجات (PMs) بشأن تجاربهم وتحدياتهم في استخدام أدوات الذكاء الاصطناعي لإدارة المنتجات. من الملاحظ أن الذكاء الاصطناعي يساعد مديري المنتجات في التغلب على “متلازمة الصفحة الفارغة” من خلال توفير نقاط انطلاق للمحتوى والأفكار. أشار المشاركون إلى تباين أنواع البيانات والمصادر التي يواجهونها، حيث يركز مديري المنتجات الكبار أكثر على الأولويات الاستراتيجية بينما يتعمق المديريون الصغار في احتياجات العملاء. تسلط الدراسة الضوء على أهمية التواصل المخصص مع أصحاب المصلحة، حيث تتطلب الأدوار المختلفة مخرجات وتركيبات بيانات متميزة.
تكشف النتائج أيضًا أن مديري المنتجات يقدرون التعاون المنظم والشفاف الذي تسهله أدوات مثل Yodeai، مما يعزز العمل الجماعي من خلال مساحات ومخرجات قابلة للمشاركة. ومع ذلك، تم الإشارة إلى المخاوف بشأن خامة مخرجات البيانات للعروض التقديمية وضرورة السياق في حل المشكلات. أكد المشاركون على الحاجة إلى التفاعل المباشر مع بيانات المصدر للحصول على رؤى دقيقة، حيث قد تفتقر الملخصات التي ينتجها الذكاء الاصطناعي إلى العمق العاطفي الموجود في ملاحظات العملاء الأصلية. علاوة على ذلك، تم تسليط الضوء على التبني الحذر للأدوات الخارجية المدعومة بالذكاء الاصطناعي بسبب مخاطر السرية وتنوع سير العمل بين مديري المنتجات، مما يشير إلى الاعتماد على الأدوات المعتمدة من الشركة ومزيج من العمليات اليدوية والآلية. بشكل عام، تؤكد النتائج على التفاعل المعقد بين استخدام الذكاء الاصطناعي، وإدارة البيانات، والديناميات التعاونية داخل إدارة المنتجات.
المناقشة
تسلط قسم المناقشة في ورقة البحث الضوء على الدور التحويلي للذكاء الاصطناعي، وخاصة النماذج التوليدية، في تعزيز الإنتاجية عبر مجالات العمل المعرفي المختلفة، بما في ذلك استشارات الإدارة، وتطوير البرمجيات، والكتابة. لقد أظهرت أدوات الذكاء الاصطناعي أنها تساعد في مهام مثل التخطيط، والترجمة، والتدقيق اللغوي، بينما تولد أيضًا ملخصات تصميم لمصممي تجربة المستخدم وتساعد في التقييمات الطبية. ومع ذلك، تكشف المقابلات مع العمال المعرفيين عن تصورات مختلطة؛ بينما يرى الكثيرون إمكانية الذكاء الاصطناعي لأتمتة المهام الروتينية، تستمر المخاوف بشأن إزالة الإنسانية، والانفصال، والمعلومات المضللة. حددت دراسة تكوينية تشمل مقابلات شبه منظمة مع محترفين متنوعين التحديات الرئيسية في إدارة المعلومات، والتعاون، واتخاذ القرار، مما يبرز الحاجة إلى منصات مركزية تدمج قدرات الذكاء الاصطناعي لتعزيز تجربة المستخدم والكفاءة.
استنادًا إلى هذه الرؤى، طور المؤلفون Yodeai، وهو نظام ذكاء اصطناعي تفاعلي مصمم لتسهيل التنقل التعاوني في البيانات واتخاذ القرار بشكل خاص لمديري المنتجات. يتضمن النظام ميزات مثل أداة الأسئلة والأجوبة للتفاعل الفوري مع البيانات، وأداة رؤى المستخدم لتصور بيانات المستخدم، ومتتبع نقاط الألم لتحليل اتجاهات الملاحظات. أكدت عملية التصميم على المرونة والقابلية للتكيف، مما يسمح للمستخدمين بالتفاعل مع مخرجات الذكاء الاصطناعي من خلال طرق متعددة. تهدف تنفيذ Yodeai، المدعوم بنماذج ذكاء اصطناعي متقدمة، إلى معالجة الاحتياجات المحددة لتحسين التنظيم، والفهم السياقي، والقدرات التعاونية في العمل المعرفي، مما يساهم في النهاية في تقديم مبادئ تصميم قيمة لأنظمة الذكاء الاصطناعي المستقبلية.
القيود
تناقش قسم القيود في ورقة البحث عدة تحديات حاسمة مرتبطة باستخدام الذكاء الاصطناعي التوليدي، تحديدًا في سياق منصة Yodeai. أشار المشاركون إلى ثلاثة قيود رئيسية: الاعتماد المفرط على المخرجات الآلية، البيانات القديمة، ومخاوف الخصوصية. أعرب العديد من المستخدمين عن عدم رضاهم عن عمق الرؤى التي تولدها Yodeai، مشيرين إلى أن المحتوى الذي يتم إنشاؤه تلقائيًا غالبًا ما يفتقر إلى الاتصال الشخصي وقد يكون مطولًا بشكل مفرط. بالإضافة إلى ذلك، أشار المشاركون إلى ضرورة التحديثات المستمرة لضمان صلة البيانات، حيث يمكن أن يواجه الذكاء الاصطناعي التوليدي صعوبة في تحديد الرؤى القديمة. كانت قضايا الخصوصية أيضًا مصدر قلق، حيث كان المستخدمون مترددين في استخدام الأداة دون موافقة الشركة المناسبة، مما يبرز الحاجة إلى السرية في التعامل مع المعلومات الحساسة.
علاوة على ذلك، حددت الدراسة عوامل سياقية تتجاوز قدرات Yodeai، مثل سياق العمل ومدخلات المتعاونين، والتي تعتبر ضرورية لاتخاذ قرارات مستنيرة. كما أثار المشاركون مخاوف بشأن العزلة المحتملة والتحيز التأكيدي، مما يشير إلى أن الاعتماد على الذكاء الاصطناعي قد يعيق الإبداع والتعاون. قد يحد النهج العميق للدراسة، الذي يركز على مديري المنتجات داخل شركات البرمجيات، من إمكانية تعميم النتائج. بينما تعتبر الرؤى المكتسبة قيمة، فإنها تؤكد على الحاجة إلى مزيد من البحث عبر مجالات متنوعة وعلى مدى أطول لفهم الآثار المترتبة على الذكاء الاصطناعي التوليدي في العمل المعرفي بشكل كامل.
DOI: https://doi.org/10.1145/3706598.3713337
Publication Date: 2025-04-24
Author(s): Bhada Yun et al.
Primary Topic: Personal Information Management and User Behavior
Overview
The study investigates the integration of AI-powered tools in knowledge work, particularly focusing on the challenges of synthesizing unstructured information for informed decision-making. Through the development of Yodeai, an AI-enabled system, and user studies involving 16 product managers, the research identifies three essential requirements for Generative AI: adaptable user control, transparent collaboration mechanisms, and the integration of background knowledge with external information. However, significant limitations were also noted, including overreliance on AI, user isolation, and contextual factors beyond the AI’s capabilities.
The findings emphasize the need for AI tools to support user control, verification methods, and collaborative approaches. The study proposes design principles that prioritize adaptability to diverse workflows, accountability in both personal and collaborative contexts, and context-aware interoperability. These principles aim to guide the development of human-centered AI systems that enhance rather than replace human capabilities. As AI continues to evolve in professional environments, addressing the identified challenges will be vital for fostering effective human-AI collaboration, ultimately leading to improved decision-making processes across various domains of knowledge work.
Introduction
In the introduction of the paper, the authors highlight the complexity of decision-making in knowledge work, where managers face interconnected and dynamic problems, referred to as “messes” by Russell Ackoff. A significant portion of organizational data—estimated at 80%—is messy and unstructured, complicating the extraction of reliable insights for informed decision-making. While AI-based tools hold promise for structuring and synthesizing this data, they cannot fully replace the iterative and collaborative nature of data analysis that relies on domain expertise. The authors emphasize the necessity to explore the opportunities and limitations of generative AI in knowledge work, particularly through the development of an AI-enabled system called Yodeai, designed for product managers (PMs).
The formative study conducted with 20 knowledge workers, including PMs and other professionals, identified three primary challenges: the synthesis of vast unstructured data, the extraction of reliable insights, and effective collaboration. The findings suggest that successful AI tools must integrate contextual work elements, personal domain knowledge, and the iterative decision-making process. The empirical evaluation of Yodeai involved an 80-minute study with 16 PMs, who utilized interactive widgets to analyze data collections. Results indicated that while Yodeai facilitated diverse data exploration and decision-making, challenges such as overreliance on automation and privacy concerns emerged. The authors propose three design implications for AI interactions in knowledge work: adaptability, accountability, and interoperability, contributing to a deeper understanding of AI’s role in enhancing knowledge work processes.
Results
In this section, the research presents a comprehensive analysis of the findings from interviews with product managers (PMs) regarding their experiences and challenges in utilizing AI tools for product management. A significant observation is that AI assists PMs in overcoming “blank page syndrome” by providing starting points for content and ideas. Participants noted the variability in data types and sources they encounter, with senior PMs focusing more on strategic priorities while junior PMs delve deeper into customer needs. The study highlights the importance of tailored communication with stakeholders, as different roles require distinct outputs and data synthesis.
The findings also reveal that PMs value organized and transparent collaboration facilitated by tools like Yodeai, which enhances teamwork through shareable spaces and outputs. However, concerns about the rawness of data outputs for presentations and the necessity of context in problem-solving were noted. Participants emphasized the need for direct engagement with source data to gain nuanced insights, as AI-generated summaries may lack the emotional depth found in original customer feedback. Furthermore, the cautious adoption of external AI tools due to confidentiality risks and the diverse workflows among PMs were highlighted, indicating a reliance on company-approved tools and a mix of manual and automated processes. Overall, the results underscore the complex interplay between AI utilization, data management, and the collaborative dynamics within product management.
Discussion
The discussion section of the research paper highlights the transformative role of AI, particularly generative models, in enhancing productivity across various knowledge work domains, including management consulting, software development, and writing. AI tools have been shown to assist in tasks such as planning, translation, and proofreading, while also generating design briefs for UX designers and aiding in medical assessments. However, interviews with knowledge workers reveal mixed perceptions; while many see the potential for AI to automate mundane tasks, concerns about dehumanization, disconnection, and misinformation persist. A formative study involving semi-structured interviews with diverse professionals identified key challenges in information management, collaboration, and decision-making, emphasizing the need for centralized platforms that integrate AI capabilities to enhance user experience and efficiency.
Building on these insights, the authors developed Yodeai, an interactive AI system designed to facilitate collaborative data navigation and decision-making specifically for product managers. The system incorporates features such as a Q&A widget for real-time data interaction, a User Insights widget for visualizing user data, and a Pain Point Tracker for analyzing feedback trends. The design process emphasized flexibility and adaptability, allowing users to engage with AI outputs through various modalities. The implementation of Yodeai, powered by advanced AI models, aims to address the identified needs for improved organization, contextual understanding, and collaborative capabilities in knowledge work, ultimately contributing valuable design principles for future AI systems.
Limitations
The section on limitations in the research paper discusses several critical challenges associated with the use of generative AI, specifically in the context of the Yodeai platform. Participants highlighted three primary limitations: overreliance on automated outputs, outdated data, and privacy concerns. Many users expressed dissatisfaction with the depth of insights generated by Yodeai, noting that auto-generated content often lacked personal connection and could be overly verbose. Additionally, participants pointed out the necessity for continuous updates to ensure the relevance of data, as generative AI can struggle to identify stale insights. Privacy issues were also a concern, with users hesitant to utilize the tool without proper company approval, emphasizing the need for confidentiality in handling sensitive information.
Furthermore, the study identified contextual factors that extend beyond Yodeai’s capabilities, such as business context and collaborator input, which are essential for informed decision-making. Participants also raised concerns about potential isolation and confirmation bias, suggesting that reliance on AI could stifle creativity and collaboration. The study’s depth-first approach, focusing on product managers within software companies, may limit the generalizability of findings. While the insights gained are valuable, they underscore the need for further research across diverse fields and over longer time frames to fully understand the implications of generative AI in knowledge work.