الكلمات الرئيسية: الذكاء الاصطناعي • الذكاء الاصطناعي التوليدي • نماذج اللغة الكبيرة • المخاطر • وسائل التواصل الاجتماعي

في مارس 2019، تم خداع الرئيس التنفيذي لشركة طاقة مقرها المملكة المتحدة، من قبل . الجاني؟ ليس محتالًا متمرسًا، بل صوت اصطناعي تم إنشاؤه بواسطة الذكاء الاصطناعي يتظاهر بشكل مقنع بصوت الرئيس التنفيذي للشركة الأم الألمانية، مما أدى إلى خطوة خاطئة مكلفة (انظر الجدول 1A). هذه الحادثة، على الرغم من كونها مدهشة، هي مجرد قمة الجليد عندما يتعلق الأمر بالتطبيقات الخبيثة المحتملة للذكاء الاصطناعي التوليدي (GenAI) ونماذج اللغة الكبيرة (LLMs).

يحول GenAI وLLMs مشهد معالجة اللغة الطبيعية، وتوليد المحتوى، والفهم. يبدو أن إمكانياتهم لا حدود لها، واعدة بابتكارات قد تعيد تعريف الطريقة التي يتفاعل بها البشر والآلات مع بعضهم البعض أو يتعاونون للعمل معًا [10،26]. ومع ذلك، فإن التحديات التي تهدد نسيج الأمن السيبراني والأخلاقيات والهياكل الاجتماعية لدينا تكمن في ظلال هذه التقدمات [15].

تتجه هذه الورقة إلى الأزقة المظلمة لـ GenAI، مع التركيز على LLMs. من دورها المحتمل في توسيع نطاق حملات المعلومات المضللة، إلى إنشاء احتيالات مستهدفة أو أعذار مصممة خصيصًا، فإن المخاطر عميقة [5]. من الاستمرار الدقيق للتحيزات إلى تعزيز الصور النمطية بشكل صارخ [2، 6، 21]، يمكن أن تصبح GenAI مرايا تعكس وتضخم عيوب مجتمعنا. .

تخيل عالمًا حيث تهيمن الشبكات الآلية المدعومة بالذكاء الاصطناعي على وسائل التواصل الاجتماعي [7، 29]، حيث يتم إنتاج محتوى ضار أو متطرف بواسطة الخوارزميات [23]، وحيث تتلاشى الحدود بين الواقع والمحتوى الذي تم إنشاؤه بواسطة الذكاء الاصطناعي [3]. عالم حيث يمكن استخدام نفس التكنولوجيا لاستعادة قطع فنية مفقودة أو وثائق قديمة [4]، ويمكن أيضًا استخدامها لتزوير الأدلة، وصياغة الأعذار، وتصميم “الجريمة المثالية” (انظر الجدول 1B). العديد من هذه السيناريوهات التي كنا سننسبها حتى وقت قريب إلى الخيال العلمي المستقبلي قد تم تمكينها بالفعل بواسطة GenAI وLLMs.

بينما نتنقل في تعقيدات هذه القضايا، تسلط هذه الورقة الضوء على إلحاح استراتيجيات التخفيف القوية، والإرشادات الأخلاقية، والمراقبة المستمرة لأنظمة GenAI وLLM [9، 14]. لا تهدف هذه الاستكشافات فقط إلى تلخيص الأبحاث الدقيقة حول إساءة استخدام GenAI، ولكن أيضًا لإشعال نقاش حول الطبيعة المزدوجة لهذه التقنيات.

يشير الذكاء الاصطناعي التوليدي إلى أنظمة الذكاء الاصطناعي التي يمكنها توليد محتوى جديد، بما في ذلك النصوص والصور والصوت، بناءً على البيانات الموجودة [3]. على عكس الذكاء الاصطناعي التقليدي، الذي يركز على التعرف على الأنماط أو إجراء التنبؤات، يقوم GenAI بنشاط بإنشاء مخرجات جديدة. يتضمن ذلك خوارزميات ونماذج معقدة تتعلم من مجموعات بيانات كبيرة، وتتعرف على الهياكل الأساسية، وتقلدها بطرق فريدة [4]. تتعامل نماذج اللغة الكبيرة (LLMs)، وهي مجموعة فرعية من أنظمة GenAI، بشكل خاص مع البيانات النصية [10]. يتم تدريبها على مجموعات نصية واسعة، وتتعلم أنماط اللغة، والنحو، والسياق. LLMs مثل GPT (المحول المدرب مسبقًا التوليدي) قادرة على إنتاج نصوص متماسكة وذات صلة بالسياق، تشبه الكتابة البشرية. آلياتها
تشمل فهم استفسارات الإدخال، والوصول إلى بيانات التدريب الواسعة الخاصة بها، وتوليد استجابات نصية مناسبة، والتي يمكن أن تتراوح من الإجابة على الأسئلة إلى إنشاء المحتوى.

تمثل ديمقراطية الذكاء الاصطناعي التوليدي تغييرًا محوريًا في تكنولوجيا الذكاء الاصطناعي. شهدت فترة أوائل العقد 2020 تقدمًا كبيرًا في القدرات التقنية لـ GenAI، تميزت بتحسينات في خوارزميات التعلم الآلي، وخاصة في الشبكات العصبية. أدت هذه التقدمات إلى إنشاء نماذج أكثر تعقيدًا وكفاءة قادرة على فهم وتوليد أنماط بيانات معقدة.

في الوقت نفسه، كان هناك انخفاض ملحوظ في تكلفة تطوير ونشر أنظمة GenAI. كان ذلك بسبب انخفاض أسعار قوة الحوسبة وزيادة توفر الأدوات والمنصات مفتوحة المصدر، مما جعل GenAI متاحًا لمجموعة واسعة من المستخدمين والمطورين. علاوة على ذلك، جعل انتشار واجهات المستخدم السهلة والخدمات السحابية تقنيات GenAI أكثر وصولًا لغير المتخصصين. لقد حفز هذا الوصول الأوسع موجة من الابتكار والإبداع عبر مختلف القطاعات، مما سمح للأفراد والمنظمات الصغيرة بالاستفادة من GenAI لمجموعة متنوعة من التطبيقات، وبالتالي ديمقراطية مجال الذكاء الاصطناعي.

معًا، تميزت هذه العوامل المشهد الحالي لـ GenAI عن الأجيال السابقة من تقنيات الذكاء الاصطناعي، سواء من حيث التعقيد التكنولوجي أو التأثير الاجتماعي.

انخرطت الاتحاد الأوروبي (EU) والصين بنشاط في مناقشات لتنظيم الذكاء الاصطناعي التوليدي (GenAI). في الاتحاد الأوروبي، كان التركيز على إنشاء أطر تضمن الاستخدام الأخلاقي للذكاء الاصطناعي، مع التركيز على خصوصية البيانات، والشفافية، والمساءلة. تهدف اللوائح المقترحة إلى تصنيف أنظمة الذكاء الاصطناعي وفقًا لمستويات المخاطر الخاصة بها وتطبيق تدابير الإشراف المناسبة. من ناحية أخرى، ركزت الصين على استغلال إمكانيات GenAI مع حماية الأمن الوطني والاستقرار الاجتماعي. تشمل النهج الصيني تدابير صارمة للتحكم في البيانات وإرشادات لمنع إساءة استخدام تقنيات الذكاء الاصطناعي، خاصة في مجالات مثل المراقبة والرقابة.

تعكس هذه النهج المتباينة التعقيدات والأولويات المتنوعة في حوكمة GenAI، مما يوضح التحديات في إنشاء إطار تنظيمي مقبول عالميًا. من المحتمل أن تؤثر السياسات في هذه المناطق على المعايير والممارسات العالمية في مجال GenAI [14].

يوفر الشكل 1 نظرة عامة على المخاطر المحتملة المرتبطة بإساءة استخدام نماذج الذكاء الاصطناعي التوليدي من خلال رسم تقاطع بين نوع الضرر الذي يمكن أن يُلحق والنوايا الأساسية للجهات الفاعلة الخبيثة.

تشمل أنواع الأذى التهديدات لهوية الفرد الشخصية، مثل سرقة الهوية، انتهاكات الخصوصية، أو التشهير الشخصي، والتي نسميها “الأذى للشخص.” ثم لدينا إمكانية الخسارة المالية، الاحتيال، التلاعب في السوق، وأشكال أخرى من الأذى الاقتصادي، والتي تقع تحت “الأضرار المالية والاقتصادية.” يتم تصنيف تشويه نظام المعلومات، بما في ذلك انتشار المعلومات المضللة، الأخبار المزيفة، وأشكال أخرى من المحتوى الخادع [28]، كـ”التلاعب بالمعلومات.” وأخيرًا، الأضرار الأوسع التي يمكن أن تؤثر على المجتمعات، الهياكل الاجتماعية، والبنى التحتية الحيوية، بما في ذلك التهديدات للعمليات الديمقراطية، التماسك الاجتماعي، والأنظمة التكنولوجية، يتم تضمينها تحت “الأضرار الاجتماعية، الاجتماعية التقنية، والبنية التحتية.”

من ناحية أخرى من المصفوفة، لدينا الأهداف (أي النية) للجهات الفاعلة الخبيثة. “الخداع” ينطوي على تضليل الأفراد أو الكيانات لأغراض مختلفة، مثل الاحتيال، انتحال الشخصية، أو أنشطة احتيالية أخرى [16]. “الدعاية” هي النية للترويج لأجندة سياسية، أيديولوجية، أو تجارية معينة، غالبًا من خلال تشويه الحقائق أو التلاعب بالعواطف. و”عدم الأمانة” تغطي مجموعة من الأنشطة حيث يتم إخفاء الحقيقة أو تشويهها لتحقيق مكاسب شخصية، ميزة تنافسية، أو دوافع أخرى خفية. بطبيعة الحال، لا تشمل هذه البعد الأهداف أو الدوافع وراء جميع أنواع إساءة استخدام GenAI المحتملة، لكنها تعمل كدليل لتأطير التطبيقات الخبيثة فيما يتعلق بنية الأذى.

في هذه المصفوفة، يمثل كل خلية تركيبة فريدة من الأذى والنية الخبيثة، موضحة الأشكال المتعددة من الإساءة الممكنة مع الذكاء الاصطناعي التوليدي. على سبيل المثال، قد يتم العثور على انتحال الهوية الذي تم إنشاؤه بواسطة الذكاء الاصطناعي لسرقة الهوية عند تقاطع “الأذى للشخص” و”الخداع.” وبالمثل، يمكن تمثيل حملات الأخبار المزيفة المدفوعة بالذكاء الاصطناعي للتأثير على الرأي العام عند تقاطع “التلاعب بالمعلومات” و”الدعاية.”

الجدول 2 يلخص أمثلة إثبات المفهوم للسيناريوهات التي يمكن فيها إساءة استخدام GenAI وLLMs عمدًا لأغراض غير أمينة، دعائية، أو خادعة. من خلال فهم هذا الإطار، يمكن لأصحاب المصلحة توقع التهديدات المحتملة بشكل أفضل ووضع استراتيجيات تخفيف محددة لحماية ضد الاستخدام الخبيث للذكاء الاصطناعي التوليدي.

تخيل للحظة أنك توم كروز، وفي يوم مثل أي يوم آخر (في عام 2021) تتصفح تغذيتك على وسائل التواصل الاجتماعي فقط لرؤية مقاطع فيديو لنفسك تلعب الجولف وتتعثر في منزلك (انظر الجدول 1ج). ما ستكون ردة فعلك إذا لم تسجل وتشارك تلك الفيديوهات بالفعل؟ الاستخدام الخبيث للتقدم التكنولوجي بالكاد هو خبر: كل تقنية جديدة قوية تأتي مع إساءة الاستخدام. مشكلة اللقطات المعدلة أو الصور المعدلة ليست جديدة، لكن تقنيات GenAI وdeepfake قد جلبت ثروة من التحديات الجديدة [22].

تتيح القدرة على إنشاء deepfakes، وتوفير نفي معقول، ونشر رسائل تحتية أو محتوى خادع، أن تكون GenAI أداة قوية في أيدي الجهات الفاعلة الخبيثة. دعونا نفكك بعضًا من أكثر التطبيقات الخبيثة لTechnologies GenAI بروزًا. الشكل 2 يوفر خريطة لمثل هذه التطبيقات المعقولة والمعروفة. في الجدول 3، قمنا بتلخيص عدة أمثلة لإثبات المفهوم للسيناريوهات التي يمكن فيها إساءة استخدام GenAI وLLMs لإلحاق الأذى الشخصي والمالي بالناس، وتشويه نظام المعلومات، والتلاعب بالأنظمة الاجتماعية التقنية والبنى التحتية.

يمكن لـ GenAI إنتاج صور لأشخاص تبدو حقيقية جدًا، كما لو كانت يمكن رؤيتها على منصات مثل فيسبوك، تويتر، أو تيندر. على الرغم من أن هؤلاء الأفراد لا وجود لهم في الواقع، إلا أن هذه الهويات الاصطناعية تُستخدم بالفعل في أنشطة خبيثة (انظر الجدول 1د).

هناك شركات تقدم “أشخاص مزيفين” للبيع. على سبيل المثال، على موقع Generated.Photos، يمكن للمرء شراء “شخص مزيف فريد، خالٍ من القلق” مقابل أو حتى 1000 شخص مقابل . إذا كان شخص ما يحتاج إلى عدد قليل من الأفراد المزيفين، ربما من أجل لعبة فيديو أو لتنويع موقع شركة، يمكنه الحصول على صورهم مجانًا من ThisPersonDoesNotExist.com. هناك حتى شركة تُدعى Rosebud. AI التي يمكنها تحريك هذه الشخصيات المزيفة وجعلها تتحدث (الهدف المعلن هو للألعاب والفن، لكن يمكن إساءة استخدام التكنولوجيا بسهولة).

تبدأ الهويات التي تم إنشاؤها بواسطة الذكاء الاصطناعي في الظهور على الإنترنت وتستخدم من قبل أشخاص حقيقيين بنوايا خبيثة. تشمل الأمثلة الجواسيس الذين يستخدمون وجوه جذابة للتسلل إلى مجتمعات الاستخبارات، والدعاة اليمينيين الذين يختبئون خلف ملفات تعريف مزيفة، والمضايقين عبر الإنترنت الذين يستخدمون وجهًا ودودًا لاستهداف ضحاياهم.

يمكن أن يؤدي القدرة على إنشاء صور ومقاطع فيديو خيالية إلى إساءة الاستخدام مثل توليد مواد إباحية غير consensual مدفوعة بالتزييف، أو إنشاء معلومات مضللة بغرض المضايقة أو التشهير. يشعر الباحثون بالقلق من أن نفس التقنيات يمكن استخدامها لبناء أعذار أو تزوير أدلة جنائية بطرق قابلة للتوسع وغير مكلفة. يشكل الذكاء الاصطناعي التوليدي تهديدات محتملة، خاصة في مجال توليد أدلة أو أعذار مزيفة. وقد عبرت مقالة نشرت في InWeb3 عن ذلك بأفضل الكلمات (انظر الجدول 1E):

تشمل التهديدات المحتملة التي يشكلها الذكاء الاصطناعي في مجال الأمن السيبراني هجمات ad hominem، مثل المضايقات الآلية عبر الإنترنت والاحتيالات المخصصة.

الأهداف الرئيسية للهجمات المدعومة بالذكاء الاصطناعي ليست فقط الأنظمة الضعيفة، ولكن أيضًا المستخدمين البشر وراء تلك الأنظمة. يمكن لتقنية الذكاء الاصطناعي جمع معلومات التعريف الشخصية (PII) وجمع بيانات وسائل التواصل الاجتماعي حول الضحايا المحتملين. يمكن أن تساعد هذه البيانات المعززة المجرمين في صياغة جهود هندسة اجتماعية أكثر تفصيلاً وإقناعًا من المهاجمين البشريين التقليديين.

بينما تتضمن “التصيد الاحتيالي” طُعمًا عامًا عبر البريد الإلكتروني، يتضمن “التصيد الاحتيالي المستهدف” جمع البيانات عن هدف معين وصياغة بريد إلكتروني مخصص. تاريخيًا، كان يُستخدم التصيد الاحتيالي المستهدف بشكل أساسي ضد الحكومات والشركات. ومع ذلك، مع أدوات الذكاء الاصطناعي التي يمكنها جمع البيانات من مصادر متنوعة، سيصبح التصيد الاحتيالي المستهدف أكثر شيوعًا وفعالية.

بعيدًا عن سرقة البيانات والابتزاز، يمكن استخدام الذكاء الاصطناعي التوليدي للتحرش الآلي. يمكن للمجرمين الإلكترونيين، بالإضافة إلى الأفراد ذوي النوايا الخبيثة، استخدام تقنية الذكاء الاصطناعي التوليدي لإطلاق حملات تحرش تؤدي إلى تعطيل الخدمات، وتدمير السمعة، أو أشكال أكثر تقليدية من التحرش عبر الإنترنت. قد تتراوح الضحايا من الشركات إلى الأفراد العاديين أو الشخصيات العامة. قد تشمل التكتيكات إنشاء حسابات وهمية على وسائل التواصل الاجتماعي تُستخدم لنشر الأكاذيب أو المكالمات الهاتفية الآلية باستخدام خدمات الصوت عبر بروتوكول الإنترنت (VoIP). قد يؤدي أتمتة عمليات التحرش إلى إنشاء حملة لا هوادة فيها ومن المحتمل أن تكون غير قابلة للتعقب ضد الضحايا.

يمكن أن يؤدي استخدام نماذج اللغة الكبيرة جنبًا إلى جنب مع أدوات الذكاء الاصطناعي التوليدي الأخرى إلى إحياء شخصيات اصطناعية تُستخدم في الاحتيالات والنصب والخداع (انظر الجدول 1G).

يمكن استخدام الذكاء الاصطناعي التوليدي لتوسيع نطاق إنشاء بيانات شخصية اصطناعية، بما في ذلك الحسابات المزيفة والمعاملات المزيفة (انظر الجدول 1G). على سبيل المثال، اكتشفت JPMorgan Chase أن استحواذها على منصة مساعدات مالية للطلاب شمل العديد من الحسابات الوهمية. كان يُعتقد أن المنصة تحتوي على 4.25 مليون حساب عميل، لكن البنك اكتشف لاحقًا أن 300,000 فقط كانت شرعية. يُزعم أن بائع المنصة استأجر عالم بيانات لتزوير معظم الحسابات. وبالمثل، واجهت Wells Fargo عقوبات عندما تم الكشف عن أن الموظفين فتحوا ما لا يقل عن 3.5 مليون حساب جديد باستخدام بيانات من عملاء موجودين دون موافقتهم. من خلال إنشاء رموز تعريف شخصية وعناوين بريد إلكتروني مزيفة، تم تحويل الأموال من حسابات شرعية إلى حسابات احتيالية. كانت الحسابات المزيفة أيضًا مشكلة في قطاعات وسائل التواصل الاجتماعي والتجزئة عبر الإنترنت، مما أدى إلى مشكلات مثل الرسائل المزعجة، والمراجعات المزيفة،
واحتيال مدعوم بتزوير المستخدمين. على سبيل المثال، كشفت PayPal أنها تعتقد أن 4.5 مليون من حساباتها لم تكن شرعية وربما كانت احتيالية.

يمكن للذكاء الاصطناعي التوليدي نسخ الأصوات والشبه، مما يجعل من الممكن للأفراد أن يظهروا كما لو كانوا يقولون أو يفعلون أي شيء تقريبًا. هذه التقنية مشابهة لمقاطع الفيديو “العميقة” ولكنها تنطبق على الأصوات.

الأصوات التي تم إنشاؤها بواسطة الذكاء الاصطناعي في الاحتيالات: تُستخدم الأصوات التي تم إنشاؤها بواسطة الذكاء الاصطناعي لتعزيز الاحتيالات، مما يجعلها أكثر إقناعًا (انظر الجدول 1H). على سبيل المثال، تلقى الناس مكالمات من ما يبدو أنه قريب يطلب المال، لكن الصوت تم إنشاؤه بواسطة الذكاء الاصطناعي كجزء من مخطط احتيالي.

تزوير الصوت والفدية: يمكن للجهات الفاعلة في التهديد بسهولة الحصول على بضع ثوانٍ من صوت شخص ما من وسائل التواصل الاجتماعي أو مصادر صوتية أخرى واستخدام الذكاء الاصطناعي التوليدي لإنتاج نصوص كاملة لما يريدون أن يقوله ذلك الشخص. وقد أدى ذلك إلى احتيالات حيث يبدو أن الأطفال يتصلون بآبائهم طالبين تحويل أموال كفدية (انظر الجدول 1I).

المصادقة الصوتية: يمكن استخدام الذكاء الاصطناعي لتجاوز أنظمة المصادقة الصوتية. على سبيل المثال، تسمح بعض شركات الخدمات المالية للمستخدمين بتنزيل المعلومات بناءً على التعرف على الصوت. يمكن استخدام الذكاء الاصطناعي لمحاكاة هذه الأصوات والحصول على وصول غير مصرح به.

تمتلك نماذج اللغة الكبيرة القدرة على صياغة محتوى مقنع يمكن أن يكرر السرد الكاذب ونظريات المؤامرة، بشكل فعال وعلى نطاق واسع (انظر الجدول 1J). وصف بعض الباحثين القلقين مؤخرًا نماذج اللغة الكبيرة مثل ChatGPT كأسلحة للغش الجماعي. يبدو أنه لا يمكن إنكار أن القدرة على إنشاء محتوى خيالي وغير واقعي أو مضلل من قبل الذكاء الاصطناعي التوليدي ونماذج اللغة الكبيرة لا مثيل لها.

بعد فترة وجيزة من إطلاق ChatGPT، اختبر الباحثون قدرته على إنتاج محتوى بناءً على أسئلة مليئة بنظريات المؤامرة والسرد الكاذب. كان المحتوى الذي تم إنشاؤه بواسطة الذكاء الاصطناعي مقنعًا لدرجة أن غوردون كروفتيز، الرئيس التنفيذي المشارك لشركة NewsGuard (شركة تتعقب المعلومات المضللة عبر الإنترنت)، صرح، “هذه الأداة ستكون أقوى أداة لنشر المعلومات المضللة التي كانت موجودة على الإنترنت.”

يمكن لـ ChatGPT إنتاج محتوى مقنع بسرعة دون الكشف عن مصادره. عند تزويده بأسئلة محملة بالمعلومات المضللة، يمكنه توليد تنويعات نظيفة من المحتوى بكميات كبيرة في ثوانٍ. عندما طلب الباحثون من NewsGuard من ChatGPT إنتاج محتوى بناءً على سرد كاذب، امتثل الذكاء الاصطناعي حوالي
من الوقت (انظر الجدول 1K). على سبيل المثال، عندما طُلب منه الكتابة من منظور نظرية المؤامرة أليكس جونز حول إطلاق النار في باركلاند، أنتج ChatGPT محتوى زعم بشكل خاطئ أن وسائل الإعلام السائدة والحكومة استخدمت “ممثلي الأزمات” لدفع أجندة السيطرة على الأسلحة.

ومع ذلك، قد يكون للاستخدام السيئ للذكاء الاصطناعي التوليدي عواقب كارثية عندما ننظر إلى الأنظمة الاجتماعية والتقنية والبنى التحتية. عند نشرها على نطاق كوكبي، يمتد تأثير الذكاء الاصطناعي التوليدي إلى ما هو أبعد من مجرد التقدم التكنولوجي: لديها القدرة على التأثير بشكل عميق على الأسس الأساسية لاقتصادنا وديمقراطيتنا وبنيتنا التحتية. كانت المراقبة المستهدفة، والرقابة، والواقع الاصطناعي مواضيع مثيرة للقلق في المجتمع البحثي.

مدعومة بالذكاء الاصطناعي التوليدي، يمكن أن تصل قدرات المراقبة، مثل أنظمة التعرف على الوجه، إلى مستويات غير مسبوقة من الدقة. عند دمجها مع معلومات فردية أخرى وبيانات عبر الإنترنت، يمكن أن تتعرف هذه الأنظمة ليس فقط على الأفراد ولكن أيضًا على توقع سلوكياتهم. مثل هذه التقدمات، بينما تعد واعدة في سياق الأمن، تثير مخاوف مقلقة بشأن الخصوصية وحقوق الأفراد. قد نكون قريبين من دخول عصر من المراقبة المدفوعة بالذكاء الاصطناعي التوليدي.

تشكل تقاطع الذكاء الاصطناعي التوليدي مع تعديل المحتوى والرقابة تحديات كبيرة للقيم الديمقراطية. بينما يمكن لنماذج اللغة الكبيرة اكتشاف وإزالة المحتوى الضار بكفاءة من المنصات الرقمية، فإن احتمال الاستخدام السيئ، خاصة من قبل الأنظمة الاستبدادية، يثير القلق. إن خطر قمع الأصوات المعارضة وتنقيح سرد واحد يهدد جوهر الديمقراطية.

في عصر الواقع الاصطناعي – الواقع المعزز (AR)، والواقع الافتراضي (VR)، والميتافيرس الواسع – يقف الذكاء الاصطناعي التوليدي كمهندس قوي. بفضل قدرته على صياغة بيئات افتراضية معقدة وغير قابلة للتمييز، يمتلك الذكاء الاصطناعي التوليدي القدرة على إعادة تعريف إدراكنا للواقع نفسه. ومع ذلك، فإن هذه القوة التحويلية ليست بدون عواقبها. مع تزايد انغماس هذه الواقع الاصطناعي وعدم قابليتها للتمييز عن عالمنا المادي، هناك خطر عميق من التلاعب. يمكن للكيانات غير الأخلاقية استغلال البيئات التي تم إنشاؤها بواسطة الذكاء الاصطناعي التوليدي للتأثير على معتقدات الأفراد، ومشاعرهم، وسلوكياتهم. من تعديل الإعلانات الافتراضية بشكل طفيف لتتوافق أكثر مع تفضيلات الأفراد، إلى إنشاء سرد افتراضي كامل يدفع أجندات أو أيديولوجيات معينة، فإن الإمكانية للتلاعب النفسي والسلوكي واسعة. بينما نحتضن عجائب الواقع الاصطناعي، يصبح من الضروري أن نظل يقظين، لضمان
أن تظل الخطوط الفاصلة بين الافتراضي والواقعي واضحة، وأن تبقى وكالتنا ضمن هذه المجالات محفوظة.

أخيرًا، يمكن أن تؤدي قدرة GenAI على التلاعب بالرأي العام إلى تأثيرات متتالية على أنظمة ذات نطاق كوكبي. من التأثير على أسواق الأسهم إلى التأثير على نتائج الانتخابات، فإن العواقب واسعة ومتنوعة. في الختام، بينما نتنقل في المشهد المعقد لـ GenAI، من الضروري التعرف على تداعياته الضخمة. بينما الفرص هائلة، فإن التحديات أيضًا مروعة. معالجة القضايا الأخلاقية والأمنية والاجتماعية المرتبطة بـ GenAI ليست مجرد مسعى تكنولوجي، بل هي مسؤولية عالمية.

فتحت أنظمة GenAI، بقدرتها على توليد المحتوى، ومحاكاة الأصوات، وحتى إعادة إنشاء القطع الأثرية التاريخية، مجموعة واسعة من الفرص عبر مختلف القطاعات. ومع ذلك، مع القوة الكبيرة تأتي المسؤولية الكبيرة، وتستدعي الطبيعة المزدوجة لهذه التقنيات فهمًا شاملاً لمخاطرها وفوائدها. توضح الجدول 4 بعض سيناريوهات التطبيق حيث يجب أن تُعلم تحليل التكلفة والفائدة ما إذا كانت الفرصة التي أتاحها استخدام GenAI تفوق بكثير الخطر المحتمل والمخاطر التي ستمكنها.

خذ، على سبيل المثال، استعادة القطع الأثرية التاريخية. لقد أظهر الذكاء الاصطناعي التوليدي وعدًا في إعادة إنشاء أو استعادة القطع الأثرية التاريخية التالفة واللوحات، مما يضفي حياة جديدة على تراثنا الثقافي المشترك [4]. يمكن للمتاحف والمؤرخين الاستفادة من هذه التكنولوجيا لتوفير تجربة أكثر غمرًا للزوار، مما يسمح لهم بشهود التاريخ في مجده الكامل. ومع ذلك، يمكن إساءة استخدام نفس القدرة لتزوير قطع أثرية مزيفة، مما يضلل المؤرخين وجامعي التحف، أو محاولة إعادة كتابة أو تشويه فهمنا للماضي. وبالمثل، قد يُمكن إنشاء هويات مزيفة رخيصة وقابلة للتوسع، أو وثائق مزورة، أو أدلة احتيالية، من خلال قدرة GenAI على إنشاء مستندات تبدو شرعية، قد تتطابق جودتها مع جودة المزيفات المخصصة باهظة الثمن (انظر الجدول 5، الشكل الأيسر). كما أن المجال الطبي ليس محصنًا من السيف ذو الحدين للذكاء الاصطناعي التوليدي. بينما يمكن أن توفر الصور الطبية التي تم إنشاؤها بواسطة الذكاء الاصطناعي موارد تدريب لا تقدر بثمن لطلاب الطب دون المساس بخصوصية المرضى [20]، فإن إمكانية تزوير الصور الطبية تشكل مخاطر من التشخيصات الخاطئة، والبحوث الاحتيالية، وعمليات الاحتيال التأمينية.

يقدم مجال توليد المحتوى المخصص وعودًا وخطرًا. من ناحية، يمكن أن تعزز تنسيق GenAI المدعوم من تجربة المستخدمين على منصات البث، مما يخصص المحتوى وفقًا لتفضيلات الأفراد، ويضمن تجارب أكثر متعة وتخصيصًا. من ناحية أخرى، يمكن استخدام هذه التخصيصات كأداة لنشر المعلومات المضللة أو الدعاية، مما يManipulates معتقدات وسلوكيات الأفراد لخدمة أجندات خبيثة. خذ مثال DeepTomCruise من قبل: على الرغم من أن هذه الفيديوهات كانت غير ضارة نسبيًا، فإن إثبات المفهوم سلط الضوء على إمكانية إساءة الاستخدام في مجالات أكثر حساسية مثل السياسة. كانت هناك مخاوف من أن يتم استخدام التزييف العميق لإنشاء تأييدات مزيفة أو ل

نشر معلومات مضللة خلال الحملات الانتخابية (انظر الجدول 1M). لقد غمرت أسواق الكتب الرقمية بالكتب التي تم إنشاؤها بواسطة الذكاء الاصطناعي، العديد منها يفتقر إلى أي تحقق أساسي من الحقائق وضمان الجودة، مما يوفر أحيانًا معلومات خطيرة (أي، هلوسة [13]) لقارئ غير منتبه (انظر الجدول 1N). يمكن استخدام GenAI لتصوير أحداث لم تحدث مع عواقب دبلوماسية عامة خطيرة (انظر الجدول 5، الشكل المركزي). علاوة على ذلك، فإن هذه التقنيات متقدمة بما يكفي لتنفيذ استراتيجيات تأثير قديمة مثل حقن الرسائل الخفية، بطريقة آلية بالكامل (انظر الجدول 5، الشكل الأيمن).

في صندوق “التوصيات للتخفيف من إساءة استخدام GenAI”، نقدم قائمة غير شاملة من الأساليب التقنية والاجتماعية-التقنية المحتملة التي قد تساعد في التخفيف من إساءة استخدام GenAI. يجب أن نلاحظ أن معظم هذه الأساليب ستعمل على الجهات الفاعلة الملتزمة، بعبارة أخرى، الكيانات التي ترغب في الامتثال للوائح، بدلاً من أن تكون لها نوايا خبيثة أو غير قانونية [19]. نظرًا للتعقيدات الكامنة، فإن استراتيجية قوية للتخفيف من المخاطر أمر ضروري. يتضمن ذلك المراقبة المستمرة لمخرجات الذكاء الاصطناعي، وإقامة إرشادات أخلاقية لتنفيذ GenAI، وتعزيز الشفافية في العمليات المدفوعة بالذكاء الاصطناعي. يجب أيضًا توعية أصحاب المصلحة بالمخاطر المحتملة للذكاء الاصطناعي التوليدي، مما يضمن اتخاذ قرارات مستنيرة في كل خطوة.

علاوة على ذلك، يجب إجراء تحليل شامل للمخاطر والفوائد قبل نشر أي نظام ذكاء اصطناعي توليدي. يجب أن يوازن هذا التحليل بين المزايا المحتملة والأضرار الممكنة، مع الأخذ في الاعتبار كل من الآثار قصيرة وطويلة الأجل. فقط من خلال فهم هذه التحديات ومعالجتها بشكل مباشر يمكننا استغلال الإمكانات الكاملة للذكاء الاصطناعي التوليدي مع حماية قيمنا ومعاييرنا الاجتماعية.

في الختام، بينما نتنقل في نسيج الذكاء الاصطناعي التوليدي المعقد، فإن اتباع نهج متوازن يعترف بكل من إمكانياته التحويلية والمخاطر الكامنة فيه أمر بالغ الأهمية. من خلال اعتماد استراتيجيات استباقية لتخفيف المخاطر وإجراء تقييم شامل
من خلال تحليلات المخاطر والفوائد، يمكننا ضمان أن تكون الذكاء الاصطناعي التوليدي قوة للخير، تدفع الابتكار مع الحفاظ على نزاهة عوالمنا الرقمية والمادية.

توصيات للتخفيف من إساءة استخدام الذكاء الاصطناعي التوليدي: تشير إثبات الهوية إلى التحقق من هوية فرد أو كيان باستخدام مستندات محددة أو طرق رقمية. تشمل الأمثلة تقنيات مثل humanID وOpenID وCAPTCHAs من الجيل التالي [27]، إلخ. في الذكاء الاصطناعي التوليدي:

بروتوكولات المصادقة: بروتوكولات المصادقة هي عمليات أو أنظمة تُستخدم لتأكيد هوية فرد أو نظام أو كيان. في سياق GenAI:

إخلاءات مسؤولية الجمهور: إخلاءات مسؤولية الجمهور هي إشعارات صريحة تُقدم للجمهور لإبلاغهم بطبيعة المحتوى الذي يستهلكونه.

تصنيف المحتوى: يتضمن تصنيف المحتوى وضع علامات على المحتوى للإشارة إلى طبيعته أو مصدره أو سمات أخرى ذات صلة.

التحقق من المصدر والأصل: التحقق من المصدر هو عملية تأكيد صحة وأصل قطعة من المعلومات أو المحتوى.

تضمين العلامة المائية الرقمية: يتضمن تضمين العلامة المائية الرقمية إدخال إشارة رقمية أو نمط في البيانات، مما يجعل من الممكن التحقق من صحتها أو اكتشاف التلاعب بها.

لقد ظهرت نماذج اللغة الكبيرة (LLMs) وأنظمة الذكاء الاصطناعي التوليدي (GenAI) كقوة تحويلية تقدم قدرات غير مسبوقة في معالجة اللغة الطبيعية وتوليد المحتوى متعدد الوسائط وفهمه. بينما الفوائد المحتملة لهذه التقنيات واسعة، فإن انتشارها السريع قد خلق مجموعة متنوعة من التطبيقات الخبيثة التي تشكل تهديدات كبيرة للأمن السيبراني والأخلاقيات والمجتمع بشكل عام.

تستكشف هذه الورقة الجانب المظلم من تطبيقات الذكاء الاصطناعي التوليدي، مع التركيز بشكل خاص على نماذج اللغة الكبيرة. نناقش الاستخدامات المحتملة في حملات المعلومات المضللة، وتوليد المحتوى الضار الذي يمكن أن يتجاوز الفلاتر الأمنية التقليدية، وإنشاء برمجيات خبيثة متطورة، بما في ذلك استخدام نماذج اللغة الكبيرة كوسيط لهجمات البرمجيات الخبيثة. ثم نفحص الآثار الاجتماعية للذكاء الاصطناعي التوليدي ونماذج اللغة الكبيرة، من دورها في الشبكات الآلية المدعومة بالذكاء الاصطناعي على وسائل التواصل الاجتماعي إلى قدرتها على توليد محتوى ضار أو متطرف.

تؤكد نتائجنا على الحاجة الملحة لاستراتيجيات تخفيف قوية، وإرشادات أخلاقية، ورصد مستمر لضمان النشر والاستخدام المسؤول للذكاء الاصطناعي التوليدي ونماذج اللغة الكبيرة. هدفنا هو زيادة الوعي بالطبيعة ذات الحدين للذكاء الاصطناعي التوليدي ونماذج اللغة الكبيرة، والدعوة إلى نهج متوازن يستفيد من قدراتها مع الحماية من تطبيقاتها الضارة.

شكر وتقدير العمل مدعوم جزئيًا من قبل DARPA (العقد رقم #HR001121C0169).
تم توفير تمويل الوصول المفتوح من قبل SCELC، اتحاد المكتبات الإلكترونية في ولاية كاليفورنيا.
توافر البيانات لم يتم استخدام أي بيانات في هذا العمل.

تعارض المصالح يعلن المؤلف عدم وجود تعارض في المصالح.

الوصول المفتوح هذه المقالة مرخصة بموجب رخصة المشاع الإبداعي النسب 4.0 الدولية، التي تسمح بالاستخدام والمشاركة والتكيف والتوزيع وإعادة الإنتاج بأي وسيلة أو صيغة، طالما أنك تعطي الائتمان المناسب للمؤلفين الأصليين والمصدر، وتوفر رابطًا لرخصة المشاع الإبداعي، وتوضح ما إذا كانت هناك تغييرات قد أُجريت. الصور أو المواد الأخرى من طرف ثالث في هذه المقالة مشمولة في رخصة المشاع الإبداعي الخاصة بالمقالة، ما لم يُشار إلى خلاف ذلك في سطر الائتمان للمواد. إذا لم تكن المادة مشمولة في رخصة المشاع الإبداعي الخاصة بالمقالة وكان استخدامك المقصود غير مسموح به بموجب اللوائح القانونية أو يتجاوز الاستخدام المسموح به، فسيتعين عليك الحصول على إذن.
مباشرة من صاحب حقوق الطبع والنشر. لعرض نسخة من هذه الرخصة، قم بزيارةhttp://creativecommons.org/رخص/بواسطة/4.0/.

Publisher’s Note Springer Nature remains neutral with regard to jurisdictional claims in published maps and institutional affiliations.

Keywords AI • Generative AI • Large Language Models • Risks • Social media

In March 2019, a UK-based energy firm’s CEO was duped out of . The culprit? Not a seasoned con artist, but an AI-generated synthetic voice so convincingly mimicking the company’s German parent firm’s CEO that it led to a costly misstep (see Table 1A). This incident, while startling, is just the tip of the iceberg when it comes to the nefarious potential applications of Generative Artificial Intelligence (GenAI) and Large Language Models (LLMs).

GenAI and LLMs are transforming the landscape of natural language processing, content generation, and understanding. Their potential seems endless, promising innovations that could redefine the way humans and machines interact with each other or partner to work together [10,26]. However, lurking in the shadows of these advancements are challenges that threaten the very fabric of our cybersecurity, ethics, and societal structures [15].

This paper ventures into the darker alleys of GenAI, with a focus on LLMs. From their potential role in scaling up misinformation campaigns, to the creation of targeted scams or custom-tailor-made alibies, the risks are profound [5]. From the subtle perpetuation of biases to the blatant reinforcement of stereotypes [2, 6, 21], GenAI can become mirrors reflecting and amplifying the imperfections of our society .

Imagine a world where AI-powered botnets dominate social media [7, 29], where harmful or radicalizing content is churned out by algorithms [23], and where the lines between reality and AI-generated content blur [3]. A world where the same technology that can be used to restore lost pieces of art or ancient documents [4], can also be used to fabricate evidence, craft alibis, and conceive the “perfect crime” (see Table 1B). Many of these scenarios that until recently we would have ascribed to futuristic science fiction are already enabled by GenAI and LLMs.

As we navigate the complexities of these issues, this paper highlights the urgency of robust mitigation strategies, ethical guidelines, and continuous monitoring for GenAI and LLM systems [9, 14]. This exploration not only aims to summarize rigorous research on GenAI abuse, but also to ignite a discourse on the dual nature of these technologies.

Generative AI refers to artificial intelligence systems that can generate new content, including text, images, and audio, based on existing data [3]. Unlike traditional AI, which focuses on recognizing patterns or making predictions, GenAI actively creates novel outputs. This involves complex algorithms and models that learn from large datasets, recognize underlying structures, and emulate them in unique ways [4]. Large Language Models (LLMs), a subset of GenAI systems, specifically deal with textual data [10]. They are trained on extensive corpora of text, learning language patterns, syntax, and context. LLMs like GPT (Generative Pretrained Transformer) are capable of producing coherent, contextually relevant text, resembling human writing. Their
mechanisms involve understanding input queries, accessing their extensive training data, and generating appropriate textual responses, which can range from answering questions to creating content.

The democratization of Generative AI represents a pivotal change in AI technology. The early 2020s period witnessed significant advancements in the technical capabilities of GenAI, marked by improvements in machine learning algorithms, particularly in neural networks. These advancements led to the creation of more sophisticated and efficient models that are capable of understanding and generating complex data patterns.

At the same time, there was a marked decrease in the cost of developing and deploying GenAI systems. This was due to both the falling prices of computing power and the increased availability of open-source tools and platforms, making GenAI accessible to a wider range of users and developers. Furthermore, the proliferation of user-friendly interfaces and cloud-based services has made GenAI technologies more accessible to non-specialists. This broader access has catalyzed a wave of innovation and creativity across various sectors, allowing individuals and smaller organizations to take advantage of GenAI for various applications, thus democratizing the field of artificial intelligence.

Together, these factors have differentiated the current landscape of GenAI from previous generations of AI technologies, both in terms of technological sophistication and societal impact.

The European Union (EU) and China have actively engaged in discussions to regulate Generative AI (GenAI). In the EU, the focus has been on establishing frameworks that ensure the ethical use of AI, focusing on data privacy, transparency, and accountability. The proposed regulations aim to categorize AI systems according to their risk levels and apply the corresponding oversight measures. China, on the other hand, has focused on harnessing the potential of GenAI while safeguarding national security and social stability. The Chinese approach includes stringent data control measures and guidelines to prevent the misuse of AI technologies, especially in areas like surveillance and censorship.

These divergent approaches reflect the complexities and varying priorities in GenAI governance, illustrating the challenges in creating a universally accepted regulatory framework. The policies in these regions are likely to influence global standards and practices in the GenAI domain [14].

Figure 1 offers an overview of the potential dangers associated with the misuse of generative AI models by charting the intersection between the type of harm that can be inflicted and the underlying intentions of malicious actors.

The types of harm encompass threats to an individual’s personal identity, such as identity theft, privacy breaches, or personal defamation, which we term as “Harm to the Person.” Then, we have the potential for financial loss, fraud, market manipulation, and other economic harms, which fall under “Financial and Economic Damage.” The distortion of the information ecosystem, including the spread of misinformation, fake news, and other forms of deceptive content [28], is categorized as “Information Manipulation.” Lastly, broader harms that can impact communities, societal structures, and critical infrastructures, including threats to democratic processes, social cohesion, and technological systems, are captured under “Societal, Socio-technical, and Infrastructural Damage.”

On the other side of the matrix, we have the goals (i.e., intent) of malicious actors. “Deception” involves misleading individuals or entities for various purposes, such as scams, impersonation, or other fraudulent activities [16]. “Propaganda” is the intent to promote a particular political, ideological, or commercial agenda, often by distorting facts or manipulating emotions. And “Dishonesty” covers a range of activities where the truth is concealed or misrepresented for personal gain, competitive advantage, or other ulterior motives. Naturally, this dimension does not fully encompass the goals or motivations behind all possible types of misuse of GenAI, but it serves as a guide to frame nefarious applications with respect to their intent to harm.

In this matrix, each cell represents a unique combination of harm and malicious intent, illustrating the multifaceted forms of abuse possible with generative AI. For instance, AI-generated impersonation for identity theft might be found at the intersection of “Harm to the Person” and “Deception.” Similarly, AI-driven fake news campaigns to influence public opinion could be represented at the crossroads of “Information Manipulation” and “Propaganda.”

Table 2 summarizes proof-of-concept examples of scenarios in which GenAI and LLMs can be intentionally misused for dishonest, propagandist, or deceiving purposes. By understanding this framework, stakeholders can better anticipate potential threats and devise specific mitigation strategies to protect against the malicious use of generative AI.

Pretend for a moment that you were Tom Cruise, and on a day like any other (back in 2021) you tap into your social media feed just to see videos of yourself playing golf and prat-falling around your home (see Table 1C). What would your reaction be if you never actually recorded and posted those videos? The malicious use of technological advancements is barely news: each new powerful technology comes with abuse. The problem of tampered footage or photoshopped multimedia is not new, but GenAI and deepfake technologies have brought about a wealth of new challenges [22].

The ability to create deepfakes, provide plausible deniability, and spread subliminal messages or deceiving content makes GenAI a potent tool in the hands of malicious actors. Let us unpack some of the most salient nefarious applications of GenAI technologies. Figure 2 provides a map of such plausible and known applications. In Table 3, we summarized several proof-of-concept examples of scenarios where GenAI and LLMs can be abused to cause personal and financial harm to people, distort the information ecosystem, and manipulate sociotechnical systems and infrastructures.

GenAI can produce images of people that look very real, as if they could be seen on platforms like Facebook, Twitter, or Tinder. Although these individuals do not exist in reality, these synthetic identities are already being used in malicious activities (see Table 1D).

There are businesses that offer “fake people” for purchase. For instance, on the website Generated.Photos, one can buy a “unique, worry-free” fake person for or even 1000 people for . If someone needs a few fake individuals, perhaps for a video game or to diversify a company website, they can obtain their photos for free from ThisPersonDoesNotExist.com. There is even a company named Rosebud. AI that can animate these fake personas and make them talk (the stated goal is for games and art, but the technology can be easily abused).

AI-generated identities are beginning to appear on the Internet and are being used by real people with malicious intentions. Examples include spies using attractive faces to infiltrate intelligence communities, right-wing propagandists hiding behind fake profiles, and online harassers using a friendly face to troll their targets.

The ability to generate fictitious images and videos can not only lend itself to abuse such as deepfake-fueled non-consensual porn generation, or the creation of misinformation for the sake of harassment or slander. Researchers are concerned that the same technologies could be used to construct alibis or fabricate criminal evidence in scalable and inexpensive ways [25]. Generative AI poses potential threats, especially in the realm of generating fake evidence or alibis. An article published by InWeb3 put it best in words (see Table 1E):

The potential threats posed by GenAI in the realm of cybersecurity include ad hominem attacks [11], such as automated online harassment and personalized scams (see Table 1F).

The primary targets of AI-powered attacks are not just vulnerable systems, but also human users behind those systems. AI technology can scrape personal identifiable information (PII) and gather social media data about potential victims. This enhanced data collection can help criminals craft more detailed and convincing social engineering efforts than traditional human attackers.

While “phishing” involves generic email lures, “spear phishing” involves collecting data on a target and crafting a personalized email [12]. Historically, spear phishing was primarily used against governments and businesses. However, with AI tools that can scrape data from various sources, spear phishing will become more common and more effective.

Beyond data theft and blackmail, GenAI can be used for automated harassment. Cybercriminals, as well as individuals with malicious intent, can use GenAI technology to launch harassment campaigns that result in service disruptions, ruined reputations, or more traditional forms of online harassment. Victims could range from businesses to private individuals or public figures. Tactics might include the creation of fake social media accounts used to spread lies or automated phone calls using voice over IP (VoIP) services. The automation of harassment processes could create a relentless and potentially untraceable campaign against victims.

The use of LLMs in conjunction with other GenAI tools can bring to life synthetic personas used for scams, swindles, and other deceptions (see Table 1G).

GenAI can be used to scale up the generation of synthetic personal data, including fake accounts and fake transactions (see Table 1G). For example, JPMorgan Chase discovered that its acquisition of a college financial aid platform included numerous fictitious accounts. The platform was believed to contain 4.25 million customer accounts, but the bank later found that only 300,000 were legitimate. The platform vendor allegedly hired a data scientist to fabricate the majority of the accounts. Similarly, Wells Fargo faced penalties when it was revealed that employees had opened at least 3.5 million new accounts using data from existing customers without their consent. By creating fake PINs and email addresses, funds were transferred from legitimate to fraudulent accounts. Fake accounts have also been a problem in the social media and online retail sectors, leading to issues like spamming, fake reviews,
and user-spoofing-powered fraud. For instance, PayPal disclosed that it believed 4.5 million of its accounts were not legitimate and possibly fraudulent.

Generative AI can copy voices and likenesses, making it possible for individuals to appear as if they are saying or doing almost anything. This technology is similar to “deepfake” videos but applies to voices.

AI-generated voices in scams: AI-generated voices are being used to enhance scams, making them more convincing (see Table 1H). For instance, people have received calls from what sounds like a relative asking for money, but the voice was generated by artificial intelligence as part of a fraudulent scheme.

Voice spoofing and ransom: Threat actors can easily obtain a few seconds of someone’s voice from social media or other audio sources and use generative AI to produce entire scripts of whatever they want that person to say. This has led to scams in which children appear to call their parents asking for a wire transfer for ransom (see Table 1I).

Voice authentication: AI can be used to bypass voice authentication systems. For example, some financial services companies allow users to download information based on voice recognition. AI can potentially be used to mimic these voices and gain unauthorized access.

LLMs have the ability to craft persuasive content that can parrot false narratives and conspiracy theories, effectively and at scale (see Table 1J). Some concerned researchers recently described Large Language Models like ChatGPT as weapons of mass deception [24]. It seems undeniable that the potential for GenAI and LLMs to craft fictitious, nonfactual, inaccurate, or deceiving content is unparalleled [17].

Soon after the launch of ChatGPT, researchers tested its ability to produce content based on questions filled with conspiracy theories and false narratives. The AI-generated content was so convincing that Gordon Crovitz, a co-chief executive of NewsGuard (a company that tracks online misinformation), stated, “This tool is going to be the most powerful tool for spreading misinformation that has ever been on the Internet.”

ChatGPT can produce convincing content rapidly without revealing its sources. When supplied with disinformation-loaded questions, it can generate clean variations of the content en masse within seconds. When researchers from NewsGuard asked ChatGPT to produce content based on false narratives, the AI complied about
of the time (see Table 1 K ). For instance, when asked to write from the perspective of conspiracy theorist Alex Jones about the Parkland shooting, ChatGPT produced content that falsely claimed the mainstream media and the government used “crisis actors” to push a gun-control agenda.

Yet, the potential misuse of GenAI could have its most catastrophic consequences when looking at socio-technical systems and infrastructures. When deployed at a planetary scale, GenAI’s influence extends beyond mere technological advancements: it has the potential to profoundly impact the very foundations of our economy, democracy, and infrastructure. Targeted surveillance, censorship, and synthetic realities have been topics of concern in research community.

Enhanced by GenAI, surveillance capabilities, such as facial recognition systems, can reach unprecedented levels of accuracy. When integrated with other individual information and online data, these systems could not only recognize but also predict individual behaviors. Such advancements, while promising in the context of security, raise alarming concerns about privacy and individual rights. We may be soon be entering an age of ubiquitous GenAI-driven surveillance (see Table 1L).

The intersection of GenAI with content moderation and censorship poses significant challenges to democratic values [30]. While LLMs can efficiently detect and remove harmful content from digital platforms, the potential for misuse, especially by authoritarian regimes, is concerning. The risk of suppressing dissenting voices and curating a single narrative threatens the very essence of democracy.

In the era of synthetic realities-augmented reality (AR), virtual reality (VR), and the expansive metaverse-Generative Artificial Intelligence (GenAI) stands as a powerful architect. With its capability to craft intricate and indistinguishable virtual environments, GenAI has the potential to redefine our perception of reality itself. However, this transformative power is not without its pitfalls. As these synthetic realities become increasingly immersive and indistinguishable from our physical world, there lies a profound risk of manipulation. Unscrupulous entities could exploit GenAIgenerated environments to influence individuals’ beliefs, emotions, and behaviors. From subtly altering virtual advertisements to resonate more with individual preferences, to creating entire virtual narratives that push specific agendas or ideologies, the potential for psychological and behavioral manipulation is vast. As we embrace the wonders of synthetic realities, it becomes imperative to remain vigilant, ensuring
that the line between the virtual and the real remains discernible, and that our agency within these realms is preserved.

Lastly, the ability of GenAI to manipulate public opinion can have cascading effects on planetary scale systems. From influencing stock markets to swaying election outcomes, the ramifications are vast and varied. In conclusion, as we navigate the intricate landscape of GenAI, it is imperative to recognize its massive scale implications. While the opportunities are immense, the challenges are equally daunting. Addressing the ethical, security, and societal concerns associated with GenAI is not just a technological endeavor but a global responsibility.

GenAI systems, with their ability to generate content, simulate voices, and even recreate historical artifacts, have opened up a plethora of opportunities across various sectors. However, with great power comes great responsibility, and the dual nature of these technologies necessitates a comprehensive understanding of their risks and benefits. Table 4 illustrates a few application scenarios where a cost-benefit analysis should inform whether the opportunity created by using GenAI far outweighs the potential danger and risks that it will enable.

Take, for instance, the restoration of historical artifacts. Generative AI has shown promise in recreating or restoring damaged historical artifacts and paintings, breathing new life into our shared cultural heritage [4]. Museums and historians can leverage this technology to provide a more immersive experience for visitors, allowing them to witness history in its full glory. Yet, the same capability can be misused to fabricate fake artifacts, misleading historians and collectors, or attempting to rewrite or distort our understanding of the past. Similarly, scalable and cheap creation of fake identities, fabricated documentation, or fraudolent evidence, might be enabled by GenAI’s ability to create seemingly legitimate documents, whose quality might match that of costly custom-made fakes (see Table 5, left figure). The medical field, too, is not immune to the double-edged sword of generative AI. While AI-generated medical images can provide invaluable training resources for medical students without compromising patient privacy [20], the potential for fabricating medical images poses risks of misdiagnoses, fraudulent research, and insurance scams.

The realm of personalized content generation offers both promise and danger. On the one hand, GenAI-driven curation can enhance user experiences on streaming platforms, tailoring content to individual preferences, and ensuring more enjoyable and bespoke experiences. On the other hand, this personalization can be weaponized to spread misinformation or propaganda, manipulating individual beliefs and behaviors to serve malicious agendas. Take the DeepTomCruise example from earlier: Although these particular videos were relatively harmless, the proof-ofconcept highlighted the potential misuse in more sensitive areas like politics. There have been concerns that deepfakes are being used to create fake endorsements or to

spread misinformation during election campaigns (see Table 1M). Digital book marketplaces have been flooded by AI-generated books, many of which lack any basic fact-checking and quality assurance, sometimes providing dangerous (i.e., hallucinated [13]) information to an inattentive reader (see Table 1N). GenAI could be used to depict never-occurred events with serious public diplomacy consequences (see Table 5, center figure). Furthermore, these technologies are sufficiently advanced to implement old-school infuence strategies like the injection of subliminal messages, in a fully automated way (see Table 5, right figure).

In the box “Recommendations to Mitigate GenAI Abuse”, we provide a non-exhaustive list of plausible technical and socio-technical approaches that might help in mitigating GenAI abuse. It should be noted that most of these approaches would work for complying actors, in other words, entities who are willing to comply with regulations, rather than having mischievous or illicit intents [19]. Given the inherent complexities, a robust risk mitigation strategy is imperative. This involves continuous monitoring of AI output, the establishment of ethical guidelines for the implementation of GenAI, and the promotion of transparency in AI-driven processes. Stakeholders must also be educated about the potential pitfalls of generative AI, ensuring informed decision-making at every step.

Furthermore, a comprehensive risk-benefit analysis should be conducted before deploying any generative AI system. This analysis should weigh the potential advantages against the possible harms, considering both short-term and long-term implications. Only by understanding and addressing these challenges head-on can we harness the full potential of generative AI while safeguarding our societal values and norms.

In conclusion, as we navigate the intricate tapestry of generative AI , a balanced approach that recognizes both its transformative potential and inherent risks is crucial. By adopting proactive risk mitigation strategies and conducting thorough
risk-benefit analyses, we can ensure that generative AI serves as a force for good, driving innovation while preserving the integrity of our digital and physical worlds.

Recommendations to mitigate GenAI abuse proof of identity: Proof of identity refers to the verification of an individual’s or entity’s identity using specific documents or digital methods. Examples include technologies like humanID, OpenID, next-generation CAPTCHAs [27], etc. In GenAI:

Authentication protocols: Authentication protocols are processes or systems used to confirm the identity of an individual, system, or entity. In the context of GenAI:

Audience disclaimers: Audience disclaimers are explicit notifications provided to audiences to inform them about the nature of the content they are consuming.

Content labeling: Content labeling involves tagging content to indicate its nature, source, or other relevant attributes.

Source verification and provenance: Source verification is the process of confirming the authenticity and origin of a piece of information or content.

Digital watermarking: Digital watermarking involves embedding a digital signal or pattern into data, making it possible to verify its authenticity or detect tampering.

Large Language Models (LLMs) and other Generative Artificial Intelligence (GenAI) systems have emerged as a transformative force offering unprecedented capabilities in natural language processing and multimodal content generation, and understanding. While the potential benefits of these technologies are vast, their rapid proliferation has created a myriad of malicious applications that pose significant threats to cybersecurity, ethics, and society at large.

This paper explores the darker side of generative AI applications, with a special emphasis on LLMs. We discuss potential misuse in misinformation campaigns, the generation of malicious content that can bypass traditional security filters, and the creation of sophisticated malware, including the use of LLMs as intermediaries for malware attacks. We then examine the societal implications of GenAI and LLMs, from their role in AI-powered botnets on social media to their potential to generate harmful or radicalizing content.

Our findings underscore the pressing need for robust mitigation strategies, ethical guidelines, and continuous monitoring to ensure the responsible deployment and use of GenAI and LLMs. Our aim is to raise awareness of the dual-edge nature of GenAI and LLMs, and to advocate for a balanced approach that harnesses their capabilities while safeguarding against their nefarious applications.

Acknowledgements Work supported in part by DARPA (contract #HR001121C0169).
Funding Open access funding provided by SCELC, Statewide California Electronic Library Consortium.
Data availibility No data was used in this work.

Conflict of interest The author declares no conflict of interest.

Open Access This article is licensed under a Creative Commons Attribution 4.0 International License, which permits use, sharing, adaptation, distribution and reproduction in any medium or format, as long as you give appropriate credit to the original author(s) and the source, provide a link to the Creative Commons licence, and indicate if changes were made. The images or other third party material in this article are included in the article’s Creative Commons licence, unless indicated otherwise in a credit line to the material. If material is not included in the article’s Creative Commons licence and your intended use is not permitted by statutory regulation or exceeds the permitted use, you will need to obtain permission
directly from the copyright holder. To view a copy of this licence, visit http://creativecommons.org/ licenses/by/4.0/.

Publisher’s Note Springer Nature remains neutral with regard to jurisdictional claims in published maps and institutional affiliations.