تقييم جودة ترجمات العناوين الفرعية التي تم إنشاؤها بواسطة الذكاء الاصطناعي من منظور موجه نحو الاستقبال: دراسة مقارنة لترجمات ChatGPT والبشر والترجمات الآلية العصبية في المسلسلات الكوميدية
Evaluating the quality of AI-generated subtitle translations from a reception-oriented perspective: a comparative study of ChatGPT, human, and neural machine translations in sitcoms

شارك:
المجلة: Humanities and Social Sciences Communications، المجلد: 13، العدد: 1
DOI: https://doi.org/10.1057/s41599-026-07414-6
تاريخ النشر: 2026-05-19
المؤلف: Size Chen وآخرون
الموضوع الرئيسي: الترجمة النصية ووسائل الإعلام السمعية البصرية

نظرة عامة

تبحث ورقة البحث في جودة واستقبال الترجمة النصية التي تم إنشاؤها بواسطة الذكاء الاصطناعي، وتحديداً تلك التي أنتجها ChatGPT، في سياق الترجمة السمعية البصرية. باستخدام نموذج FAR الخاص بـ Pedersen واستبيان للمشاهدين، تقارن الدراسة بين الترجمات النصية التي أنشأها ChatGPT وتلك التي قام بها مترجمون بشريون وGoogle Translate لبرامج الكوميديا. تكشف النتائج أن ترجمات ChatGPT تتفوق بشكل عام على تلك التي يقدمها Google Translate، وفي بعض الحالات، تنافس أو تتجاوز قليلاً جودة الترجمات البشرية المحترفة. تبرز الدراسة تأثير خلفيات المشاهدين التعليمية ومعرفتهم بالبرامج الكوميدية على تقييمات الترجمات النصية، مما يشير إلى أن هذه العوامل حاسمة في تقييم جودة الترجمة.

تشير نتائج هذا البحث إلى دور واعد للذكاء الاصطناعي في ترجمة النصوص، خاصة لبرامج الكوميديا. بينما يظهر ChatGPT إمكانات كبيرة، تؤكد الدراسة على ضرورة التحرير والمراجعة لضمان دقة وجودة الترجمات النصية التي تم إنشاؤها بواسطة الذكاء الاصطناعي قبل إصدارها للجمهور. بالإضافة إلى ذلك، تؤكد على أهمية مراعاة مختلف الفئات السكانية للمشاهدين—مثل المستوى التعليمي والمعرفة بالمحتوى—عند تقييم فعالية الترجمات النصية. تدعو النتائج إلى نهج دقيق في إعداد الترجمات النصية، مع الأخذ في الاعتبار العناصر الأسلوبية والسياق الثقافي لتعزيز تجربة المشاهد وتسهيل التبادل الثقافي.

مقدمة

تناقش مقدمة الورقة إطلاق ChatGPT من قبل OpenAI في نوفمبر 2022، مع تسليط الضوء على اعتماده السريع وأهميته في مجال الذكاء الاصطناعي ومعالجة اللغة الطبيعية. لقد دفعت قدرات ChatGPT في إنشاء المحتوى، بما في ذلك الترجمة والترميز، الخبراء إلى التحقيق في تطبيقاته في الترجمة السمعية البصرية، خاصة مع زيادة الطلب على المواد السمعية البصرية المترجمة بسبب العولمة والتبادل الثقافي. على الرغم من تزايد عدد الأبحاث حول استقبال الترجمة السمعية البصرية، لا يزال هناك نقص في الدراسات المقارنة التي تحلل نسخ الترجمة النصية المختلفة، خاصة تلك التي تتضمن ترجمات الذكاء الاصطناعي مثل ChatGPT.

تهدف الدراسة إلى سد هذه الفجوة من خلال فحص جودة ترجمات النصوص عبر ثلاث فئات: الترجمات البشرية، الترجمات الآلية التقليدية (مثل Google Translate)، وترجمات الذكاء الاصطناعي (مثل ChatGPT). كما تسعى لفهم كيف تؤثر الفئات السكانية للجمهور—مثل الخلفية التعليمية والمعرفة بالمحتوى—على تصورات جودة الترجمة. في النهاية، تهدف الأبحاث إلى تزويد مترجمي النصوص بإرشادات قائمة على الأدلة لتعزيز إمكانية الوصول واستقبال المحتوى السمعي البصري لجماهير متنوعة. تم هيكلة المقال في خمسة أقسام، تغطي الأدبيات ذات الصلة، تصميم البحث، النتائج التجريبية، والأفكار الختامية.

الطرق

تبحث الدراسة في جودة ترجمة النصوص في المسلسل الكوميدي الأمريكي *الأصدقاء*، مع التركيز على ثلاثة مقاطع مختارة من الحلقة الأولى. تستخدم الدراسة تحليلًا مقارنًا لثلاث نسخ من الترجمات النصية: الترجمات البشرية، الترجمات الآلية، وترجمات ChatGPT. تم اختيار المقاطع، التي تتميز بمحتواها الفكاهي ومستويات صعوبة الترجمة المتنوعة، لتحتوي على ترجمات نصية ثنائية اللغة (الصينية والإنجليزية) وتم تقديمها للمشاركين بترتيب عشوائي لتقليل التحيز. قام المشاركون، بما في ذلك طلاب المدارس الثانوية والأفراد ذوي التعليم العالي، بتقييم الترجمات النصية من خلال استبيان منظم مصمم لتقييم تفضيلاتهم ومستويات رضاهم بشأن كل طريقة ترجمة.

شملت جمع البيانات 401 استجابة صالحة تم جمعها عبر منصة Wenjuanxing، حيث أجاب المشاركون على أسئلة حول معلوماتهم الديموغرافية وتصوراتهم حول ترجمات النصوص. استخدم الاستبيان مقياس ليكرت من خمس نقاط لقياس الرضا وشمل أسئلة متعددة الخيارات وأسئلة مفتوحة لاستكشاف آراء المشاركين حول الجوانب الأكثر أهمية في ترجمة النصوص. تضمنت منهجية الدراسة نموذج FAR لتقييم جودة الترجمة واستخدمت تحليلات إحصائية، بما في ذلك ANOVA أحادي الاتجاه والانحدار الخطي، لتقييم الفروق في استجابات المشاركين عبر النسخ الثلاث من الترجمات النصية. تهدف النتائج إلى توضيح كيف تؤثر الخلفية التعليمية والمعرفة بـ *الأصدقاء* على تصورات جودة الترجمة.

النتائج

في هذا القسم، تقيم الدراسة جودة ترجمة النصوص التي تم إنشاؤها بواسطة المترجمين البشر، ChatGPT، وGoogle Translate باستخدام نموذج FAR، الذي يقيم التكافؤ الوظيفي، والقبول، وقابلية القراءة. تكشف التحليلات أن الترجمات النصية التي أنشأها ChatGPT تتفوق باستمرار على تلك التي أنتجها Google Translate عبر مقاطع مختلفة، مما يشير إلى أن الترجمات المدعومة بالذكاء الاصطناعي يمكن أن تنافس الترجمات الآلية التقليدية. ومع ذلك، لا تزال الترجمات النصية التي أنشأها البشر من Sohu تحتفظ بميزة طفيفة في الجودة العامة. يشير نظام تسجيل نموذج FAR إلى أنه بينما تعتبر ترجمات ChatGPT عالية الجودة، إلا أنها لا تتطابق تمامًا مع الفروق الدقيقة ودقة الترجمات البشرية.

بالإضافة إلى ذلك، يُظهر استبيان يقيم رضا الجمهور عن النسخ الثلاث من الترجمات النصية أن ترجمات Sohu حصلت على أعلى التقييمات، تليها ChatGPT، بينما حصل Google Translate على أدنى الدرجات. تُظهر التحليلات الإحصائية وجود علاقة إيجابية بين رضا الجمهور ودرجات نموذج FAR، مما يشير إلى أن الجودة المدركة الأعلى تتماشى مع نتائج التقييم الأفضل. تؤثر عوامل مثل التحصيل التعليمي والمعرفة بالسلسلة بشكل كبير على قدرة المشاركين على تمييز الفروق بين الترجمات النصية، حيث يرتبط التعليم العالي بتوقعات أكثر صرامة لجودة الترجمة. على الرغم من هذه النتائج، تعترف الدراسة بالقيود، بما في ذلك تحيز العينة والتركيز الضيق على الدراما التلفزيونية الأمريكية، مما يقترح طرقًا للبحث المستقبلي لاستكشاف سياقات أوسع وعوامل إضافية تؤثر على استقبال الترجمات النصية.

المناقشة

تسلط قسم المناقشة في الورقة الضوء على تطور وأهمية الترجمة النصية في سياق الترجمة السمعية البصرية، مع الإشارة بشكل خاص إلى ارتفاع مكانتها منذ أواخر الثمانينيات بسبب كفاءتها مقارنة بالدبلجة. يؤكد القسم على الدور الحاسم للجودة في الترجمات النصية، التي يجب أن تكون دقيقة ودقيقة سياقيًا على الرغم من القيود مثل المساحة المحدودة على الشاشة. لقد أدخل ظهور الترجمة الآلية ديناميكيات جديدة في ترجمة النصوص، مما يقدم كل من الفرص والتحديات. أظهرت الدراسات الحديثة تفضيلات متباينة للجمهور بين الترجمات النصية البشرية والترجمات النصية الآلية، مع الإشارة إلى أن الترجمات الآلية المعدلة غالبًا ما تحقق تفاعلًا أعلى من كل من الترجمات الآلية فقط والترجمات البشرية.

تناقش الورقة أيضًا آثار الذكاء الاصطناعي في ترجمة النصوص، خاصة من خلال استخدام ChatGPT. تقدم النتائج التي تشير إلى أن الترجمات النصية التي تم إنشاؤها بواسطة الذكاء الاصطناعي يمكن أن تتفوق على تلك التي تأتي من أدوات الترجمة الآلية الأخرى، على الرغم من أنها لا تزال تتطلب تحريرًا كبيرًا لتلبية معايير الجودة. تؤكد الدراسة على أهمية عوامل الجمهور، مثل الخلفية التعليمية والمعرفة بالمحتوى، في تشكيل تصورات جودة الترجمات النصية. بشكل عام، تدعو الأبحاث إلى نهج دقيق في إنشاء الترجمات النصية يأخذ في الاعتبار كل من التقدم التكنولوجي واحتياجات الجمهور لتعزيز تجربة المشاهدة وتسهيل التبادل الثقافي.

Journal: Humanities and Social Sciences Communications, Volume: 13, Issue: 1
DOI: https://doi.org/10.1057/s41599-026-07414-6
Publication Date: 2026-05-19
Author(s): Size Chen et al.
Primary Topic: Subtitles and Audiovisual Media

Overview

The research paper investigates the quality and reception of AI-generated subtitles, specifically those produced by ChatGPT, in the context of audiovisual translation (AVT). Utilizing Pedersen’s FAR model and a viewer questionnaire survey, the study compares ChatGPT-generated subtitles with those from human translators and Google Translate for sitcoms. Findings reveal that ChatGPT subtitles generally outperform those from Google Translate and, in certain instances, rival or slightly exceed the quality of professional human translations. The study highlights the influence of viewers’ educational backgrounds and familiarity with the sitcoms on subtitle ratings, indicating that these factors are critical in assessing translation quality.

The implications of this research suggest a promising role for AI in subtitle translation, particularly for sitcoms. While ChatGPT demonstrates significant potential, the study underscores the necessity of postediting and proofreading to ensure the accuracy and quality of AI-generated subtitles before public release. Additionally, it emphasizes the importance of considering various viewer demographics—such as educational level and familiarity with the content—when evaluating subtitle effectiveness. The findings advocate for a nuanced approach to subtitle preparation, taking into account stylistic elements and cultural context to enhance viewer experience and facilitate cultural exchange.

Introduction

The introduction of the paper discusses the launch of ChatGPT by OpenAI in November 2022, highlighting its rapid adoption and significance in the field of artificial intelligence and natural language processing. ChatGPT’s capabilities in generating content, including translation and coding, have prompted experts to investigate its applications in audiovisual translation, particularly as the demand for translated audiovisual materials has surged due to globalization and cultural exchange. Despite the growing body of research on audiovisual translation reception, there remains a lack of comparative studies that analyze various subtitle versions, especially those involving AI translations like ChatGPT.

The study aims to fill this gap by examining the quality of subtitle translations across three categories: human translations, traditional neural machine translations (e.g., Google Translate), and AI translations (e.g., ChatGPT). It also seeks to understand how audience demographics—such as educational background and familiarity with the content—affect perceptions of translation quality. Ultimately, the research intends to provide subtitle translators with evidence-based guidelines to enhance the accessibility and reception of audiovisual content for diverse audiences. The article is structured into five sections, covering relevant literature, research design, empirical results, and concluding insights.

Methods

The research investigates the translation quality of subtitles in the American sitcom *Friends*, focusing on three selected clips from its first episode. The study employs a comparative analysis of three subtitle versions: human-translated, machine-translated, and ChatGPT-generated subtitles. The clips, chosen for their humorous content and varying levels of translation difficulty, feature bilingual subtitles (Chinese and English) and were presented to participants in a randomized order to minimize bias. Participants, including high school students and individuals with higher education, evaluated the subtitles through a structured questionnaire designed to assess their preferences and satisfaction levels regarding each translation method.

Data collection involved 401 valid responses gathered via the Wenjuanxing platform, with participants answering questions about their demographic information and their perceptions of the subtitle translations. The questionnaire utilized a five-point Likert scale to gauge satisfaction and included both multiple-choice and open-ended questions to explore participants’ views on the most critical aspects of subtitle translation. The study’s methodology incorporated the FAR model for translation quality assessment and employed statistical analyses, including one-way ANOVA and linear regression, to evaluate the differences in participant responses across the three subtitle versions. The findings aim to elucidate how educational background and familiarity with *Friends* influence perceptions of translation quality.

Results

In this section, the study evaluates the translation quality of subtitles generated by human translators, ChatGPT, and Google Translate using the FAR model, which assesses functional equivalence, acceptability, and readability. The analysis reveals that ChatGPT-generated subtitles consistently outperform those produced by Google Translate across various clips, suggesting that AI-assisted translations can rival traditional machine translations. However, human-generated subtitles from Sohu still maintain a slight edge in overall quality. The FAR model’s scoring system indicates that while ChatGPT’s subtitles are of high quality, they do not fully match the nuances and accuracy of human translations.

Additionally, a questionnaire assessing audience satisfaction with the three subtitle versions shows that Sohu subtitles received the highest ratings, followed by ChatGPT, with Google Translate receiving the lowest scores. Statistical analysis demonstrates a positive correlation between audience satisfaction and FAR model scores, indicating that higher perceived quality aligns with better assessment results. Factors such as educational attainment and familiarity with the series significantly influence participants’ ability to discern differences among the subtitles, with higher education correlating with stricter expectations for translation quality. Despite these findings, the study acknowledges limitations, including sample bias and the narrow focus on American TV dramas, suggesting avenues for future research to explore broader contexts and additional factors affecting subtitle reception.

Discussion

The discussion section of the paper highlights the evolution and significance of subtitling in the context of audiovisual translation, particularly noting its rise in prominence since the late 1980s due to its efficiency compared to dubbing. The section emphasizes the critical role of quality in subtitles, which must be precise and contextually accurate despite constraints such as limited screen space. The advent of machine translation has introduced new dynamics in subtitle translation, presenting both opportunities and challenges. Recent studies have shown varying audience preferences for human-translated versus machine-translated subtitles, with findings indicating that postedited machine translations often yield higher engagement than both machine-only and human translations.

The paper also discusses the implications of artificial intelligence in subtitle translation, particularly through the use of ChatGPT. It presents findings that suggest AI-generated subtitles can outperform those from other machine translation tools, though they still require substantial postediting to meet quality standards. The study underscores the importance of audience factors, such as educational background and familiarity with content, in shaping perceptions of subtitle quality. Overall, the research advocates for a nuanced approach to subtitle creation that considers both technological advancements and audience needs to enhance the viewing experience and facilitate cultural exchange.