تصميم عينة المسح في الموجة الأولى من دراسة الازدهار العالمية Survey sampling design in wave 1 of the Global Flourishing Study

المجلة: European Journal of Epidemiology، المجلد: 40، العدد: 4
DOI: https://doi.org/10.1007/s10654-024-01167-9
PMID: https://pubmed.ncbi.nlm.nih.gov/40146468
تاريخ النشر: 2025-03-27

تصميم عينة المسح في الموجة الأولى من دراسة الازدهار العالمية

ر. نوح بادجيت (معرف ⋅ ريتشارد ج. كاودن ⋅ ماناس شاتوبادياي ⋅ ينغ هان ⋅ جون هونوهان . زاك ريتير . راجيش سرينيفاسان بايرون ر. جونسون تايلر ج. فاندرويل

تاريخ الاستلام: 10 يونيو 2024 / تاريخ القبول: 21 أكتوبر 2024 / تاريخ النشر على الإنترنت: 27 مارس 2025
© المؤلف(ون) 2025

الملخص

دراسة الازدهار العالمية (GFS) هي تعاون دولي لتطوير مورد بيانات متاح للجمهور لتعزيز البحث العالمي حول الازدهار البشري. تشمل هذه البيانات أكثر من 200,000 مشارك من 22 دولة متنوعة جغرافياً وثقافياً ومنطقة واحدة مصممة لتكون ممثلة وطنياً للسكان البالغين. تهدف GFS إلى أن تكون دراسة طولية مع تجنيد وتسجيل للموجة 1 التي تحدث بين أبريل 2022 وديسمبر 2023. ستدعو الموجات المستقبلية من جمع البيانات المشاركين لإكمال استطلاع سنوي. يغطي الاستطلاع السنوي مجموعة قوية من المقاييس حول الرفاهية والصحة والاجتماعية والاقتصادية والسياسية والدينية والروحية والنفسية والديموغرافية. تصف الورقة الحالية منهجية العينة وأساليب الوزن المستخدمة لتوقع العينات لتكون ممثلة وطنياً. يتم تقديم تفاصيل حول تدريب المحاورين وجمع البيانات، وعينات الاحتمالية وغير الاحتمالية، وإنشاء الأوزان، وتأثيرات التصميم، ومراحل جمع البيانات المستقبلية.

الكلمات الرئيسية: عالمي • عبر الثقافات • الازدهار • طولية • منهجية • عينة الاستطلاع

المقدمة

يمكن اعتبار الازدهار البشري هو العيش في “حالة تكون فيها جميع جوانب حياة الشخص جيدة، بما في ذلك السياقات التي يعيش فيها ذلك الشخص” [1،2]. بينما هناك مجموعة كبيرة (وتتزايد) من المنح الدراسية التجريبية
التي تركز على فهم وتعزيز جوانب مختلفة من الازدهار البشري، فإن انتقاداً رئيسياً وغير محلول هو أن مثل هذا العمل حتى الآن كان مركزاً على الغرب [3]. جادل هينريش وآخرون [4] بأن معظم الأعمال الاجتماعية العلمية قد ركزت على الأشخاص من دول يمكن وصفها بأنها “غريبة” (أي، غربية، متعلمة، صناعية، غنية، وديمقراطية). على الرغم من أن مثل هذه الأوصاف خشنة كتصنيف ثنائي للثقافات بسبب اتساع التنوع داخل الدول [5]، إلا أن الانتقاد لا يزال مهماً. لقد كان للتحيز الثقافي نحو السياقات الغريبة عدة عواقب، بما في ذلك القلق بشأن ما إذا كان يمكن استخدام مجموعة الأدبيات التجريبية الحالية حول الرفاهية البشرية لاشتقاق مبادئ عالمية يمكن تعميمها على العديد من السياقات الثقافية [6]. من الواضح أنه ليس من الممكن اشتقاق استنتاجات غير غامضة من المشاركين الغربيين لأن شبكة معقدة من القوى البيئية المحلية (مثل، الديموغرافيا، الثقافة، الظروف الاجتماعية الهيكلية) تؤثر على أبعاد مختلفة من الحياة البشرية [7].
استجابةً للقلق بشأن التحيزات الغربية في البحث الاجتماعي العلمي، ظهرت حقبة من “المنح الدراسية العالمية” حول الرفاهية البشرية [3]. تعتبر دراسة الازدهار العالمية (GFS)، وهي دراسة بحثية طولية رائدة، في طليعة هذه الحقبة [8]. مسترشدة بمفهوم واسع وشامل للازدهار البشري [1،2]، تسعى GFS إلى فحص توزيع وعوامل الازدهار البشري
في أجزاء مختلفة من العالم. الدراسة هي الأكبر من نوعها، مع أكثر من 200,000 مشارك عبر مجموعة متنوعة ثقافياً وجغرافياً من الدول المدرجة في الموجة 1 (انظر الشكل 1). تساهم الورقة الحالية في نشر والتزام العلوم المفتوحة لـ GFS من خلال تقديم نظرة عامة على عملية تطوير الاستطلاع للدراسة، وملخص لتصميم العينة، وتغطية السكان، ونهج الوزن، ومعدلات الاستجابة، وتأثيرات التصميم للموجة 1، وخطط للموجات المستقبلية من جمع البيانات. تم تعديل وصف طرق العينة وتصميم الدراسة من تقرير المنهجية الذي تم تطويره بواسطة غالوب إنك [9] وعملية تطوير الاستطلاع التي أبلغت عنها غالوب إنك [10] ولومس وآخرون [11].

نظرة عامة على دراسة الازدهار العالمية

تطوير الاستطلاع

حدث تطوير استطلاع GFS على مدى ثماني مراحل متميزة: (1) اختيار أسئلة الرفاهية والديموغرافيا الأساسية؛ (2) طلب أسئلة اجتماعية وسياسية ونفسية وديموغرافية من خبراء المجال في جميع أنحاء العالم؛ (3) مراجعة المسودة الأولية للاستطلاع بناءً على تعليقات من العلماء حول العالم يمثلون تخصصات أكاديمية متنوعة؛ (4) تعديل عناصر الأسئلة بناءً على مدخلات من خبراء في أبحاث الاستطلاعات متعددة الجنسيات ومتعددة المناطق ومتعددة الثقافات؛ (5) تحسين مسودة الاستطلاع بناءً على المدخلات المجمعة من دعوة مفتوحة للتعليق، تم نشرها علنًا وإرسالها إلى العديد من قوائم البريد؛ (6) تحسين الاستبيان بدعم من متخصصي تصميم استطلاعات غالوب؛ (7) تكييف العناصر من استطلاع يديره المحاور إلى أداة استطلاع ذاتي الإدارة
باستخدام أفضل الممارسات لتصميم استطلاعات الويب لتقليل عدم الاستجابة للعناصر، والاستجابات غير المنطقية والاستجابات غير المكتملة؛ و(8) تأكيد من العلماء في عدة دول مشاركة أن الترجمات قد التقطت بدقة المعنى المقصود لكل سؤال. يمكن العثور على مزيد من التفاصيل حول عملية تطوير استطلاع GFS في [10،11].

تغطية محتوى الاستطلاع

تشكل جوانب الازدهار مجموعة واسعة من المفاهيم التي تتعلق برفاهية الشخص. يتضمن استطلاع GFS العام 109 عنصرًا متميزًا في المجموع (43 عنصرًا في استطلاع الاستقبال واستطلاع سنوي من 71 عنصرًا، مع خمسة عناصر مشتركة بين الاثنين) [11]. مقياس أساسي مضمن في الاستطلاع هو مؤشر الازدهار الآمن [1]، والذي يتكون من 12 عنصرًا موزعة بالتساوي عبر ستة مجالات رئيسية من الازدهار الشخصي (أي، السعادة ورضا الحياة؛ الصحة البدنية والعقلية؛ المعنى والهدف؛ الشخصية والفضيلة؛ العلاقات الاجتماعية الوثيقة؛ الاستقرار المالي والمادي)؛ كما تم تضمين مجموعة واسعة من المقاييس التي تقيم المجالات أو الجوانب (مثل، المجتمع، الدين السياسي، الروحانية، العوامل الاجتماعية والاقتصادية) التي تتقاطع مع الازدهار البشري في الاستطلاع. يُشار إلى القارئ المهتم إلى لومس وآخرون [11] لمزيد من المعلومات حول عملية تطوير الاستطلاع ومجموعة كاملة من عناصر الاستطلاع، والتي يمكن أيضًا العثور عليها في الكتاب المرجعي المتاح للجمهور (https://osf.io/cg76b).

الترجمة

تتضمن الموجة 1 من GFS 22 دولة، وهي الأرجنتين، أستراليا، البرازيل، مصر، ألمانيا، هونغ كونغ (منطقة إدارية خاصة من الصين)، الهند، إندونيسيا، إسرائيل، اليابان، كينيا، المكسيك،
الشكل 1 التنوع الجغرافي للدول المدرجة في الموجة 1 من دراسة الازدهار العالمية. ملاحظة: تم إنشاء الخريطة باستخدام حزمة ggplot2 [12] في R [13]
نيجيريا، الفلبين، بولندا، جنوب أفريقيا، إسبانيا، السويد، تنزانيا، تركيا، المملكة المتحدة، والولايات المتحدة. تم تنفيذ استطلاع GFS بـ 36 لغة رئيسية تُستخدم في هذه الدول، بما في ذلك الأفريكانية، العربية، الأسامية، البنغالية، بيكول، سيبوانو، الصينية، الإنجليزية، الألمانية، الغوجاراتية، الهوسا، العبرية، الهيليغايون، الهندية، الإيغبو، الإلوك، الإندونيسية، اليابانية، الكانادا، المالايالامية، الماراثية، الأوديا، البيجيني، البولندية، البرتغالية، البنجابية، السوتو، الإسبانية، السواحيلية، السويدية، التاميلية، التيلجو، التركية، الواراي، الزولو، واليوه. يمكن العثور على مزيد من التفاصيل حول الدول التي تم استخدام إصدارات لغوية محددة من استطلاع GFS فيها في ملحق تقرير المنهجية (ص 29-31) [9].
عملية ترجمة الاستطلاع اتبعت نموذج TRAPD المعدل [14]، والذي يعني الترجمة، المراجعة، التحكيم، الاختبار المسبق، والتوثيق. عملية الترجمة التي تم اتباعها لاستطلاع GFS تضمنت (T) مترجمًا محترفًا قام بترجمة الاستطلاع إلى اللغة المستهدفة باستخدام مجموعة مشتركة من الملاحظات والإرشادات حول معنى كلمات وعبارات ومفاهيم معينة؛ (R) قام مترجم محترف آخر بمراجعة الترجمة. حددت هذه المراجعة أي مشكلات في المادة المترجمة، واقترحت ترجمات بديلة، وقدمت تبريرًا باللغة الإنجليزية وراء قرارها بالتعديلات؛ (A) تلقى المترجم الأصلي ملاحظات حول الترجمات المتنازع عليها وقبل أو رفض الاقتراحات. إذا اختلفوا مع تعديلات المراجع، قدم المترجم الأول تفسيرًا باللغة الإنجليزية. ثم قام مراجع طرف ثالث بتحكيم الترجمة بناءً على التفسير الذي يتماشى بشكل أفضل مع أهداف البحث؛ (P) قام الشركاء المحليون بإجراء اختبار تجريبي لكامل الاستبيان مع ما لا يقل عن 10 مستجيبين لكل لغة لضمان دقة وجودة الترجمات؛ و(D) تم توثيق الترجمات النهائية للباحثين [15].
في عدة دول، تم جمع البيانات باستخدام مزيج من أساليب المقابلات والإدارة الذاتية، اعتمادًا على وصول المشاركين إلى الإنترنت ورغبتهم في إكمال الاستطلاعات عبر الإنترنت. لضمان اتساق الترجمة عبر أوضاع جمع البيانات، قام مترجم محترف بتكييف الترجمة النهائية التي أُجريت بواسطة المقابلات لتعكس التعديلات المطلوبة للإصدار الذي يتم إدارته ذاتيًا من الاستطلاع.

تدريب المحاورين

كما وصفه ريتير وآخرون [9]، استخدم الشركاء المحليون أكثر من 3000 محاور في 19 دولة لتجنيد وإجراء الموجة الأولى من جمع البيانات (تم تجنيد المشاركين في هونغ كونغ [منطقة إدارية خاصة بالصين]، السويد، والولايات المتحدة بالكامل عبر نهج قائم على الويب). تم اختيار الشركاء بناءً على الخبرة في دراسات البحث الاستقصائي على مستوى البلاد. قاموا بإجراء جلسات تدريب متعمقة مع موظفي الميدان المحليين قبل بدء جمع البيانات
. تم مساعدة فرق العمل الميداني بواسطة دليل تدريب موحد لضمان الاتساق والترتيب. شمل تدريب المحاورين الموضوعات التالية: أخلاقيات البحث؛ حماية سرية المشاركين؛ البقاء آمنين أثناء العمل الميداني؛ بدء المقابلة؛ قراءة أسئلة الاستطلاع حرفيًا؛ التعامل مع أسئلة المشاركين؛ العناصر المغلقة والمفتوحة؛ أنماط التخطي؛ أفضل ممارسات المقابلة، بما في ذلك الاستفسار؛ اختيار المستجيبين؛ اختيار الأسر والاستبدال (للاستطلاعات وجهًا لوجه)؛ وإجراءات مراقبة الجودة. تم تدريب الفرق الميدانية باستخدام نظام المقابلة الشخصية المدعوم بالحاسوب (CAPI) للمقابلات وجهًا لوجه ونظام المقابلة الهاتفية المدعوم بالحاسوب (CATI) للمقابلات الهاتفية، والتي تم استخدامها خلال العمل الميداني. تسهل هذه الأنظمة عبء المحاورين وتساعد في التقاط البيانات بدقة للعناصر مثل اختيار المشاركين في الأسرة، وبيانات الاتصال، وأنماط التخطي.
نظرًا لتصميم البحث الطولي، ركز تدريب المحاورين أيضًا على التقاط معلومات الاتصال الخاصة بالمشاركين بدقة المطلوبة لإعادة الاتصال في المستقبل. بالإضافة إلى تكرار تفاصيل الاتصال للمشاركين، تم تدريب المحاورين على إدخال مزدوج لمعلومات الاتصال المفتوحة، والتي كان يجب أن تتطابق قبل الانتقال إلى عنصر الاستطلاع التالي. كما أكد الشركاء المحليون على أهمية تحقيق التوازن الصحيح بين الإصرار الودود في جمع أكبر عدد ممكن من أشكال معلومات الاتصال المحتملة وإمكانية إزعاج المشاركين المترددين. أخيرًا، تعلم المحاورون أن اختيار المستجيبين في الاستطلاع السنوي يتطلب تأكيدًا فوريًا لاسم المشارك لضمان أن الذين أكملوا استطلاع الاستقبال أكملوا أيضًا الاستطلاع السنوي.

تصميم العينة وجمع البيانات

استخدمت GFS منهجيات استطلاع متنوعة لتجنيد المشاركين [9]. في معظم الدول، تم توجيه الشركاء المحليين في تنفيذ منهجية قائمة على الاحتمالات للمقابلات وجهًا لوجه أو الهاتف لتجنيد أعضاء اللجنة. شمل التجنيد استطلاع استقبال جمع بشكل أساسي البيانات الديموغرافية الأساسية ومعلومات لإعادة الاتصال. بعد فترة وجيزة من التجنيد، تلقى المشاركون دعوات للمشاركة في الاستطلاع السنوي عبر الهاتف أو عبر الإنترنت. ستظهر الأسئلة في هذا الاستطلاع الأخير في موجات جمع البيانات السنوية المستقبلية للحصول على قياسات متكررة. ملخص عالي المستوى لمراحل التجنيد وجمع البيانات موضح في الشكل 2.
شمل النطاق الجغرافي في كل دولة مدرجة في GFS البلاد بأكملها، بما في ذلك المناطق الريفية. يمثل ذلك جميع السكان المدنيين غير المؤسسيين الذين تتراوح أعمارهم بين 18 عامًا وما فوق. كانت الاستثناءات تشمل المناطق التي كانت فيها سلامة موظفي المقابلات مهددة، بالإضافة إلى الجزر ذات الكثافة السكانية المنخفضة والمناطق التي لم يكن بإمكان المحاورين الوصول إليها إلا سيرًا على الأقدام أو بواسطة حيوانات أو قوارب صغيرة (على الرغم من أن بعض
الشكل 2 التجنيد والتسجيل في الدراسة العالمية للازدهار. ملاحظة: عينة الولايات المتحدة (US) هي جزء من لجنة غالوب الحالية™
أفاد بعض المحاورين بأنهم استخدموا قوارب صغيرة للحصول على تغطية سكانية كافية وفقًا لتصميم العينة). كانت الأهلية للمشاركة في الدراسة تتطلب من المشاركين المختارين أن يكون لديهم وصول إلى هاتف أو الإنترنت، وهو ضرورة عملية للمساعدة في الاحتفاظ. فقدان التغطية بسبب هذه المتطلبات كان في كل دولة تم تجنيد المشاركين فيها شخصيًا.
تم استخدام ثلاثة إطارات عينة رئيسية للتجنيد في GFS، وهي عينة قائمة على الاحتمالات، عينة غير قائمة على الاحتمالات، أو مزيج من الاثنين [9]. يلخص الجدول 1 تصميم العينة داخل كل دولة. تم استخدام نهج عينة قائمة على الاحتمالات في مصر، الهند، إندونيسيا، إسرائيل، كينيا، نيجيريا، الفلبين، جنوب أفريقيا، تنزانيا، تركيا، والولايات المتحدة. تم تجنيد عينة غير قائمة على الاحتمالات في بعض الدول لتكملة العينات القائمة على الاحتمالات بحيث تم تحقيق تغطية كافية لمجموعات فرعية من السكان (أي، الجنس، العمر، المنطقة). حدث التجنيد والتسجيل للموجة 1 من الدراسة بين أبريل 2022 وديسمبر 2023 [9].
البيانات من هونغ كونغ (منطقة إدارية خاصة بالصين) متاحة في الموجة الأولى من جمع البيانات. لم يتم تضمين البيانات من البر الرئيسي للصين في أول إصدار للبيانات بسبب تأخيرات في العمل الميداني. بدأت الموجة الأولى من العمل الميداني في البر الرئيسي للصين في فبراير 2024، ومن المتوقع أن تحدث الموجة الثانية في نوفمبر-ديسمبر 2024. ستكون جميع بيانات الموجة 1 و2 من
البر الرئيسي للصين جزءًا من إصدار مجموعة البيانات الثانية في مارس 2025.
يلخص الجدول 2 عدد المشاركين الذين تم تجنيدهم بطرق مختلفة في كل دولة. بينما اعتمدت بعض الدول بالكامل على التجنيد عبر الإنترنت (مثل الولايات المتحدة)، استخدمت دول أخرى التجنيد وجهًا لوجه حصريًا (مثل إسرائيل، كينيا) أو مزيج من طرق التجنيد (مثل الأرجنتين، المكسيك). تم إجراء عينة فرعية فريدة إضافية داخل نيجيريا تمثل أولئك الذين ليس لديهم وصول إلى خط أرضي، جهاز محمول، أو الإنترنت. تم إجراء محاولة لجمع عينة فرعية مماثلة في الهند، ولكن لم يتم الانتهاء من التنفيذ في النهاية بسبب النسبة الصغيرة للغاية التي استوفت هذه المتطلبات هناك. تم وصف نهج الوزن الذي تم استخدامه لضمان الحصول على استنتاجات تمثيلية للسكان في نيجيريا بمزيد من التفصيل في قسم تأثيرات الوزن والتصميم أدناه.

عينات قائمة على الاحتمالات

بالنسبة للمقابلات الشخصية، تم اختيار عينات قائمة على الاحتمالات من خلال اختيار وحدات العينة المصنفة حسب حجم السكان، والتحضر و/أو الجغرافيا، والتجمع [9]. كان هذا التصميم المعقد متغيرًا حسب البلد، مما أدى إلى عدد مختلف من مراحل العينة اعتمادًا على البلد. تم استخدام تصميم عينة مصنفة من مرحلة واحدة أو تصميم تجمع متعدد المراحل في البلدان التي كانت تتوفر فيها معلومات سكانية مفصلة من تعداد حديث أو مصدر موثوق آخر. تم اختيار وحدات العينة باستخدام احتمالات تتناسب مع حجم السكان لكل مرحلة من مراحل العينة حتى التجمع، مع عدد ثابت من المقابلات التي تم إكمالها داخل كل تجمع. استخدمت البلدان التي كانت معلومات السكان فيها محدودة أكثر (مثل بيانات السكان فقط على مستوى المقاطعة أو المنطقة) تصميم تجمع متعدد المراحل مصنف. تم اختيار وحدات العينة الأولية (PSUs) خلال المرحلة الأولى من العينة باستخدام احتمالات تتناسب مع الحجم، وتم اختيار الوحدات في المراحل اللاحقة باستخدام العينة العشوائية البسيطة؛ لم يتم استخدام أكثر من أربعة تجمعات لكل PSU في المرحلة الأخيرة من العينة. عندما تم استخدام تصميم عينة متعدد المراحل، كانت التجمعات المحددة مسبقًا تعرف المنطقة الجغرافية التي تم من خلالها اختيار الأسر والمشاركين في النهاية، حيث تم تدريب المحاورين، بدءًا من عنوان أو هيكل أقرب إلى نقطة البداية العشوائية التي تم اختيارها مسبقًا من قبل مدير الميدان، على اختيار كل أسرة ثالثة لاستدعاء مسار شبه عشوائي. قام المحاور باختيار مشارك عشوائي داخل كل أسرة باستخدام نظام المقابلة الشخصية المدعوم بالحاسوب (CAPI). إذا كان عضو الأسرة الذي تم اختياره عشوائيًا غير متاح خلال فترة جمع البيانات، أو غير راغب في المشاركة في الدراسة، تم اختيار أسرة مختلفة. ومع ذلك، إذا كان عضو الأسرة الذي تم اختياره عشوائيًا غير متاح بسبب وجوده في العمل أو التسوق، فسيتم المزيد.
الجدول 1 ملخص عينة دراسة الازدهار العالمية عبر البلدان للموجة 1
بلد تصميم العينة تواريخ الجمع # المشاركون إجمالي حجم العينة
الأرجنتين احتمالية 29/11/22-30/11/23 ٣٨٧٩ 6724
غير احتمالي 04/11/23-11/14/23 2845
أستراليا احتمالية 21/03/22-26/09/23 ٣٣٧٧ 3844
غير احتمالي 04/12/23-09/29/23 ٤٦٧
البرازيل احتمالية 23/11/22-26/11/23 ٣٧٩٣ ١٣,٢٠٤
غير احتمالي 04/11/23-11/07/23 9411
مصر احتمالية 03/09/23-09/17/23 4729 4729
ألمانيا احتمالية 08/11/22-11/16/23 ٤٤٨٠ 9506
غير احتمالي 06/12/23-08/27/23 ٥٠٢٦
هونغ كونغ (المنطقة الإدارية الخاصة بالصين) غير احتمالي 10/10/23-11/24/23 ٣٠١٢ ٣٠١٢
الهند احتمالية 25/04/23-08/12/23 12,765 12,765
إندونيسيا احتمالية 11/07/22-10/27/23 6992 6992
إسرائيل احتمالية 11/07/22-11/23/23 ٣٦٦٩ ٣٦٦٩
اليابان غير احتمالي 12/13/22-30/06/23 ٢٠٥٤٣ ٢٠٥٤٣
كينيا احتمالية 04/13/23-11/21/23 11,389 11,389
المكسيك احتمالية 29/10/22-13/12/23 2672 5776
غير احتمالي 05/09/23-20/11/23 ٣١٠٤
نيجيريا احتمالية 16/05/23-17/11/23 6827 6827
الفلبين احتمالية 04/04/23-01/05/24 5292 5292
بولندا احتمالية 12/14/22-10/13/23 8444 10,389
غير احتمالي 06/10/23-10/16/23 1945
جنوب أفريقيا احتمالية 26/02/23-08/12/23 ٢٦٥١ ٢٦٥١
إسبانيا احتمالية 08/17/22-11/08/23 2309 6290
غير احتمالي 22/06/23-30/08/23 ٣٩٨١
السويد غير احتمالي 01/16/23-02/22/23 15,068 15,068
تنزانيا احتمالية 17/02/23-30/11/23 9075 9075
تركيا احتمالية 15/04/23-05/01/24 1473 1473
المملكة المتحدة احتمالية 26/04/22-20/11/23 2341 ٥٣٦٨
غير احتمالي 06/12/23-08/30/23 3027
الولايات المتحدة احتمالية 08/04/22-04/04/23 ٣٨,٣١٢ ٣٨,٣١٢
شملت العينات المعتمدة على الاحتمالات مزيجًا من طرق جمع البيانات وجهًا لوجه، والهاتف، وعبر الإنترنت.
تمت محاولات الاتصال في أيام مختلفة من الأسبوع وأوقات مختلفة من اليوم (حتى ثلاث محاولات اتصال).
بالنسبة للمقابلات الهاتفية، تم اختيار المشاركين باستخدام الاتصال العشوائي بالأرقام أو قائمة وطنية تمثل أرقام الهواتف [9]. عند الاقتضاء، تم استخدام إطار عينة مزدوج يتضمن الهواتف الثابتة والهواتف المحمولة أو إطار عينة خاص بالهواتف المحمولة فقط. تم تقسيم عينات الهواتف الثابتة حسب المنطقة، بينما تم تقسيم عينات الهواتف المحمولة بشكل أساسي حسب مزودي خدمات الهاتف المحمول. كانت البرازيل الاستثناء الوحيد حيث تم تقسيم إطار عينة الهواتف المحمولة حسب المنطقة. تم تحديد حجم العينات الإقليمية ليكون متناسبًا مع حجم السكان البالغين الذين تتراوح أعمارهم بين 18 عامًا أو أكثر، وتم الحصول على مشارك عشوائي داخل كل أسرة باستخدام إحدى الطرق القياسية – إحصاء البالغين الذين تتراوح أعمارهم بين 18 عامًا أو أكثر واختيار واحد بشكل عشوائي لجمع البيانات وجهًا لوجه أو سؤال الشخص الذي لديه عيد ميلاد قادم بين البالغين المؤهلين الذين تتراوح أعمارهم بين 18 عامًا.
أو أكبر للمقابلات التي تمت عبر الهاتف. حاول المحاورون الاتصال على مدار عدة أيام وأوقات مختلفة، مع ما لا يقل عن خمس محاولات للاتصال، للوصول إلى المشاركين المستهدفين لإجراء المقابلة. عندما تم إجراء الاتصال بنجاح، كانت المقابلة الهاتفية مدعومة بنظام المقابلات الهاتفية المعتمدة على الكمبيوتر (CATI)، الذي تم استخدامه أيضًا لمساعدة المحاورين في إجراء الاستطلاع السنوي للحفاظ على منطق التخطي الصحيح عند الضرورة.
تم جمع البيانات في الولايات المتحدة باستخدام لوحة غالوب ، لوحة تمثيلية وطنية تعتمد على الاحتمالات حيث يتم تجنيد جميع الأعضاء من خلال أساليب أخذ العينات المعتمدة على العناوين أو الاتصال العشوائي بالأرقام [9]. جميع الأعضاء عبر الإنترنت في لوحة غالوب تلقى ما يصل إلى خمس دعوات لإكمال استبيان واحد يتضمن جميع عناصر الاستقبال والسنوية معًا.
للمشاركين من دولة غير الولايات المتحدة الذين أكملوا استبيان الاستقبال كجزء من
الجدول 2 حجم العينة حسب طريقة جمع البيانات المستخدمة في دراسة الازدهار العالمية
بلد استطلاع التوظيف (الاستيعاب) استطلاع الموجة الأولى السنوي
وجهًا لوجه هاتف ويب وجهًا لوجه هاتف ويب
الأرجنتين ١١٥٢ ٢٧٨٨ 2784 0 1451 5273
أستراليا 0 ٣٨٤٤ 0 0 0 3844
البرازيل 859 ٢٩٤٨ 9397 0 1265 11,939
مصر 4729 0 0 0 ٤٥٠٨ 221
ألمانيا 0 ٤٥٠٤ 5002 0 0 9506
هونغ كونغ (المنطقة الإدارية الخاصة للصين) 0 0 ٣٠١٢ 0 0 ٣٠١٢
الهند 12,765 0 0 0 12,549 216
إندونيسيا 6139 853 0 0 ٣٦٢٠ ٣٣٧٢
إسرائيل ٣٦٦٩ 0 0 0 ٢٧٤٣ 926
اليابان 0 542 ٢٠٠٠١ 0 542 ٢٠٠٠١
كينيا 11,389 0 0 0 9917 1472
المكسيك 1250 1535 ٢٩٩١ 0 1559 4217
نيجيريا 6827 0 0 5609 668
الفلبين 4620 672 0 0 ٤١٧٤ 1118
بولندا 8444 1945 0 0 625 9764
جنوب أفريقيا ٢٦٥١ 0 0 0 2010 641
إسبانيا 0 ٢٣٣٩ ٣٩٥١ 0 0 6290
السويد 0 0 15,068 0 0 15,068
تنزانيا 9075 0 0 0 8790 ٢٨٥
تركيا ٣٣٣ 1140 0 0 840 ٦٣٣
المملكة المتحدة 0 ٢٣٥٨ ٣٠١٠ 0 0 ٥٣٦٨
الولايات المتحدة 0 0 ٣٨,٣١٢ 0 0 ٣٨,٣١٢
عينة قائمة على الاحتمالات، كانت جهود الاحتفاظ لضمان إكمال الاستطلاع السنوي تتضمن نهجًا متعدد الجوانب. كما هو موضح أعلاه، زادت الاستطلاعات عبر الإنترنت من فرص تلقي المشاركين دعوة وتذكيرات للمشاركة في الاستطلاع السنوي من خلال محاولات تواصل متعددة عبر قنوات إعادة الاتصال المختلفة. تلقي الدعوة هو شرط ضروري ولكنه غير كافٍ لضمان المشاركة. تلقى المشاركون المخصصون للاستطلاع السنوي رسالة ترحيب بعد فترة وجيزة من إكمال استطلاع الإدخال، والتي قدمت مزيدًا من السياق حول الدراسة ورابطًا لموقع إلكتروني، يتضمن معلومات إضافية حول الأسئلة الشائعة وطريقة للتواصل مع المجندين. بالنسبة للمشاركين المخصصين لإكمال الاستطلاع السنوي عبر الهاتف، تلقى المحاورون تدريبًا على استراتيجيات تحويل الرفض. بالإضافة إلى ذلك، تضمن نص المقدمة قسمًا من الردود القصيرة على الأسئلة الشائعة والمخاوف. طبق المحاورون استراتيجيات تعاون مماثلة عند محاولة إعادة الاتصال بالمشاركين في الاستطلاعات الذين تم تخصيصهم للاستطلاع عبر الإنترنت والذين لم يشاركوا بعد الدعوة الأولى التي تضمنت خمس دعوات. كعلامة صغيرة على التقدير لوقتهم، حصل المشاركون المؤهلون الذين أكملوا
استطلاع سنوي حصل على بطاقة هدايا أو تعبئة رصيد موبايل بقيمة تقارب .

عينات غير قائمة على الاحتمالية

اعتمدت العينات من هونغ كونغ (المنطقة الإدارية الخاصة بالصين) واليابان والسويد بشكل حصري على لوحات الويب الموجودة للتجنيد، مما أدى إلى عينة غير قائمة على الاحتمالية [9]. تم تجميع البيانات في هونغ كونغ (المنطقة الإدارية الخاصة بالصين) والسويد من خلال عينة غير قائمة على الاحتمالية تم الحصول عليها من خلال لوحات الاشتراك عبر الإنترنت. كانت نسبة صغيرة من العينة في اليابان ( تم سحبها من إطار احتمالي، لكن العينة كانت غير كافية لتعميم تلك العينة على السكان المستهدفين.
تم جمع البيانات في هونغ كونغ (منطقة إدارية خاصة بالصين) واليابان والسويد بناءً فقط على عينة غير احتمالية، لذا فإن إنشاء أوزان عينة حقيقية غير ممكن؛ ومع ذلك، كما تم مناقشته بمزيد من التفصيل في قسم الأوزان وتأثيرات التصميم، تم بناء أوزان عينة زائفة بناءً على طرق درجات الميل في السويد، بينما تم افتراض وزن أساسي قدره 1 في الدولتين الأخريين واستخدام أهداف سكانية مصنفة بشكل أكثر تفصيلاً.
لذا فإن التقديرات الموزونة تمثل تقريبًا السكان.

عينات احتمالية وغير احتمالية مجمعة

تكونت عملية جمع البيانات في الأرجنتين وأستراليا والبرازيل وألمانيا والمكسيك وبولندا وإسبانيا والمملكة المتحدة من مزيج من عينتين: (1) عينة قائمة على الاحتمالية تم اختيارها باستخدام منهجية أخذ العينات وجهًا لوجه، أو منهجية أخذ عينات عبر الهاتف أو مزيج من الاثنين (كلاهما موصوف بمزيد من التفصيل في قسم العينات القائمة على الاحتمالية)؛ و(2) عينة غير قائمة على الاحتمالية تم جمعها من خلال لوحات الويب.
استخدمت عملية جمع البيانات في ألمانيا والمملكة المتحدة لوحات عالية الجودة متاحة تجاريًا أو لوحات طرف ثالث مملوكة تم تجميعها باستخدام طرق الاشتراك [9]. تم تجميع البيانات في الأرجنتين والبرازيل والمكسيك وإسبانيا مباشرة من شبكة تابعة مملوكة تشكل أساس العديد من اللوحات التجارية. تتكون هذه الشبكة من كيانات إعلامية تقدم الوصول إلى مستخدمي الإنترنت والهواتف المحمولة عبر مجموعة من قنوات التسويق الرقمي، بما في ذلك، على سبيل المثال لا الحصر، تسويق وسائل التواصل الاجتماعي، البريد الإلكتروني، الفيديو، الهواتف المحمولة، المدونات، والعرض.
تم تحديد الحصص للعمر والجنس والمنطقة والتعليم ومراقبتها خلال العمل الميداني في الدول التي تستخدم لوحات الويب الحالية لضمان تمثيل كافٍ للسكان. أكمل المشاركون الذين تم تجنيدهم من هذه اللوحات استبيانًا واحدًا مشتركًا. استبعدت تغطية السكان في ألمانيا والمملكة المتحدة وإسبانيا السكان غير المتصلين في هذه الدول. وصلت عينات الاحتمالية في دول أمريكا اللاتينية (الأرجنتين والبرازيل والمكسيك) إلى السكان غير المتصلين مع تضمين المستجيبين الذين أكملوا الاستبيان السنوي عبر استطلاعات الهاتف المدعومة بواسطة CATI.

الأخلاقيات وسرية المستجيبين

تم منح الموافقة الأخلاقية من قبل مجالس المراجعة المؤسسية في جامعة بايلور (رقم مرجع IRB: 1841317) وجالوب (رقم مرجع IRB: 2021-11-02)، وقد قدم جميع المشاركين موافقة مستنيرة. يمكن للأفراد الانسحاب من المشاركة في الدراسة في أي وقت. وفقًا للوائح الاتحاد الأوروبي، يمكن للمستجيبين من دولة في هذه المنطقة (مثل ألمانيا وإسبانيا والسويد) أن يطلبوا أيضًا إزالة بياناتهم تمامًا من الموجات اللاحقة من GFS. يتم الحفاظ على سرية المستجيبين من خلال إعطاء رقم تعريف زائف عشوائي يتم الاحتفاظ به بشكل منفصل عن البيانات التي يمكن للباحثين الوصول إليها. تم إنشاء مجموعة بيانات للاستخدام العام وستكون متاحة للجمهور في فبراير 2025، ويمكن الوصول إليها من قبل أي شخص يقدم تسجيلًا مسبقًا إلى مركز العلوم المفتوحة قبل ذلك، ولكن هذه المجموعة تستبعد معلومات التعريف الفردية مثل الموقع (خط العرض وخط الطول يتم
تقريبها إلى أقرب درجة) ولغة التقييم. قد يتمكن الباحثون الأفراد الذين لديهم موافقة مناسبة من مجلس المراجعة المؤسسية من الوصول إلى مجموعة بيانات للاستخدام المقيد تحتوي على هذه الأنواع الأكثر حساسية من البيانات.

تقييم جودة البيانات بعد الجمع

مرت مجموعة بيانات كل دولة بعملية ضمان جودة صارمة حسب نوع الاستبيان (استبيان أولي أو سنوي) وطريقة (هاتف، وجهًا لوجه، أو ويب). أكد مدراء أبحاث الاستطلاع الإقليميين في جالوب أن خطة أخذ العينات قد تم اتباعها، وأكدوا أن البيانات كانت تمثل على المستوى الوطني، واستعرضوا البيانات من حيث الاتساق والموثوقية والصلاحية حسب المحاور والمنطقة [9]. كما تحققوا من اتساق الاستجابة عبر العناصر الديموغرافية في الاستبيان الأولي والسنوي. بعد مراجعة مدراء الأقاليم للبيانات، قام محللو مراقبة الجودة في جالوب بإجراء مراجعات إضافية للصلاحية. تم تجميع البيانات وتنظيفها مركزيًا، مما يضمن تطبيق رموز المتغيرات الصحيحة والتسميات. ثم تمت مراجعة البيانات من قبل فريق في جالوب بالتفصيل من حيث الاكتمال والدقة والاتساق المنطقي.

إدارة الاستبيانات وجهًا لوجه وعبر الهاتف

لضمان اتباع المحاورين للمنهجية وإدارة الاستبيان بشكل صحيح، كان مطلوبًا من البائعين إجراء تحقق في الميدان لنسبة من المقابلات وجهًا لوجه وعبر الهاتف. تم التحقق من صحة المقابلات وجهًا لوجه من خلال مرافقة المشرف، وإعادة الاتصال شخصيًا، وإعادة الاتصال عبر الهاتف، أو الاستماع إلى المقابلات المسجلة. تم التحقق من صحة المقابلات الهاتفية من خلال الاستماع المباشر أو التسجيلات الصوتية.
على الأقل من المقابلات وجهًا لوجه المكتملة تم التحقق من صحتها باستخدام المقابلات المرافقة، أو إعادة الاتصال شخصيًا، أو إعادة الاتصال عبر الهاتف. تم توزيع عمليات التحقق عبر جميع المناطق والمحاورين. قام المشرف/المحقق بتقييم أداء المحاور في تنفيذ منهجية الاستبيان، بما في ذلك اختيار نقطة البداية، وإجراءات الطريق العشوائي، واستخدام رموز التصرف الصحيحة، واختيار المشاركين، وإدارة الاستبيان بشكل صحيح (مثل قراءة كل سؤال حرفيًا، وعدم توجيه المستجيب، إلخ). على مستوى العالم، تم التحقق من صحة حوالي من مقابلات التوظيف الهاتفية و من مقابلات الهاتف الأساسية. أكدت هذه التحققات أن المقابلة قد اكتملت، وتم اتباع المعايير المنهجية (مثل اختيار المشاركين)، وتم إدارة الاستبيان بشكل مناسب [9].
بالإضافة إلى ذلك، تم تتبع مقاييس إنتاجية المحاورين والبيانات الوصفية طوال عملية جمع البيانات [9]. ستتوفر هذه البيانات كجزء من إصدار البيانات الحساسة بدءًا من أغسطس 2024، وسيتعين على الباحثين الحصول على موافقة IRB قبل الوصول إلى هذه البيانات. قدمت منصات CAPI وCATI المستخدمة في المشروع أدوات مراقبة
لتقييم البيانات المجمعة بانتظام. استخدم محللو مراقبة الجودة والشركاء في البلاد هذه الأدوات لضمان أن المقابلات المكتملة كانت صالحة وملتزمة بالمنهجية. غطت المراجعات الشاملة في فترات العمل الميداني مجموعة من إجراءات مراقبة الجودة وهدفت إلى تحديد الأنماط المشبوهة في البيانات (مثل الشذوذ في مدة المقابلة، والموقع، واختيار الأسر، واختيار المشاركين). تم التحقيق في المقابلات المرفوعة والتحقق منها، وتمت إزالة الاستبيانات التي بها مشكلات جودة واستبدالها (عند الإمكان). في نهاية العمل الميداني، ضمنت المراجعة النهائية للبيانات من قبل جالوب صلاحية وموثوقية ودقة البيانات المجمعة. تم تقديم معدلات الاحتفاظ العامة لكل دولة بعد عدم الاستجابة وفحوصات الجودة في الجدول 3.

استبيان عبر الإنترنت

تم إبلاغ مراقبة الجودة بتقرير فريق العمل الأخير لجمعية الرأي العام الأمريكية [16]. بالإضافة إلى عمليات مراقبة الجودة القياسية المستخدمة لتقييم البيانات من المقابلات الشخصية والاتصالات الهاتفية، تم تطبيق الإجراءات التالية لمراقبة الجودة على الاستطلاعات عبر الإنترنت المكتملة. أولاً، تم تقييم بيانات الاستجابة (أي بصمة الاستجابة الرقمية) لضمان عدم إكمال الاستطلاعات بواسطة الروبوتات، وأن الاستجابات جاءت من أجهزة صالحة، وأن جميع الاستجابات كانت فريدة. تم إزالة الاستجابات المكررة أو الاستطلاعات عبر الإنترنت المكتملة التي لم تكن من مصادر رقمية صالحة وفقًا للتوصيات الخاصة بضمان الجودة [17]. بعد ذلك، تم تقييم الاستجابات بحثًا عن عدم التناسق في الاستجابات للعناصر ذات الصلة الوثيقة. تم إزالة مثل هذه الحالات عندما كانت هناك مشكلات جودة أخرى، ولكن الاستجابة غير المتناسقة بحد ذاتها لم تكن كافية للإزالة. بعد ذلك، تم وضع علامة على المشاركين الذين اختاروا باستمرار فئة استجابة واحدة للعناصر داخل كتلة سؤال على أنهم قد يكونون مشكلة (أي، استجابات خطية مباشرة). تعتبر أنماط الاستجابة هذه معقولة للحالات الصالحة، لذا تمت إزالة مثل هذه الحالات فقط إذا كانت هناك مشكلات جودة أخرى. أخيرًا، تم التحقق من الوقت الإجمالي المطلوب لإكمال الاستطلاع مقابل الحد الأدنى من الوقت المطلوب لقراءة الأسئلة المدرجة في الاستطلاع [18]. تم استخدام حد شائع قدره 4 دقائق عبر جميع البلدان للاستطلاع السنوي، وتم استخدام حد معدل قدره 5 دقائق للمشاركين الذين يأخذون الاستطلاع المشترك والاستطلاع السنوي. تم استخدام هذه الخصائص الاستجابية لتقييم كل استجابة استطلاع عبر الإنترنت لضمان أن الحالات النهائية المدرجة في الاستطلاع السنوي تمثل استجابات صالحة من المشاركين.

التعامل مع الاستجابات غير المتناسقة ظاهريًا

على الرغم من استخدام فحوصات جودة البيانات المذكورة أعلاه لضمان أن مجموعة البيانات النهائية المتاحة للاستخدام من قبل الباحثين تحتوي على عدد قليل من الاستجابات غير المتناسقة وغير الصالحة،
قد تحتوي مجموعة البيانات مع ذلك على استجابات غير متناسقة ظاهريًا. قد تكون الاستجابة غير المتناسقة ظاهريًا ناتجة عن أسباب متنوعة، مثل سوء تفسير السؤال من قبل المستجيب، أو فقدان مؤقت للاهتمام من قبل المستجيب، أو خطأ عرضي في إدخال البيانات من قبل المحاور، أو سبب آخر غير معروف لنا ولكنه منطقي داخليًا بالنسبة للمستجيب. من خلال اعتماد نهج شامل لمراقبة الجودة على مستوى الحالة، لا يتم استبعاد الحالة من مجموعة البيانات بسبب واحدة أو اثنتين من عدم التناسق في الاستجابة المتصورة. ستتطلب الحالة غير المتناسقة ظاهريًا عبء إثبات إضافي قبل أن يتم التخلص منها؛ وإلا فإن مثل هذا الإلغاء لديه القدرة على خلق عواقب غير مقصودة تتعلق بالإزالة غير المتناسبة لبعض أنواع المستجيبين. قد يواجه الباحثون، مع ذلك، استجابات تبدو غير متناسقة منطقيًا ولكن قد لا تزال استجابات صالحة من قبل المستجيب.
لتوضيح ذلك، اعتبر الاستجابات للعناصر علاقة مع الأم (الصياغة: يرجى التفكير في علاقتك مع والدتك عندما كنت تنمو. بشكل عام، هل ستقول إن العلاقة كانت جيدة جدًا، أو جيدة إلى حد ما، أو سيئة إلى حد ما، أو سيئة جدًا؟ إذا لم تكن تعرف والدتك أو إذا توفيت، اختر “لا ينطبق.”) والحب من الأم (الصياغة: بشكل عام، هل شعرت بأنك محبوب من قبل والدتك عندما كنت تنمو؟ إذا لم تكن تعرف والدتك أو إذا توفيت، اختر “لا ينطبق.”)، سيكون من غير المتناسق ظاهريًا اختيار “لا ينطبق” لأحد هذين العنصرين فقط. ومع ذلك، قد تختلف الظروف التي كان كل مستجيب يأخذها في الاعتبار أثناء الرد على هذه العناصر. على سبيل المثال، قد يختار مستجيب “لا ينطبق” على عنصر الحب من الأم لأنه يساوي “الحب” بـ “الحب الرومانسي” أو شكل من أشكال الحب الذي شعر أنه لا ينطبق على علاقة عائلية، بينما ربما كان لديه بالفعل علاقة مع والدته. تفسيرات أخرى ممكنة أيضًا. كانت ترجمة مفهوم “الحب” تحديًا لهذا العنصر، وهو ما تم توثيقه ومناقشته بشكل مطول في الورقة المرافقة حول الترجمة والمقابلات المعرفية [11].
في الممارسة العملية، هناك عدة طرق يمكن أن يتخذها الباحثون للتعامل مع مثل هذه الحالات. إحدى الاحتمالات هي إعادة ترميز أي استجابة من “لا ينطبق” كقيمة مفقودة ثم التعامل مع البيانات المفقودة باستخدام طريقة مناسبة لتحليلهم (مثل، الإحلال المتعدد، الاحتمالية القصوى للمعلومات الكاملة، إلخ). قد تكون طريقة أخرى هي استخدام “لا ينطبق” كفئة متغيرة لتقييم ما إذا كان أولئك الذين يستجيبون بـ “لا ينطبق” يختلفون عن مجموعة مرجعية مناسبة للتحليل المختار. ستعتمد الطريقة المناسبة للتعامل مع الاستجابات غير المتناسقة ظاهريًا على السياق والغرض من التحليل. يجب توخي الحذر حتى لا يتم إدخال أخطاء قياس غير مقصودة بسبب التنظيف المفرط.
الجدول 3 توفر المتغيرات لعدم الاستجابة وتعديلات ما بعد التصنيف لكل بلد في الموجة 1 من الاستطلاع السنوي لدراسة الازدهار العالمية
البلد المتغيرات المستخدمة المصدر المستهدف
الأرجنتين العمر × الجنس × المنطقة، التعليم، التوظيف تعداد السكان والإسكان 2010، المعهد الوطني للإحصاءات والتعدادات (INDEC)
أستراليا العمر × الجنس × المنطقة، العمر × الجنس × التعليم، العمر × الجنس × التوظيف تعداد 2021، المكتب الأسترالي للإحصاءات
البرازيل العمر، التعليم، المنطقة × الجنس تعداد 2010، المعهد البرازيلي للجغرافيا والإحصاءات (IBGE)
مصر العمر، التعليم، العمر × الجنس × المنطقة تعداد 2017
ألمانيا العمر × الجنس × المنطقة، التعليم، التوظيف، العمر × الجنس × الحالة الاجتماعية يوروستات 2021؛ المكتب الفيدرالي للإحصاء 2019
هونغ كونغ العمر × الجنس × المنطقة، العمر × الجنس × التعليم بيانات 2022 من إدارة الإحصاءات والتعدادات في هونغ كونغ
الهند العمر × الجنس × المنطقة، العمر × الجنس × التعليم، العمر × الجنس × الدين، العمر × الجنس × التحضر تعداد الهند 2011، مكتب المسجل العام ومفوض التعداد، الهند
إندونيسيا العمر × الجنس × المنطقة، التعليم تعداد السكان في إندونيسيا 2020 وتعداد 2010، المكتب الوطني للإحصاءات
إسرائيل العمر × الجنس × المنطقة، العمر × الجنس × الحالة الاجتماعية، العمر × الجنس × التعليم × العرق، الجنس × الإثنية × التوظيف السنة الإحصائية 2023
اليابان التعليم، المنطقة، العمر × الجنس × المنطقة × التوظيف، العمر × الجنس × المنطقة × الحالة الاجتماعية تعداد السكان 2020
كينيا العمر × الجنس × المنطقة، التعليم تعداد السكان والإسكان في كينيا 2019، المكتب الوطني للإحصاءات في كينيا
المكسيك العمر × الجنس × التوظيف، الجنس × التعليم × المنطقة تعداد السكان 2020، المكتب الوطني للإحصاءات في المكسيك (INEGI)
نيجيريا العمر، الجنس، التعليم، المنطقة، الملحق الرئيسي (هل لديك أي وصول إلى الخط الثابت، الهاتف المحمول، الإنترنت مقابل لا) DHS 2018
الفلبين العمر × الجنس × التعليم، العمر × الجنس × المنطقة، العمر تعداد السكان والإسكان في الفلبين 2020، هيئة الإحصاءات في الفلبين
بولندا العمر × الجنس × المنطقة، العمر × الجنس × التوظيف، التعليم يوروستات 2021 والمكتب الإحصائي المركزي في بولندا، 2019
جنوب أفريقيا العمر × الجنس، العمر × المنطقة، التعليم تعداد الولايات المتحدة، IDB 2022 وDHS 2016
إسبانيا العمر × الجنس × المنطقة، العمر × الجنس × التعليم، العمر × الجنس × التوظيف، العمر × الجنس × الحالة الاجتماعية يوروستات 2021 وتعداد السكان والإسكان 2021
السويد العمر × الجنس، التعليم، المنطقة تقديرات السكان لعام 2018، إحصاءات السويد
تنزانيا العمر × الجنس × المنطقة، العمر × الجنس × التعليم تعداد 2022 وDHS 2022
تركيا العمر × الجنس، التعليم، المنطقة، التوظيف، الحالة الاجتماعية نظام تسجيل السكان القائم على العنوان، 2022؛ قاعدة بيانات إحصاءات التعليم الوطنية 2008-2022؛ مسح قوة العمل الأسرية اعتبارًا من يناير 2021؛ تعداد السكان والإسكان 2021، تركستات
المملكة المتحدة العمر × الجنس × المنطقة، التعليم، العمر × الجنس × التوظيف تعداد إنجلترا وويلز 2021، تعداد أيرلندا الشمالية 2021، السجلات الوطنية لاسكتلندا – تقديرات منتصف العام للسكان 2021
الولايات المتحدة
أسود: العمر × الجنس × التعليم، المنطقة
غير الأسود: العمر × الجنس × التعليم، المنطقة
هسباني: العمر × الجنس × التعليم، المنطقة
استطلاع المجتمع الأمريكي 2021 تقديرات لمدة 5 سنوات
تحت المتغيرات المستخدمة، يمثل ” × ” استخدام الجدول المتقاطع للخاصية

الوزن وتأثيرات التصميم

تم استخدام وزن الحالة لضمان أن تكون العينات ممثلة وطنياً لكل دولة وكان من المقرر استخدامها في الحسابات داخل الدولة [9]. اختلفت المنهجيات والمصادر المستخدمة لبناء عينات الدول بشكل كبير.
تطلبت هذه الاختلافات نهجاً مخصصاً لوزن البيانات يتضمن عينات احتمالية وغير احتمالية [19]. شملت الأوزان النهائية للدولة فقط المستجيبين الذين أكملوا استبيانات الاستقبال والسنوية. لإنتاج الوزن النهائي للمستجيب، تم بناء وزن أولي لأولئك الذين أكملوا استبيان الاستقبال. مزيد من
حدثت المعايرة على الوزن الأولي عندما تم تعديل طبقة إضافية من التصنيف بعد الاستجابة لعدم الاستجابة في الاستبيان السنوي. تطابقت جميع تعديلات عدم الاستجابة / التصنيف بعد الاستجابة مع المتغيرات بناءً على التوزيع الهامشي لكل خاصية مطابقة. الدول التي تم استخدام أهداف سكانية مصنفة بشكل أكثر تفصيلاً فيها موضحة في الجدول 3. يمكن تصنيف الطرق المستخدمة لوزن استبيانات الاستقبال إلى ثلاثة نهج رئيسية بناءً على نوع مصادر العينات.

النهج 1: عينات احتمالية فقط

الدول التي تستخدم عينات قائمة على الاحتمالية فقط: مصر، الهند، إندونيسيا، إسرائيل، كينيا، نيجيريا، الفلبين، جنوب أفريقيا، تنزانيا، تركيا، والولايات المتحدة. في الدول التي تم جمع البيانات فيها باستخدام عينة واحدة قائمة على الاحتمالية (مثل إسرائيل)، تم بناء أوزان العينات كعكس للاحتمالية الاختيارية للإدراج في العينة بناءً على منهجية العينة لكل دولة [9]. بالنسبة لمنهجية العينة وجهًا لوجه، كانت احتمالية الاختيار العامة تأخذ في الاعتبار احتمالات الاختيار في مراحل مختلفة من الاختيار، بما في ذلك عدم التناسب في التخصيص، واختيار وحدات العينة الأولية، واختيار وحدات العينة الثانوية (إذا كان ذلك مناسبًا)، واختيار الأسر داخل العنقود النهائي، واختيار مستجيب مؤهل واحد داخل الأسرة. اعتمد إنشاء أوزان العينات لعينات الاحتمالية فقط على ما إذا كانت الأسر قد تم اختيارها عبر الاتصال العشوائي أو الطريق شبه العشوائي (انظر قسم عينات قائمة على الاحتمالية).
تحت منهجية عينة الهاتف عبر الاتصال العشوائي، كانت أوزان العينة الأساسية تأخذ في الاعتبار اختيار أرقام الهواتف من الإطارات المعنية وتصحيحها لاحتمالات الاختيار غير المتساوية بسبب اختيار بالغ واحد في الأسر ذات الخطوط الأرضية وللمستخدمين المزدوجين القادمين من كل من الإطار الأرضي والمحمول [20،21]. كان وزن العينة الأساسية للحالة هو
احتمالية الإدراج، ولكن مع اختلاف طفيف في إطار العينة. الطريقة العامة المستخدمة عبر الدول لبناء أوزان العينة الأساسية بافتراض تصميم من مرحلة واحدة هي
,
حيث إجمالي عدد البالغين في الأسرة في PSU في الطبقة عدد الأسر التي تمت مقابلتها في PSU في الطبقة إجمالي عدد الأسر في PSU في الطبقة عدد PSUs التي تم اختيارها في الطبقة حجم السكان في PSU في الطبقة ; و إجمالي حجم السكان في الطبقة [9]. يتم تعديل الصيغة وفقًا لتصاميم العينات المختلفة.
بمجرد بناء أوزان العينة الأساسية المذكورة أعلاه، تم تصنيف الأوزان بعد الاستجابة لتعديل عدم الاستجابة ومطابقة إجمالي السكان المستهدفين المعروفين (مثل البيانات المساعدة من تعداد على مستوى الدولة). تضمنت المتغيرات المستخدمة لتعديلات عدم الاستجابة / التصنيف بعد الاستجابة العمر، الجنس، التعليم، المنطقة، حالة العمل، الحالة الاجتماعية، ومتغيرات أخرى قد تختلف حسب الدولة اعتمادًا على توفر مصدر ثانوي موثوق. يسرد الجدول 3، لكل دولة، المتغيرات التي تم استخدامها.
كان توزيع الأوزان المصنفة بعد الاستجابة منحرفًا بشكل كبير مع بعض الأوزان القصوى؛ تم تقليم هذه الأوزان القصوى لتقليل تباين المقدّر [22]. تم إجراء التقليم في كلا طرفي توزيع الأوزان. كانت الأوزان الدنيا / القصوى الناتجة (أي نقاط التقليم) عمومًا تقع بين – و البلاط. ثم تم إعادة توزيع الأوزان عبر العينة المتبقية. تم تحديد نقاط التقليم بناءً على توازن بين التحيز (عمومًا فرق للعمر، الجنس، المنطقة، الحضرية وأقل من للتعليم) والتباين كما تم قياسه بواسطة تأثير التصميم (مع الأخذ في الاعتبار-
,
حيث إجمالي عدد المكالمات المكتملة عبر الخطوط الأرضية في الخط الأرضي المقابل؛ إجمالي عدد أرقام الهواتف في إطار الخط الأرضي في الطبقة المقابلة؛ إجمالي عدد المكالمات المكتملة عبر الهواتف المحمولة في كل طبقة محمولة؛ إجمالي عدد أرقام الهواتف المحمولة في الطبقة المقابلة في إطار الخلية؛ عدد البالغين في الأسرة إذا كان المستجيب لديه هاتف أرضي، وإلا ; و إذا كان المستجيب لديه هاتف محمول، وإلا [9].
تحت منهجية عينة وجهًا لوجه، كانت أوزان العينة الأساسية تأخذ في الاعتبار بشكل مشابه عدم المتساوي
الاعتبار فقط التباين في الأوزان). لغرض معايرة الوزن، تم قياس تأثير التصميم بواسطة التباين في الأوزان حيث كانت تأثيرات التصميم المفضلة أقل من 2.
في عدة دول، تم جمع البيانات باستخدام أكثر من عينة واحدة قائمة على الاحتمالية (مثل إندونيسيا)، حيث تم إجراء الوزن في البداية بشكل منفصل لكل عينة. ثم تم الحصول على وزن حالة مجمع باستخدام إجراء وزن مركب لتقدير الوزن النهائي المجمع للسكان المستهدفين من البالغين [23]. يتم وصف تأثيرات التصميم المرتبطة بمصادر العينات المختلفة أدناه.
تأثيرات التصميم والأوزان المجمعة. لأغراض توضيحية، اعتبر البيانات متعددة مصادر العينات التي تم جمعها في إندونيسيا والتي تتكون من التوظيف وجهًا لوجه والهاتف. دع تمثل الوزن المعين للحالة من العينة وجهًا لوجه ودع تمثل الوزن المعين للحالة من العينة الهاتفية. عدد العينات المكتملة وجهًا لوجه والهاتف هو و على التوالي. الأحجام الفعالة للعينة المقابلة تحت كل طريقة توظيف هي
,
.
حيث و هما تأثيرات التصميم المرتبطة بالعينة وجهًا لوجه والهاتف، على التوالي [9]. تم تقدير تأثيرات التصميم باستخدام طريقة كيش [24]، حيث يتم تقريب تأثيرات التصميم بواسطة
deff لـ
deff لـ
تم الإبلاغ عن تأثيرات التصميم المرتبطة بكل دولة في الجدول 4. تم تقدير تأثير تصميم إجمالي لكل دولة وتأثير تصميم محدد لكل طريقة لجمع البيانات للاستبيان السنوي (استبيان ويب، فترة الهاتف، ووجهًا لوجه لعينة نيجيرية فرعية). في جميع الدول باستثناء دولة واحدة (الولايات المتحدة) كان تأثير التصميم الإجمالي في أقصى حد 2.0، وفي الولايات المتحدة، كان تأثير التصميم 5.49.
يتم حساب الأوزان النهائية مع تعديل الحجم الفعلي لكل مصدر عينة، مما يؤدي إلى أوزان
,
.
ملاحظة حول العينة النيجيرية. في نيجيريا وحدها، تم تقسيم عينة الاستقبال إلى جزئين – واحد لتغطية الأسر التي لديها أفراد لديهم وصول إلى خط أرضي، هاتف محمول، أو الإنترنت، وعدد قليل من PSUs لتمثيل الأفراد الذين يعيشون في أسر لا تملك وصولاً إلى خط أرضي، هاتف محمول، أو الإنترنت. كل عينة
الجدول 4 تأثيرات تصميم الاستبيان السنوي لدراسة الازدهار العالمية – التباين في الأوزان – المرتبطة بكل دولة
الدولة ويب هاتف الإجمالي
الأرجنتين 2.01 1.87 1.99
أستراليا 1.58 1.58
البرازيل 1.81 1.50 1.79
مصر 1.46 1.44 1.44
ألمانيا 1.65 1.65
هونغ كونغ 1.93 1.93
الهند 1.55 1.43 1.43
إندونيسيا 1.52 1.61 1.59
إسرائيل 1.42 1.31 1.34
اليابان 1.38 1.29 1.38
كينيا 1.42 1.49 1.48
المكسيك 1.77 1.47 1.68
نيجيريا* 1.59 1.93 1.97
الفلبين 1.53 1.57 1.56
بولندا 1.91 1.83 1.91
جنوب أفريقيا 1.52 1.77 1.71
إسبانيا 1.79 1.79
السويد 1.48 1.48
تنزانيا 1.45 1.50 1.50
تركيا 1.36 1.45 1.49
المملكة المتحدة 1.97 1.97
الولايات المتحدة 5.49 5.49
*العينة الفرعية وجهًا لوجه في نيجيريا لها تأثير تصميم . يمثل الاستبيان عبر الويب والهاتف للاستبيان السنوي، والإجمالي يمثل تأثير التصميم (التباين في الأوزان) لعينة الدولة بأكملها مجتمعة. تم تقدير جميع تأثيرات التصميم باستخدام طريقة كيش بناءً على عينة GFS النهائية المتاحة علنًا. جميع تأثيرات التصميم المبلغ عنها تستند إلى مجموعة بيانات GFS الموجة 1 غير الحساسة المنشورة – يمكن أن تختلف تأثيرات التصميم المقدرة المبلغ عنها في تقرير منهجية غالوب [9] لأن تلك التقديرات تشمل المشاركين الذين استجابوا فقط لاستبيان الاستقبال.
تم وزنها بشكل منفصل وتمت معالجتها لتتناسب مع السكان المستهدفين المقابلين. تم اشتقاق الأهداف للسكان الذين ليس لديهم وصول إلى الهاتف الثابت أو الهاتف المحمول من أحدث مسح ديموغرافي وصحي في نيجيريا [25]. تم دمج العينات الموزونة الناتجة حيث من العينة جاءت من مصادر لديها وصول إلى الهواتف أو الإنترنت و من العينة جاءت من مصادر ليس لديها وصول إلى الهاتف أو الإنترنت. تشكل هذه العينة الأخيرة ما نسميه “السكان صعبو الوصول” الذين يتم تضمينهم بشكل أقل في المسوح والدراسات واسعة النطاق.

النهج 2: عينات غير احتمالية فقط

الدول والأقاليم التي تستخدم عينة غير احتمالية فقط: هونغ كونغ (منطقة إدارية خاصة من الصين)، اليابان، والسويد. تم جمع البيانات في هونغ كونغ (منطقة إدارية خاصة من الصين) والسويد باستخدام عينة غير احتمالية تم الحصول عليها من خلال لوحات اختيارية عبر الإنترنت [9]. نسبة صغيرة من العينة في اليابان
تم سحبها من إطار احتمالي، لكن ذلك كان غير كافٍ لتقدير تلك العينة للسكان المستهدفين. لأغراض بناء الأوزان، تم التعامل مع جميع السجلات في اليابان كعينات غير احتمالية. نظرًا لأن احتمال الاختيار للدخول في العينة النهائية غير معروف، تم بناء أوزان عينة زائفة باستخدام وزن الميل [19، 26]. اعتمدت عينة السويد فقط على وزن الميل. استخدمت عينات هونغ كونغ واليابان وزنًا أساسيًا قدره 1 تلاه عملية تصحيح مع أهداف سكانية مفصلة (انظر الجدول 3). قدّر هذا النهج احتمال الدخول في إطار اللوحة وولد أوزان استجابة على مستوى المستجيب للتحليل اللاحق، انظر الصفحات 16-17 من [16].
تتمثل إحدى قيود استخدام عينة غير احتمالية فقط في الحاجة إلى وجود عينة مساعدة قائمة على الاحتمالية من نفس البلد مع مجموعة فرعية من العناصر المتطابقة [16]. يوفر الجدول 3 تفاصيل حول المصادر التي تم استخدامها لتوفير المعلومات المساعدة المطلوبة. لتنفيذ وزن الميل، تم دمج مجموعة بيانات تجمع العينة المرجعية مع العينة غير الاحتمالية. تم تعيين متغير ثنائي للسجلات من المسح المرجعي قيمة “0” وسجلات من العينة غير الاحتمالية قيمة “1”. كان هذا المؤشر الثنائي بمثابة المتغير التابع في نموذج انحدار لوجستي موزون. كانت المتغيرات المساعدة مثل العمر، الجنس، المنطقة، مقاسة في كلتا العينتين (المرجعية وغير الاحتمالية) واحتمالية الاختيار في العينة الاحتمالية بمثابة متنبئات محتملة. حددت تقنية اختيار النموذج النموذج الأنسب، الذي تم استخدامه لتوليد درجة الميل تمثل احتمال التنبؤ بأن السجل جاء من العينة غير الاحتمالية. كان عكس هذا الاحتمال المتوقع هو وزن احتمال الاختيار الزائف المعين لكل وحدة في العينة غير الاحتمالية.
ثم تم تصحيح هذه الأوزان بعد التصنيف لموازنة ديموغرافيات العينة مع إجمالي السكان المستهدفين المعروفين المستمدين من بيانات التعداد على مستوى الدولة [9]. تضمنت المتغيرات المستخدمة العمر، الجنس، التعليم، المنطقة، حالة العمل، الحالة الاجتماعية، وأي متغير آخر تتوفر له بيانات موثوقة. كانت هناك بعض الاختلافات في المتغيرات المستخدمة لتعديل ما بعد التصنيف حسب الدولة (انظر الجدول 3). بعد وزن ما بعد التصنيف، تم فحص توزيع الأوزان النهائية وتم تقليم الأوزان المتطرفة، عند الضرورة، لتقليل تأثير الأوزان الكبيرة على تباين التقديرات.
ملاحظة حول اليابان وهونغ كونغ (منطقة إدارية خاصة من الصين). في اليابان وهونغ كونغ (منطقة إدارية خاصة من الصين)، لم يتم التقاط أي مرجع لحساب أوزان الاختيار الزائفة الموصوفة سابقًا. لذلك، بدأت عملية الوزن بوزن أساسي قدره 1، وتم تصنيف العينة بعد ذلك باستخدام خلايا مصنفة بالتفصيل. بالنسبة لهونغ كونغ، كان التصنيف بعد التصنيف يعتمد على العمر حسب الجنس حسب التعليم والعمر حسب الجنس حسب المنطقة. بالنسبة لليابان، كان التصنيف بعد التصنيف يعتمد على خلايا مصنفة متقاطعة من (1) المنطقة، العمر، الجنس، وحالة العمل و(2)
المنطقة، العمر، الجنس، والحالة الاجتماعية، بالإضافة إلى التعليم والمحافظة.

النهج 3: مزيج من العينات الاحتمالية وغير الاحتمالية فقط

الدول التي تستخدم كل من العينات الاحتمالية وغير الاحتمالية: الأرجنتين، أستراليا، البرازيل، ألمانيا، المكسيك، بولندا، إسبانيا، والمملكة المتحدة [9]. يزيد دمج العينات الاحتمالية وغير الاحتمالية من تغطية السكان [16، 27]، وهناك بعض الأدلة على أن مثل هذه التصاميم المعقدة الهجينة تقلل من تباين العينة [28، 29].
تم وزن كل عينة قائمة على الاحتمالية باستخدام خطوات الوزن (حساب وزن العينة وما بعد التصنيف) الموضحة في القسم الفرعي النهج 1: عينات احتمالية فقط. طبقت العينة غير الاحتمالية خطوات الوزن (حساب وزن العينة الزائفة وما بعد التصنيف) الموضحة في القسم الفرعي النهج 2: عينات غير احتمالية فقط، باستخدام العينة الاحتمالية الموزونة كعينة مرجعية. ثم تم دمج الجزئين باستخدام إجراءات الوزن المركب لتقدير العينة النهائية المجمعة للسكان المستهدفين من البالغين الذين تتراوح أعمارهم بين 18 عامًا أو أكثر الذين يعيشون في كل دولة (انظر قسم تأثيرات التصميم والأوزان المجمعة لمزيد من التفاصيل).

معدل الاستجابة

تم حساب معدل الاستجابة لمسوح الاستقبال والمسوح السنوية بناءً على توصيات الجمعية الأمريكية لأبحاث الرأي العام [30] لتقارير الشفافية لجودة منهجية المسح. على الرغم من أن معدل الاستجابة المرتفع يقلل من خطر تحيز عدم الاستجابة [31]، إلا أن معدل الاستجابة المنخفض لا يؤدي بالضرورة إلى تحيز عدم الاستجابة في النتائج [32-35]. تم حساب معدلات الاستجابة للمقابلات المباشرة، الهاتف، والتجنيد عبر الإنترنت (الطرق الموضحة أدناه)، لكن لم يكن من الممكن حساب معدل الاستجابة للعينات غير الاحتمالية بسبب نقص المعلومات حول إطار العينة. في الدول التي تستخدم مزيجًا من طرق التجنيد، تم إنشاء معدل استجابة مجمع من خلال وزن متوسط معدل الاستجابة وفقًا لنسبة المجندين من كل مصدر عينة.
تتبع معدلات الاستجابة المحسوبة لتجنيد المقابلات المباشرة
,
حيث إجمالي عدد المقابلات الكاملة (تعرف بأنها الاستجابة لما لا يقل عن 75% من عناصر المسح)؛ إجمالي عدد المقابلات الجزئية (تعرف بأنها الاستجابة لأقل من 75% من عناصر المسح)؛ عدد الرفض؛ عدد غير المتصلين؛ عدد عدم الاستجابة بسبب سبب آخر؛ و , الذي يشمل
النسبة المقدرة للحالات ذات الأهلية غير المعروفة التي تكون مؤهلة، مع غير معروف إذا كان المنزل مشغولًا، غير معروف إذا كانت الوحدة المختارة مؤهلة أو إذا كان المنزل يحتوي على مستجيب مؤهل، و غير معروف إذا كانت مؤهلة بسبب سبب آخر [9].
تتبع معدلات الاستجابة المحسوبة لتجنيد الهاتف
,
حيث نسبة الحالات السكنية المعروفة المقدرة أن لديها مستجيبين مؤهلين؛ نسبة الحالات السكنية المعروفة المقدرة أن لديها سكنيين مؤهلين؛ و و يتم تقريبها [9].
تم حساب معدل استجابة المسح السنوي للموجة 1 من خلال ضرب متوسط معدل الاستجابة الموزون أعلاه في نسبة الاستجابات الكاملة إلى المسح السنوي على إجمالي عدد أعضاء اللوحة المجندين. يتم تقديم معدلات استجابة الاستقبال ومعدل استجابة المسح السنوي للموجة 1 في الجدول 5. بالنسبة لهونغ كونغ (منطقة إدارية خاصة من الصين)، اليابان، السويد، والولايات المتحدة، تم دمج مسوحات الاستقبال والمسوحات السنوية للموجة 1 وتم إدارتها في وقت واحد وبالتالي فإن معدل استجابة المسح السنوي للموجة 1 في تلك الدول هو .

نقاط القوة والقيود للموجة 1

تتمتع الموجة 1 من GFS بعدة نقاط قوة وقيود يجب أن يكون الباحثون على دراية بها عند تفسير النتائج.
الجدول 5 معدلات الاستجابة لدراسة الازدهار العالمية حسب الدولة
الدولة نوع العينة استطلاع التجنيد (الاستقبال) استطلاع سنوي للموجة 1
# كامل معدل الاستجابة # كامل معدل الاستجابة
الأرجنتين احتمالية 9398 10.5 3879 41.3
غير احتمالية 2905 أ 2845 97.9
أستراليا احتمالية 5539 2.4 3377 61
غير احتمالية 677 أ 467 69
البرازيل احتمالية 10,257 13.3 3793 37
غير احتمالية 9437 أ 9411 99.7
مصر احتمالية 7500 55 4729 63.1
ألمانيا احتمالية 10,941 2.5 4480 41
غير احتمالية 5141 أ 5026 97.8
هونغ كونغ (منطقة إدارية خاصة من الصين) غير احتمالية 3012 أ 3012 100
الهند احتمالية 28,644 68.9 12,765 44.6
إندونيسيا احتمالية 11,808 ٥٤.٦ 6992 ٥٩.٢
إسرائيل احتمالية ٥٥٠٧ ٥٥.٨ ٣٦٦٩ 66.6
اليابان غير احتمالي ٢٠٥٤٣ أ ٢٠٥٤٣ 100
كينيا احتمالية 14,993 ٦٣.٧ 11,389 76.1
المكسيك احتمالية 9896 ٢٠.٥ 2672 27
غير احتمالي ٣٢٤٤ ٣١٠٤ 95.7
نيجيريا احتمالية 13,849 79.2 6827 49.3
الفلبين احتمالية 13,995 42.6 5292 37.8
بولندا احتمالية 11,013 71.1 8444 ٧٦.٧
غير احتمالي ٣٢١٧ أ 1945 60.5
جنوب أفريقيا احتمالية 11,035 82 ٢٦٥١ ٢٤
إسبانيا احتمالية 5446 3.6 2309 42.4
غير احتمالي ٤١١٧ ٣٩٨١ 96.7
السويد غير احتمالي 15,068 15,068 100
تنزانيا احتمالية ١٠,٩٩٧ 70.9 9075 82.5
تركيا احتمالية 5414 19.2 1473 ٢٧.٢
المملكة المتحدة احتمالية 5380 1.8 2341 ٤٣.٥
غير احتمالي ٣١٥٣ 3027 96
الولايات المتحدة احتمالية ٣٨,٣١٢ ٣٨,٣١٢ 100
قوة ملحوظة هي أن هذه البيانات تمثل عينة كبيرة ومتنوعة تم وزنها (باستخدام الطرق الموصوفة في هذه الورقة) لتكون تقريبًا ممثلة على المستوى الوطني للسكان البالغين بشكل عام في كل من 22 دولة وإقليم، مما يؤدي إلى تغطية واسعة للسكان، بالإضافة إلى تغطية واسعة للاستطلاعات للعديد من المفاهيم. قوة أخرى لاستطلاع GFS هي استخدام استطلاع الاحتفاظ في منتصف العام للمساعدة في الحفاظ على الاتصال مع المستجيبين لتقليل الانسحاب واستخدام عناصر استطلاع معدلة أو جديدة لا يمكن استيعابها في الاستطلاع السنوي.
ومع ذلك، يجب ملاحظة عدة قيود مرتبطة بالموجة الأولى من GFS. اختلفت فترة جمع البيانات عبر البلدان، مما قد يؤدي إلى تأثيرات موسمية تجعل المقارنات المباشرة بين البلدان أكثر تحديًا. على الرغم من أن كل بلد تم وزنه ليكون ممثلًا على المستوى الوطني، فإن أوزان مستوى المستجيبين تعتمد على جودة مصدر البيانات الخارجية المستخدمة كعدادات للسكان المستهدفين. تم توثيق هذه الأهداف في الجدول 3، جنبًا إلى جنب مع خصائص التقسيم المستخدمة لكل بلد. بالإضافة إلى ذلك، يؤدي استخدام نهج وزن مختلف لكل بلد إلى تعقيد حول كيفية تفسير التباين عبر البلدان. على سبيل المثال، إذا كان متوسط الاستجابة الموزون للسؤال “سعيد” (“بشكل عام، كيف تشعر عادةً بالسعادة أو التعاسة؟”; مقياس استجابة من نوع ليكرت من “تعيس للغاية [0]” إلى “سعيد للغاية [10]”) يختلف عبر البلدان، فهناك عدة مصادر محتملة لهذا التباين. بالإضافة إلى الاختلافات الجوهرية، قد تشمل مصادر التباين في المتوسطات الموزونة أيضًا تأثيرات موسمية، واختلافات في تفسير العناصر أو مقاييس الاستجابة، واختلافات بسبب جودة الترجمة، واختلافات في طريقة جمع البيانات، واختلافات في العملية والمتغيرات المستخدمة لبناء أوزان مستوى المستجيبين، وأسباب أخرى محتملة تعتمد على البناء المحدد المعني.
هناك قيود أخرى على نظام GFS ستنطبق بعد الموجة الأولى. على سبيل المثال، يستخدم نظام GFS استبيانًا ذاتيًا يقيم معظم المفاهيم باستخدام عنصر واحد فقط، مما يعني أن استبيان GFS قد يكون محدودًا بعض الشيء في تغطيته المفاهيمية للمفاهيم التي يتم قياسها. سيتعين على الباحثين أن يأخذوا هذه الاعتبارات في الاعتبار أثناء معالجة وتفسير النتائج باستخدام الموجة الأولى (والموجات اللاحقة) من نظام GFS.

الموجات المستمرة والمستقبلية

يتم إجراء استبيان قصير للاحتفاظ بين جمع بيانات الموجة 1 والموجة 2. أهداف هذه النشاط للاحتفاظ هي تذكير المشاركين بمشاركتهم في GFS، وتحديث معلومات الاتصال، وجمع الردود على بعض العناصر الإضافية المهمة في الاستبيان، ومحاولة ضمان الاحتفاظ. سيتم تنفيذ هذا النشاط فقط للعينات المعتمدة على الاحتمالات، مع إدراج العناصر الإضافية المهمة للعينات الأخرى.
بدلاً من ذلك في مسح الموجة 2. ستتم جمع بيانات الموجة 2 بعد حوالي عام من الموجة 1. سيتضمن الاستطلاع نفس مجموعة العناصر التي تم طرحها في الموجة 1، مما ينتج بيانات طولية يمكن استخدامها لتتبع التغيرات داخل الموضوع على مر الزمن. بالإضافة إلى ذلك، قد تتضمن الموجات اللاحقة من GFS تجنيدًا إضافيًا لمجموعات جديدة حسبما يسمح التمويل.

الملاحظات الختامية

يمثل GFS استجابة مباشرة للدعوات المتزايدة التي تم توجيهها لإعادة تشكيل المركزية الغربية للأدلة العلمية الاجتماعية حول رفاهية الإنسان من خلال أبحاث صارمة تكون أكثر شمولاً وتمثيلاً للسكان العالميين. على الرغم من أن GFS ليس خالياً من قيوده (مثل الاعتماد على استبيان يعتمد على التقرير الذاتي)، إلا أن الدراسة تمثل خطوة مهمة إلى الأمام في الحركة نحو بناء “علم رفاهية عالمي”. بين النطاق المفهومي الواسع للازدهار البشري الذي يدعم استبيان GFS، والتغطية الثقافية والجغرافية لـ GFS، ونهج العلوم المفتوحة الذي تم تطبيقه على الدراسة، يمكن أن يكون GFS بمثابة مورد محوري لإثراء المعرفة الحالية حول ازدهار الإنسان في العديد من أجزاء العالم المختلفة. بشكل أوسع، فإن العملية الموثقة جيدًا التي تم من خلالها تطوير GFS توفر أيضًا نموذجًا قيمًا يمكن أن يستند إليه باحثون آخرون في تطوير وتنفيذ دراسات عالمية مستقبلية.

الالتزام بممارسات العلوم المفتوحة

البيانات للمرحلة الأولى من GFS متاحة من خلال مركز العلوم المفتوحة عند تقديم تسجيل مسبق وستكون متاحة بشكل مفتوح دون تسجيل مسبق اعتبارًا من فبراير 2025. سيتم أيضًا توفير الموجات اللاحقة من GFS بنفس الطريقة. يرجى مراجعةhttps://www.cos.io/gfs-accessdataلمزيد من المعلومات حول الوصول إلى البيانات.
مساهمات المؤلفين زاك ريتير، راجيش سرينيفاسان، ماناس شاتوبادياي، يينغ هان، جون هونوهان، بايرون ر. جونسون، وتايلر ج. فاندرويل كتبوا التقرير الأولي لمنهجية GFS بواسطة غالوب، إنك. كتب ر. نوح بادجيت المسودة الأولى من هذه المخطوطة والمراجعات اللاحقة، وعمل ريتشارد ج. كاودن على المراجعات وتحرير المسودة. راجع جميع المؤلفين المخطوطة النهائية.
تم دعم تمويل GFS من قبل مؤسسة جون تيمبلتون (المنحة رقم 61665)، وصندوق تيمبلتون للدين (#1308)، ومؤسسة تيمبلتون الخيرية العالمية (#0605)، ومؤسسة الرفاهية لكوكب الأرض، ومعهد فيتزر (#4354)، وصندوق الرفاهية، ومؤسسة بول ل. فوستر العائلية، ومؤسسة ديفيد وكارول مايرز. الآراء المعبر عنها في هذا المنشور هي آراء المؤلفين ولا تعكس بالضرورة وجهات نظر هذه المنظمات.

الإعلانات

تعارض المصالح: يُبلغ تايلر ج. فاندرويل عن ملكية جزئية ورسوم ترخيص من شركة فلوريشينغ ميتريكس إنك.
الوصول المفتوح هذه المقالة مرخصة بموجب رخصة المشاع الإبداعي النسب 4.0 الدولية، التي تسمح بالاستخدام والمشاركة والتكيف والتوزيع وإعادة الإنتاج بأي وسيلة أو صيغة، طالما أنك تعطي الائتمان المناسب للمؤلفين الأصليين والمصدر، وتوفر رابطًا لرخصة المشاع الإبداعي، وتوضح إذا ما تم إجراء تغييرات. الصور أو المواد الأخرى من طرف ثالث في هذه المقالة مشمولة في رخصة المشاع الإبداعي الخاصة بالمقالة، ما لم يُشار إلى خلاف ذلك في سطر الائتمان للمواد. إذا لم تكن المادة مشمولة في رخصة المشاع الإبداعي الخاصة بالمقالة وكان استخدامك المقصود غير مسموح به بموجب اللوائح القانونية أو يتجاوز الاستخدام المسموح به، فستحتاج إلى الحصول على إذن مباشرة من صاحب حقوق الطبع والنشر. لعرض نسخة من هذه الرخصة، قم بزيارةhttp://creativecommons.org/licenses/by/4.0/.

References

  1. VanderWeele TJ. On the promotion of human flourishing. PNAS. 2017;114:8148-56. https://doi.org/10.1073/pnas.1702996114.
  2. Lomas T, VanderWeele TJ. The garden and the orchestra: generative metaphors for conceptualizing the complexities of well-being. Int J Environ Res Public Health. 2022;19:14544. https://doi.org/ 10.3390/ijerph192114544.
  3. Lomas T. Making waves in the great ocean: a historical perspective on the emergence and evolution of wellbeing scholarship. J Posit Psychol. 2022;17:270-5. https://doi.org/10.1080/17439760. 2021.2016900.
  4. Henrich J, Heine SJ, Norenzayan A. Most people are not WEIRD. Nature. 2010;466:29. https://doi.org/10.1038/466029a.
  5. Ghai S. It’s time to reimagine sample diversity and retire the WEIRD dichotomy. Nat Hum Behav. 2021;5:971-2. https://doi. org/10.1038/s41562-021-01175-9.
  6. Wong PTP, Cowden RG. Accelerating the science and practice of psychology beyond WEIRD biases: enriching the landscape through Asian psychology. Front Psychol. 2022;13:1054519. https://doi.org/10.3389/fpsyg.2022.1054519.
  7. Höltge J, Cowden RG, Lee MT, Bechara AO, Joynt S, Kamble S, Khalanskyi VV, Shtanko L, Kurniati NMT, Tymchenko S, Voytenko VL, McNeely E, VanderWeele TJ. A systems perspective on human flourishing: exploring cross-country similarities and differences of a multisystemic flourishing network. J Posit Psychol. 2022;18:695-710. https://doi.org/10.1080/17439760. 2022.2093784.
  8. Johnson BR, Ritter Z, Fogleman A, Markham L, Stankov T, Srinivasan R, Honohan J, Ripley A, Philips T, Wang H, VanderWeele TJ. The Global Flourishing Study; 2024. https://doi.org/10.17605/ OSF.IO/3JTZ8
  9. Ritter Z, Srinivasan R, Han Y, Chattopadhyay M, Honohan J, Johnson BR, VanderWeele TJ. Global Flourishing Study methodology. Gallup Inc.; 2024. [Retrieved on [2024-05-10] from https:// osf.io/k2s7u].
  10. Crabtree S, English C, Johnson BR, Ritter Z, VanderWeele TJ. Global Flourishing Study: Questionnaire Development report. Gallup Inc; 2021. [Retrieved on [2024-05-10] from https://osf.io/ y3t6m]
  11. Lomas T, Cowden RG, Case B, Fogelman A, Johnson BR, VanderWeele TJ. The development of the Global Flourishing Study survey: charting the evolution of a new 109-Item inventory of
    human flourishing. in prep/under review (to be part of the Nature-Springer-BMC Special Collection).
  12. Wickham H. ggplot2: elegant graphics for data analysis. New York: Springer; 2016.
  13. R Core Team. R: A language and environment for statistical computing. R Foundation for Statistical Computing; 2024. https:// www.R-project.org.
  14. Mohler P, Dorer B, de Jong J, Hu M. Cross-cultural survey guidelines. 2016. [Retrieved on [2024-05-06] from https://ccsg.isr. umich.edu/chapters/translation/overview/]
  15. Ritter Z, Markham L, Tyner A, Stankov T, Wang H, Call M, Olson EL, Staller A, Johnson BR, Fogleman A, Ripley A, Phillips T, Srinivasan R, Honohan J, VanderWeele TJ. GFS Translation Document. Center For Open Science; 2024. [Retrieved on [2024-05-06] from https://osf.io/d4qw8].
  16. McPhee C, Barlas F, Brigham N, Darling J, Dutwin D, Jackson C, Jackson M, Kirzinger A, Little R, Lorenz E, Marlar J, Mercer A, Scanlon PJ, Weiss S, Wronski L. Data quality metrics for online samples, Considerations for study design and analysis. American Association for Public Opinion Research; 2022. [Retrieve on [2024-05-07] from https://aapor.org/wp-content/uploads/2023/02/ Task-Force-Report-FINAL.pdf].
  17. Edwards JR. Response invalidity in empirical research: causes, detection, and remedies. J Oper Manag. 2019;65:62-76. https:// doi.org/10.1016/j.jom.2018.12.002.
  18. Greszki R, Meyer M, Schoen H. The impact of speeding on data quality in nonprobability and freshly recruited probability-based online panels. In: Callegaro M, Baker R, Bethlehem J, Goritz AS, Krosnick JA, Lavrakas PJ, editors. Online panel research: a data quality perspective. Hoboken: Wiley; 2014.
  19. Elliott MR, Valliant R. Inference for nonprobability samples. Stat Sci. 2017;32:249-64.
  20. Frankel MR, Battaglia MP, Link M, Mokdad AH. Integrating cell phone numbers into Random Digit-Dialed (RDD) landline surveys. In: ASA Proceedings of the Social Statistics Section. 2007; 3793-800. http://www.asasrms.org/Proceedings/y2007/ Files/JSM2007-000200.pdf
  21. Waksberg J. Sampling methods for random digit dialing. J Am Stat Assoc. 1978;73:40-6. https://doi.org/10.1080/01621459. 1978.10479995.
  22. Valliant R, Dever JA, Kreuter F. Practical tools for designing and weighting survey samples. Cham: Springer; 2018.
  23. Kish L. Cumulating/combining population surveys. Surv Methodol. 1999;25:129-38.
  24. Kish L. Methods for design effects. J Off Stat. 1995;11:55-77.
  25. Demographic and Health Surveys Program. Nigeria-National Demographic and Health Data; 2023. [Retrieved from https://data. humdata.org/dataset/dhs-data-for-nigeria].
  26. Valliant R. Comparing alternatives for estimation from nonprobability samples. J Surv Stat Methodol. 2020;8:231-63.
  27. Wiśniowski A, Sakshaug J, Ruiz DAP, Blom A. Integrating probability and nonprobability samples for survey inference. J Surv Stat Methodol. 2020;8:120-47.
  28. Dever JA, Rafferty A, Valliant R. Internet surveys: Can statistical adjustments eliminate coverage bias? Surv Res Methods. 2008;2:47-62.
  29. Sakshaug JW, Wiśniowski A, Perez Ruiz DA, Blom AG. Supplementing small probability samples with nonprobability samples: a Bayesian approach. J Off Stat. 2019;35:629-53.
  30. American Association for Public Opinion Research (AAPOR). Standard definitions: final dispositions of case codes and outcome rates for surveys. 10th edition; 2023.
  31. Peytchev A. Consequences of survey nonresponse. Ann Am Acad Pol Soc Sci. 2013;645:88-111. https://doi.org/10.1177/00027 16212461748.
  32. Peytcheva E, Groves RM. Using variation in response rates of demographic subgroups as evidence of nonresponse bias in survey estimates. J Off Stat. 2009;25:193-201.
  33. Dutwin D, Buskirk T. Telephone sample surveys: Dearly beloved or nearly departed? Trends in survey errors in the era of declining response rates. J Surv Stat Methodol. 2021;9:353-80. https://doi. org/10.1093/jssam/smz044.
  34. Groves RM. Nonresponse rates and nonresponse bias in household surveys. Public Opin Q. 2006;70:646-75. https://doi.org/10.1093/ poq/nf1033.
  35. Groves RM, Peytcheva E. The impact of nonresponse rates on nonresponse bias: a meta-analysis. Public Opin Q. 2008;72:16789. https://doi.org/10.1093/poq/nfn011.
  36. Cowden RG, Skinstad D, Lomas T, Johnson BR, VanderWeele TJ. Measuring wellbeing in the Global Flourishing Study: insights from a cross-national analysis of cognitive interviews from 22 countries. Qual Quant. 2024. https://doi.org/10.1007/ s11135-024-01947-1.
Publisher’s Note Springer Nature remains neutral with regard to jurisdictional claims in published maps and institutional affiliations.

  1. Tyler J. VanderWeele
    tvanderw@hsph.harvard.edu
    Department of Epidemiology, Harvard T.H. Chan School of Public Health, Boston, MA, USA
    2 Human Flourishing Program, Harvard University, Cambridge, MA, USA
    3 Gallup, Inc., Rockville, MD, USA
    4 Gallup, Inc., Ellicott City, MD, USA
    5 Gallup, Inc., Ossining, NY, USA
    6 Gallup, Inc., San Mateo, CA, USA
    7 Gallup, Inc., Princeton, NJ, USA
    8 Institute for Studies of Religion, Department of Sociology, Baylor University, Waco, TX, USA
    School of Public Policy, Pepperdine University, Malibu, CA, USA
    10 Department of Biostatistics, Harvard T.H. Chan School of Public Health, MA, Boston, USA
  2. Face-to-face interviews used the computer-assisted personal interview (CAPI) system; Telephone interviews used the computer-assisted telephone interview (CATI) system; Web surveys used the computerassisted web interview (CAWI) system; and Nigerian face-to-face annual subsample is weighted to be representative of the population of Nigeria without access to a landline, mobile device, or internet
  3. Response rate for non-probability-based samples was not possible due to lack of information about sampling frame

Journal: European Journal of Epidemiology, Volume: 40, Issue: 4
DOI: https://doi.org/10.1007/s10654-024-01167-9
PMID: https://pubmed.ncbi.nlm.nih.gov/40146468
Publication Date: 2025-03-27

Survey sampling design in wave 1 of the Global Flourishing Study

R. Noah Padgett (ID ⋅ Richard G. Cowden ⋅ Manas Chattopadhyay ⋅ Ying Han ⋅ John Honohan . Zacc Ritter . Rajesh Srinivasan Byron R. Johnson Tyler J. VanderWeele

Received: 10 June 2024 / Accepted: 21 October 2024 / Published online: 27 March 2025
© The Author(s) 2025

Abstract

The Global Flourishing Study (GFS) is an international collaboration to develop a publicly accessible data resource to promote global research on human flourishing. These data include over 200,000 participants from 22 geographically and culturally diverse countries and one territory designed to be nationally representative of the adult population. The GFS is intended as a longitudinal panel study with recruitment and empanelment for Wave 1 occurring between April 2022 and December 2023. Future waves of data collection will invite participants to complete a survey annually. The annual survey covers a robust set of measures on well-being, health, social, economic, political, religious, spiritual, psychological and demographic variables. The current paper describes the sampling methodology and weighting approaches used to project the samples to be nationally representative. Details are provided on interviewer training and data collection, probability and non-probability samples, creating weights, design effects, and future data collection stages.

Keywords Global • Cross-cultural • Flourishing • Longitudinal • Methodology • Survey sampling

Introduction

Human flourishing might be considered living in “a state in which all aspects of a person’s life are good, including the contexts in which that person lives” [ 1,2 ]. While there is a sizeable (and growing) body of empirical scholarship
focused on understanding and promoting different aspects of human flourishing, a key and unresolved criticism is that such work to date has been Western centric [3]. Henrich et al. [4] argued that most social scientific work has focused on people from nations that may be described as “WEIRD” (i.e., Western, educated, industrialized, rich, and democratic). Although such descriptions are crude as a binary classification of cultures due to the breadth of diversity within nations [5] the criticism is nevertheless important. The cultural bias toward WEIRD contexts has several consequences, including concerns about whether the existing body of empirical literature on human well-being can be used to derive universal principles that are generalizable to many cultural contexts [6]. It is of course not possible to derive unambiguous inferences from WEIRD participants because a complex network of localized ecological forces (e.g., demography, culture, social-structural conditions) influences various dimensions of human life [7].
In response to concerns about WEIRD biases in social scientific research, an era of “global scholarship” on human well-being has emerged [3]. The Global Flourishing Study (GFS), a pioneering longitudinal research study, is arguably at the forefront of this era [8]. Guided by a broad and expansive notion of human flourishing [1,2], the GFS seeks to examine the distribution and determinants of human
flourishing in various parts of the world. The study is the largest of its kind, with more 200,000 participants across a culturally and geographically diverse set of countries included in Wave 1 (see Fig. 1). The current paper contributes to the dissemination and open-science commitment of the GFS by providing an overview of the survey development process for the study, a summary of the sampling design, population coverage, weighting approach, response rates, and design effects for Wave 1 , and plans for future waves of data collection. The description of the sampling methods and study design are adapted from the methodology report developed by Gallup Inc. [9] and the survey development process reported by Gallup Inc. [10] and Lomas et al. [11].

Global Flourishing Study overview

Survey development

Development of the GFS survey occurred over eight distinct phases: (1) selection of core well-being and demographic questions; (2) solicitation of social, political, psychological and demographic questions from domain experts worldwide; (3) Revision of the initial survey draft based on feedback from scholars around the world representing various academic disciplines; (4) modification of question items following input from experts in multinational, multiregional and multicultural survey research; (5) survey draft refinement based on compiled input from an open invitation to comment, posted publicly and sent to numerous listservs; (6) questionnaire optimization with support from Gallup survey design specialists; (7) adaptation of items from an interviewer-administered to a self-administered survey
instrument using best practices for web survey design to minimize item non-response, illogical responses and incomplete responses; and (8) confirmation by scholars in several participating countries that translations accurately captured the intended meaning of each question. Further details about the survey development process of the GFS survey can be found in [10,11].

Content coverage of the survey

The aspects of flourishing constitute a broad range of constructs that are related to a person’s well-being. The overall GFS survey includes distinct 109 items in total ( 43 items in the intake survey and an annual survey of 71 items, with five items shared by both) [11]. A core measure embedded in the survey is the Secure Flourish Index [1], which consists of 12 items that are evenly distributed across six key domains of personal flourishing (i.e., happiness & life satisfaction; physical & mental health; meaning & purpose; character & virtue; close social relationships; financial & material stability); a wide range of measures assessing domains or aspects (e.g., community, political religion, spirituality, socioeconomic factors) that intersect with human flourishing are also included in the survey. The interested reader is referred to Lomas et al. [11] for more information about the survey development process and the full set of survey items, which can also be located in the publicly available codebook (https://osf.io/cg76b).

Translation

Wave 1 of the GFS includes 22 countries, namely Argentina, Australia, Brazil, Egypt, Germany, Hong Kong (S.A.R. of China), India, Indonesia, Israel, Japan, Kenya, Mexico,
Fig. 1 Geographic diversity of countries included in Wave 1 of the Global Flourishing Study. Note: Map generate using the ggplot2 package [12] in R [13]
Nigeria, Philippines, Poland, South Africa, Spain, Sweden, Tanzania, Turkey, the United Kingdom, and the United States. The GFS survey was implemented in 36 major languages spoken across these countries, including Afrikaans, Arabic, Assamese, Bengali, Bicol, Cebuano, Chinese, English, German, Gujarati, Hausa, Hebrew, Hiligaynon, Hindi, Igbo, Iluku, Indonesian Bahasa, Japanese, Kannada, Malayalam, Marathi, Odia, Pidgin, Polish, Portuguese, Punjabi, Sotho, Spanish, Swahili, Swedish, Tamil, Telegu, Turkish, Waray, Xhosa, Yoruba, and Zulu. Further details about the countries in which specific language versions of the GFS survey were used can be found in the methodology report appendix (pp. 29-31) [9].
The survey translation process adhered to a modified TRAPD model [14], which stands for translation, review, adjudication, pretesting, and documentation. The translation process that was followed for the GFS survey included (T) a professional translator who translated the survey into the target language using a shared set of notes and guidance about the meaning of specific words, phrases, and concepts; (R) a different professional translator reviewed the translation. This reviewer identified any issues with the translated material, suggested alternative translations, and provided reasoning in English behind their decision for modifications; (A) the original translator received feedback on the disputed translations and accepted or rejected the suggestions. If they disagreed with the reviewer’s edits, the initial translator provided an explanation in English. A third-party reviewer then adjudicated the translation based on the explanation that best aligned with the research objectives; (P) local partners ran a pilot test of the entire questionnaire with at least 10 respondents per language to ensure the accuracy and quality of the translations; and (D) final translations were documented for researchers [15].
In several countries, data collection occurred using a combination of interviewer- and self-administered approaches, depending on the participant’s access to the internet and willingness to complete online surveys. To ensure translation consistency across modes of data collection, a professional translator adapted the final interviewer-administered translation to reflect the modifications required for the self-administered version of the survey.

Interviewer training

As described by Ritter et al. [9], local field partners employed over 3,000 interviewers in 19 countries to recruit and conduct the first wave of data collection (participants in Hong Kong [S.A.R. of China], Sweden, and the United States were recruited entirely via a web-based approach). Partners were selected based on experience in nationwide survey research studies. They conducted in-depth training sessions with local field staff prior to the start of data
collection. Fieldwork teams were assisted by a standardized training manual to ensure consistency and structure. Interviewer training included the following topics: research ethics; protecting participants’ confidentiality; staying safe while in the field; starting the interview; reading survey questions verbatim; handling questions from participants; closed-end and open-end items; skip patterns; interviewing best practices, including probing; respondent selection; household selection and substitution (for face-to-face surveys); and quality control procedures. Field teams trained using the computer-assisted personal interview (CAPI) system for face-to-face interviews and the computer-assisted telephone interview (CATI) system for telephone interviews, which were employed during fieldwork. These systems ease interviewer burden and facilitate accurate data capture for items such as participant selection in the household, contact data, and skip patterns.
Given the longitudinal research design, interviewer training also focused on accurately capturing the participant contact information required for future recontact. In addition to repeating contact details back to participants, interviewers were trained on double-entry of open-end contact information, which had to match before advancing to the next survey item. Local field partners also emphasized the importance of striking the right balance between friendly persistence in collecting as many forms of contact information as possible and potentially upsetting reluctant participants. Finally, interviewers learned that respondent selection on the annual survey required immediate confirmation of the participant’s name to ensure those who completed the intake survey also completed the annual survey.

Sampling design and data collection

The GFS employed various survey methodologies to recruit participants [9]. In most countries, local field partners were guided in implementing a probability-based face-to-face or telephone methodology to recruit panel members. Recruitment involved an intake survey that mainly gathered basic demographics and information for recontact. Shortly following recruitment, participants received invitations to participate in the annual survey via phone or online. The questions on this latter survey will appear in future yearly waves of data collection to obtain repeated measures. A high-level summary of the recruitment and data collection phases is shown in Fig. 2.
The geographic coverage in each country included in the GFS was the entire country, including rural areas. It represents the entire civilian, non-institutionalized population aged 18 and older. Exceptions included areas where the safety of interviewing staff was threatened, as well as scarcely populated islands and areas that interviewers could only reach by foot, animal, or small boat (although some
Fig. 2 Recruitment and Empanelment in the Global Flourishing Study. Note: The United States (US) sample is a subset of the existing Gallup Panel™
interviewers reported taking small boats to get adequate population coverage in accordance with the sampling design). Eligibility for participation in the study required the selected participants to have access to a phone or the internet, a practical necessity to help retention. Loss of coverage due to these requirements was in each country where participants were recruited in person.
Three major sampling frames were used for recruitment in the GFS, namely a probability-based sample, a non-probability-based sample, or a combination of the two [9]. Table 1 summarizes the sampling design within each country. A probability-based sampling approach was used in Egypt, India, Indonesia, Israel, Kenya, Nigeria, Philippines, South Africa, Tanzania, Turkey, and the United States. A non-probability-based sample was recruited in some countries to supplement probability samples so that adequate coverage of population subgroups (i.e., sex, age, region) was achieved. Recruitment and empanelment for Wave 1 of the study occurred between April 2022 and December 2023 [9].
Data from Hong Kong (S.A.R. of China) is available in the first wave of data collection. Data from mainland China were not included in the first data release due to fieldwork delays. The first wave of fieldwork in mainland China began in February 2024, and a second wave is expected to occur in November-December 2024. All wave 1 and 2 data from
mainland China will be part of the second dataset release in March 2025.
Table 2 summarizes the number of participants who were recruited by different modes in each country. While some countries relied entirely on web-based recruitment (e.g., United States), other countries exclusively used face-toface recruitment (e.g., Israel, Kenya) or a mix of recruitment methods (e.g., Argentina, Mexico). An additional unique subsample within Nigeria was carried out representative of those without access to a landline, mobile device, or internet. An attempt was made at collecting a similar subsample in India, but implementation was ultimately not completed due to the extremely small proportion that met these requirements there. The weighting approach that was used to ensure that population representative inferences could be obtained in Nigeria is described in more detail within the Weighting and Design Effects section below.

Probability-based samples

For face-to-face interviews, the selection of probabilitybased samples was carried out by selecting sampling units stratified by population size, urbanicity and/or geography, and clustering [9]. This complex design varied by country, leading to a different number of sampling stages depending on the country. A stratified single-state or multi-stage cluster design was employed in countries where detailed population information was available from a recent census or other reliable source. Sampling units were selected using probabilities proportional to population size for each sampling stage down to the cluster, with a fixed number of interviews completed within each cluster. Countries with more limited population information (e.g., population data only at the province or district level) utilized a stratified multistage cluster design. Primary sampling units (PSUs) were selected during the first sampling stage using probabilities proportional to size, and units at subsequent stages were selected using simple random sampling; no more than four clusters per PSU were used in the last stage of sampling. When a multi-stage sampling design was employed, the pre-determined clusters defined the geographic region from which households and participants were ultimately selected, where interviewers, starting from an address or structure closest the random coordinate starting point that was preselected by a field manager, were trained to select every third household to invoke a pseudo-random route. The interviewer randomly selected a participant within each household using the computer assisted personal interview (CAPI) system. If the randomly selected household member was unavailable for the duration of the data collection period, or unwilling to participate in the study, a different household was selected. However, if the randomly selected household member was unavailable due to being at work or out shopping, then more
Table 1 Global flourishing study sampling summary across countries for Wave 1
Country Sampling design Dates of collection # Participants Total sample size
Argentina Probability 11/29/22-11/30/23 3879 6724
Non-probability 04/11/23-11/14/23 2845
Australia Probability 03/21/22-09/26/23 3377 3844
Non-probability 04/12/23-09/29/23 467
Brazil Probability 11/23/22-11/26/23 3793 13,204
Non-probability 04/11/23-11/07/23 9411
Egypt Probability 03/09/23-09/17/23 4729 4729
Germany Probability 08/11/22-11/16/23 4480 9506
Non-probability 06/12/23-08/27/23 5026
Hong Kong (S.A.R. of China) Non-probability 10/10/23-11/24/23 3012 3012
India Probability 04/25/23-12/08/23 12,765 12,765
Indonesia Probability 11/07/22-10/27/23 6992 6992
Israel Probability 11/07/22-11/23/23 3669 3669
Japan Non-probability 12/13/22-06/30/23 20,543 20,543
Kenya Probability 04/13/23-11/21/23 11,389 11,389
Mexico Probability 10/29/22-12/13/23 2672 5776
Non-probability 05/09/23-11/20/23 3104
Nigeria Probability 05/16/23-11/17/23 6827 6827
Philippines Probability 04/04/23-01/05/24 5292 5292
Poland Probability 12/14/22-10/13/23 8444 10,389
Non-probability 06/10/23-10/16/23 1945
South Africa Probability 02/26/23-12/08/23 2651 2651
Spain Probability 08/17/22-11/08/23 2309 6290
Non-probability 06/22/23-08/30/23 3981
Sweden Non-probability 01/16/23-02/22/23 15,068 15,068
Tanzania Probability 02/17/23-11/30/23 9075 9075
Turkey Probability 04/15/23-01/05/24 1473 1473
United Kingdom Probability 04/26/22-11/20/23 2341 5368
Non-probability 06/12/23-08/30/23 3027
United States Probability 08/04/22-04/04/23 38,312 38,312
Probability-based samples included a mix of face-to-face, telephone, and online data collection modes
contact attempts were made at varying days of the week and times of day (up to three contact attempts).
For telephone interviews, the selection of participants was carried out using random-digit dialing or a nationally representative list of phone numbers [9]. When applicable, either a dual sampling frame of landline and mobile phones was used or a mobile phone only frame was used. Landline samples were stratified by region, whereas mobile phone samples were primarily stratified by mobile service providers. Brazil was the only exception in that the mobile sampling frame was stratified by region. The size of regional samples was determined to be proportional to the size of the adult population aged 18 or older, and a random participant within each household was obtained using one of the standard methods-enumeration of adults 18 or older and selecting one at random for face-to-face collection or asking for the person who had the next birthday among eligible adults 18
or older for interviews completed over telephone. Interviewers attempted contact over several different days and times, with at least five attempts at contact, to reach the intended participants to complete the interview. When successful contact was made, the telephone intake interview was aided by a computer assisted telephone interview (CATI) system, which was also used to help guide interviewers through the annual survey to maintain valid skip logic when necessary.
Data collection in the United States used the Gallup Panel , a probability-based, nationally representative panel for which all members are recruited via address-based sampling or random-digit-dial methodology [9]. All online members of the Gallup Panel received up to five invitations to complete a single survey that included all intake and annual items together.
For participants from a country other than the United States who completed the intake survey as part of a
Table 2 Sample size by mode of data collection employed in the Global Flourishing Study
Country Recruitment (Intake) survey Wave 1 annual survey
Face-to-face Telephone Web Face-to-face Telephone Web
Argentina 1152 2788 2784 0 1451 5273
Australia 0 3844 0 0 0 3844
Brazil 859 2948 9397 0 1265 11,939
Egypt 4729 0 0 0 4508 221
Germany 0 4504 5002 0 0 9506
Hong Kong (S.A.R. of China) 0 0 3012 0 0 3012
India 12,765 0 0 0 12,549 216
Indonesia 6139 853 0 0 3620 3372
Israel 3669 0 0 0 2743 926
Japan 0 542 20,001 0 542 20,001
Kenya 11,389 0 0 0 9917 1472
Mexico 1250 1535 2991 0 1559 4217
Nigeria 6827 0 0 5609 668
Philippines 4620 672 0 0 4174 1118
Poland 8444 1945 0 0 625 9764
South Africa 2651 0 0 0 2010 641
Spain 0 2339 3951 0 0 6290
Sweden 0 0 15,068 0 0 15,068
Tanzania 9075 0 0 0 8790 285
Turkey 333 1140 0 0 840 633
United Kingdom 0 2358 3010 0 0 5368
United States 0 0 38,312 0 0 38,312
probability-based sample, retention efforts to ensure completion of the annual survey involved a multipronged approach. As described above, web surveys used multiple outreach attempts across various recontact channels increased the chances that a participant received an invitation and reminders to participate in the annual survey. Receipt of the invitation is a necessary but insufficient condition for ensuring participation. Participants assigned to the annual survey received a welcome message shortly after completing the intake survey that provided more context about the study and a link to a website, which included additional information on frequently asked questions and a way to contact recruiters. For participants assigned to complete the annual survey over the telephone, interviewers received training on refusal conversion tactics. Additionally, the introduction script included a section of short responses to frequently asked questions and concerns. Interviewers applied similar cooperation tactics when attempting to recontact surveys with respondents assigned to the web survey who had not participated after the initial five-invite design. As a small token of appreciation for their time, eligible participants who completed the
annual survey received a gift card or mobile top-up worth roughly .

Non-probability based samples

The samples from Hong Kong (S.A.R. of China), Japan, and Sweden relied exclusively on existing web panels for recruitment, leading to a non-probability-based sample [9]. Data collection in Hong Kong (S.A.R. of China) and Sweden recruited a non-probability sample obtained through online opt-in panels. A small proportion of the sample in Japan ( ) was drawn from a probability frame, but the sample was insufficient to project that sample to the target population.
Data collected in Hong Kong (S.A.R. of China), Japan, and Sweden were based solely on a non-probability sample, so creating true sampling weights is not possible; however, as discussed in greater detail in the Weighting and Design Effects section, for Sweden, pseudo-sampling weights based on propensity scores methods were constructed while for the other two countries a baseweight of 1 was assumed and a more detailed cross-classified population targets were used
so that weighted estimates are approximately representative of the population.

Combined probability and non-probability samples

Data collection in Argentina, Australia, Brazil, Germany, Mexico, Poland, Spain, and the United Kingdom consisted of a combination of two samples: (1) a probability-based sample selected with a face-to-face sampling methodology, or a phone sampling methodology or a combination of the two (both of which are described in more detail in the Probability-based samples subsection); and (2) a non-probability-based sample collected through web panels.
Data collection in Germany and the United Kingdom used high-quality, commercially available, or proprietary third-party panels put together using opt-in methods [9]. Data collection in Argentina, Brazil, Mexico, and Spain recruited directly from a proprietary affiliate network that is the foundation of many commercial panels. This network comprises media entities that offer access to internet and mobile users across the gamut of digital marketing channels, including, but not limited to, social media marketing, email, video, mobile, blogs, and display.
Quotas for age, gender, region, and education were set and monitored during fieldwork in countries that use existing web panels to ensure adequate representation of the population. Participants who were recruited from these panels completed a single, combined survey. Population coverage in Germany, United Kingdom, and Spain excluded the offline population for these countries. Probabilities samples in Latin American countries (Argentina, Brazil, Mexico) reached the offline population with the inclusion of respondents completing the annual survey via telephone surveys assisted by CATI.

Ethics and respondent confidentiality

Ethical approval was granted by the institutional review boards at Baylor University (IRB Reference #: 1841317) and Gallup (IRB Reference #: 2021-11-02), and all participants provided informed consent. Individuals may withdraw from participating in the study at any point. Consistent with European Union regulations, respondents from a country in this region (e.g., Germany, Spain, Sweden) can additionally request that their data be completely removed from subsequent waves of the GFS. Respondent confidentiality is maintained by giving a pseudo-random identification number that is kept separate from the data that researchers can access. A public use dataset has been created and will be publicly available in February 2025, and can be accessed by anyone submitting a pre-registration to the Center for Open Science prior to then, but this dataset excludes individual identifying information such as location (latitude and longitude are
rounded to the nearest degree) and language of assessment. Individual researchers with appropriate institutional review board approval may be able to access a restricted use dataset that contain these more sensitive types of data.

Post-collection data quality evaluation

Each country dataset underwent a rigorous quality assurance process by survey type (intake or annual) and mode (telephone, face-to-face, or web). Gallup’s regional directors of survey research verified that the sampling plan was followed, confirmed the data were nationally representative, and reviewed the data for consistency, reliability, and validity by interviewer and region [9]. They also checked response consistency across demographic items on the intake and annual survey. After the regional directors reviewed the data, quality control analysts at Gallup performed additional validity reviews. The data were centrally aggregated and cleaned, ensuring that correct variable codes and labels were applied. The data were then reviewed by a team at Gallup in detail for completeness, accuracy, and logical consistency.

Face-to-face and telephone survey administration

To ensure interviewers followed the methodology and administered the survey properly, vendors were required to conduct in-field validations for a percentage of face-to-face and telephone interviews. Face-to-face interviews were validated by supervisor accompaniment, in-person recontact, phone recontact, or listening to recorded interviews. Telephone interviews were validated by live listen-ins or audio recordings.
At least of completed face-to-face interviews were validated using accompanied interviews, in-person recontacts, or telephone recontacts. Validations were distributed across all regions and interviewers. The supervisor/validator evaluated the interviewer’s performance in implementing the survey methodology, including starting point selection, random route procedure, correct disposition code usage, participant selection, and proper survey administration (e.g., reading each question verbatim, not leading the respondent, etc.). Globally, approximately of recruitment telephone interviews and of baseline telephone interviews were validated. These validations confirmed that the interview was completed, methodological standards were followed (e.g., participant selection), and the survey was administered appropriately [9].
Additionally, interviewer productivity metrics and metadata were tracked throughout data collection [9]. These data will be made available as part of the sensitive data release starting in August 2024, and researchers will need to obtain IRB approval prior to accessing these data. The CAPI and CATI platforms used in the project provided monitoring
tools for regularly evaluating collected data. Quality control analysts and in-country partners used these tools to ensure that completed interviews were valid and adhered to the methodology. Holistic reviews at regular fieldwork intervals covered a range of quality control procedures and aimed to identify suspicious patterns in the data (e.g., anomalies in interview duration, location, household selection, and participant selection). Flagged interviews were further investigated and validated, and surveys with quality issues were removed and replaced (when possible). At the end of fieldwork, final data vetting by Gallup ensured the validity, reliability, and accuracy of the collected data. The overall retention rates for each country after non-response and quality checks are provided Table 3.

Online survey

Quality control was informed by the recent American Association for Public Opinion Research task-force report [16]. In addition to the standard quality control processes used to evaluate face-to-face and telephone data, the following quality control procedures were applied to completed online surveys. First, response metadata (i.e., response digital fingerprint) was evaluated to ensure surveys weren’t completed by bots, responses came from valid devices, and that all responses were unique. Duplicates or completed online surveys that were not from valid digital sources were removed in line with recommendations for quality assurance [17]. Next, responses were evaluated for inconsistency in responses to closely related items. Such cases were removed when other quality issues were present, but a seemingly inconsistent response by itself was not sufficient for removal. Next, participants who consistently selected a single response category for items within a question block were flagged as potentially problematic (i.e., straight-line responses). Such response patterns are plausible for valid cases, so such cases were only removed if other quality issues were present. Lastly, the total time required to complete the survey was checked against a minimum threshold of time required to read through the questions included in the survey [18]. A common threshold of 4 min was used across all countries for the annual survey, and a modified thresholds of 5 min was used for participants taking the combined intake and annual survey. Taken together, these response characteristics were used to evaluate each online survey response to ensure that the final cases included in the annual survey represent valid responses by participants.

Handling seemingly inconsistent responses

Although the above data quality checks were used to ensure the final dataset available for use by researchers has a minimal number of inconsistent and invalid responses,
the dataset may nevertheless may contain seemingly inconsistent responses. A seemingly inconsistent response could be due to various reasons, such as misinterpretation of question by the respondent, temporary loss of attention by respondent, accidental data entry error by the interviewer, or another reason that is unknown to us but is internally logically consistent for the respondent. Adopting a holistic approach to quality control at the case level, a case is not thrown out of the dataset due to one or two perceived response inconsistencies. An ostensibly inconsistent case would require additional burden of proof before being discarded; otherwise such discarding has the potential to create unintended consequences related to disproportionate removal of certain types of respondents. Researchers may, however, still come across responses that seem logically inconsistent but may still be valid responses by the respondent.
To illustrate this, consider responses to the items Relationship with Mother (wording: Please think about your relationship with your mother when you were growing up. In general, would you say that relationship was very good, somewhat good, somewhat bad, or very bad? If you didn’t know your mother or if she died, select “Does not apply.”) and Love from Mother (wording: In general, did you feel loved by your mother when you were growing up? If you didn’t know your mother or if she died, select “Does not apply.”), it would be seemingly inconsistent to select “Does not apply” to only one of these items. However, the circumstances that each respondent was considering while responding to these items may vary. For example, a respondent may endorse “Does not apply” to the Love from Mother item because they equated “love” with “romantic love” or some form of love they felt wasn’t applicable to a familial relationship, whereas they perhaps did in fact have a relationship with their mother. Other explanations are also possible. The translation of the concept of “love” was challenging for this item, which is documented and discussed at length in the companion paper on translation and cognitive interviewing [11].
In practice, there are several approaches researchers can take to handling such cases. One possibility is to recode any response of “Does not apply” as a missing value and then handle missing data using a method appropriate to their analysis (e.g., multiple imputation, full-information maximum likelihood, etc.). Another approach could be to use “Does not apply” as a category of variable to evaluate whether those who respond “Does not apply” differ from a suitable reference group for the chosen analysis. The appropriate method for handling seemingly inconsistent responses will depend on context and purpose of the analysis. Caution should be exercised so that unintended measurement errors are not introduced by overcleaning.
Table 3 Availability of variables for non-response and post-stratification adjustments for each country in wave 1 of the Global Flourishing Study annual survey
Country Variables used Target source
Argentina Age × Gender × Region, Education, Employment Population and Housing Census 2010, National Institute of Statistics and Censuses (INDEC)
Australia Age × Gender × Region, Age × Gender × Education, Age × Gender × Employment 2021 Census, Australian Bureau of Statistics
Brazil Age, Education, Region × Gender 2010 Census, Brasilian Institute of Geography and Statistics (IBGE)
Egypt Age, Education, Age × Gender × Region Census 2017
Germany Age × Gender × Region, Education, Employment, Age × Gender × Marital Eurostat 2021; Federal Statistical Office 2019
Hong Kong Age × Gender × Region, Age × Gender × Education 2022 data from Census and Statistics Department of Hong Kong
India Age × Gender × Region, Age × Gender × Education, Age × Gender × Religion, Age × Gender × Urbanicity India Census 2011, Office of the Registrar General & Census Commissioner, India
Indonesia Age × Gender × Region, Education Indonesia Population Census 2020 and Census 2010, National Bureau of Statistics
Israel Age × Gender × Region, Age × Gender × Marital, Age × Gender× Education × Race, Gender × Ethnicity × Employment Statistical Yearbook 2023
Japan Education, Region, Age × Sex × Region × Employment, Age × Sex × Region × Marital Status 2020 Population Census
Kenya Age × Gender × Region, Education Kenya Population and Housing Census 2019, Kenya National Bureau of Statistics
Mexico Age × Gender × Employment, Gender × Education × Region Population Census 2020, Mexico’s National Bureau of Statistics (INEGI)
Nigeria Age, Gender, Education, Region, Main Supplement (have any access to landline, mobile, internet vs not) DHS 2018
Philippines Age × Gender × Education, Age × Gender × Region, Age Philippines Population and Housing Census 2020, Philippines Statistics Authority
Poland Age × Gender × Region, Age × Gender × Employment, Education Eurostat 2021 and Central Statistical Office of Poland, 2019
South Africa Age × Gender, Age × Region, Education U.S. Census, IDB 2022 and DHS 2016
Spain Age × Gender × Region, Age × Gender × Education, Age × Gender × Employment, Age × Gender × Marital Eurostat 2021 and Population and Housing Census 2021
Sweden Age × Gender, Education, Region 2018 population estimates, Statistics Sweden
Tanzania Age × Gender × Region, Age × Gender × Education Census 2022 and DHS 2022
Turkey Age × Gender, Education, Region, Employment, Marital Status Address Based Population Registration System, 2022; National Education Statistics Database 2008-2022; Household Labour Force Survey as of January 2021; Population and Housing Census 2021, TurkStat
United Kingdom Age × Gender × Region, Education, Age × Gender × Employment England and Wales Census 2021, Northern Ireland Census 2021, National Records of Scotland-Mid Year Population Estimates 2021
United States
Black: Age × Gender × Education, Region
Non-Black: Age × Gender × Education, Region
Hispanic: Age × Gender × Education, Region
American Community Survey 2021 5-year estimates
Under Variables Used, an ” × ” represents the use of cross-tabulation of the characteristic

Weighting and design effects

Case weighting was used to ensure samples were nationally representative of each country and was intended to be used for calculations within a country [9]. The methodologies and sources used to build country samples varied significantly.
These differences required a customized approach to data weighting that incorporates probability and non-probability samples [19]. Final country weights only included respondents who completed the intake and annual surveys. To produce the final respondent weight, an initial weight was constructed for those who completed the intake survey. Further
calibration on the initial weight occurred when an additional layer of post-stratification was adjusted for non-response on the annual survey. All non-response/post-stratification adjustments matched variables based on the marginal distribution of each matching characteristic. Countries where more detailed cross-classified population targets were used are shown in Table 3. The methods used for weighting intake surveys can be grouped into three main approaches based on the type of sample sources.

Approach 1: Probability samples only

Countries using probability-based samples only: Egypt, India, Indonesia, Israel, Kenya, Nigeria, Philippines, South Africa, Tanzania, Turkey, and United States. In countries where data were collected using a single probability-based sample (e.g., Israel), sampling weights were constructed as the inverse of the selection probability for inclusion in the sample based on each country’s sampling methodology [9]. For face-to-face sampling methodology, overall selection probability accounted for selection probabilities at different stages of selection, including disproportionalities in allocation, selection of primary sampling units, selection of secondary sampling units (if applicable), household selection within the ultimate cluster, and selection of one eligible respondent within the household. The creation of sampling weights for probability only samples depended on whether households were sampled via a random-digit-dialing or pseudo-random route (see Probability-based samples subsection).
Under the random-digit-dialing phone sampling methodology, base sampling weights accounted for the selection of telephone numbers from the respective frames and corrected for unequal selection probabilities due to the selection of one adult in landline households and for dual users coming from both the landline and mobile frame [ 20,21 ]. The base sampling weight for case is
probability of inclusion, but with a slightly difference in sampling frame. The general method used across countries to construct the base sampling weights assuming a single stage design is
,
where total number of adults in household in PSU in stratum number of households interviewed in PSU in stratum total number of households in PSU in stratum number of PSUs sampled in stratum population size of PSU in stratum ; and total population size of stratum [9]. The formula is adjusted accordingly for different sampling designs.
Once the abovementioned base sampling weights were constructed, weights were post-stratified to adjust for nonresponse and match existing known target population totals (e.g., auxiliary data from a country-level census). Variables used for non-response/post-stratification adjustments included age, gender, education, region, employment status, marital status, and other variables that possibly vary by country depending on the availability of a reliable secondary source. Table 3 lists out, for each country, which variables were used.
The resulting distribution of post-stratified weights was highly skewed with some extreme weights; these extreme weights were trimmed to reduce estimator variance [22]. Trimming was conducted at both ends of the distribution of weights. The resulting minimum/maximum weight (i.e., trim points) generally fell between the – and tiles. The weights were then redistributed across the remaining sample. The trim points were determined based on a tradeoff between bias (generally difference for age, gender, region, urbanicity and less than for education) and variance as measured by design effect (taking into con-
,
where total count of landline completes in corresponding landline; the total count of phone numbers in the landline frame in the corresponding stratum; the total count of mobile completes in each mobile stratum; the total count of mobile phone numbers in the corresponding stratum in the cell frame; number of adults in household if respondent has a landline phone, otherwise ; and if respondent has a cell phone, otherwise [9].
Under the face-to-face sample methodology, the base sampling weights similarly accounted for unequal
sideration just the variability in weights). For the purpose of weight calibration, the design effect measured by variability in weights where preferred design effect were below 2 .
In several countries, data were collected using more than one probability-based sample (e.g., Indonesia), where the weighting was initially conducted separately for each sample. A combined case weight was then obtained using a composite weighting procedure to project the final combined weight to the target population of adults [23]. The design effects associated with different sample sources are described below.
Design effects and combined weights. For illustrative purposes, consider the multi-sample source data collected in Indonesia that consisted of face-to-face and telephone recruitment. Let represent the weight assigned to case from the face-to-face sample and let represent the weight assigned to case from the telephone sample. The number of complete face-to-face and telephone samples are and , respectively. The corresponding effective sample sizes under each recruitment methods are
,
.
where and are the design effects associated with face-to-face and telephone sampling, respectively [9]. The design effects were estimated using Kish’s method [24], where the design effects are approximated by
deff for
deff for
The design effects associated with each country are reported in Table 4. A total design effect was estimated for each country and a design effect specific to each mode of data collection for the annual survey (web survey, telephone interval, and face-to-face for Nigerian subsample). In all but one country (the United States) the total design effect was at most 2.0, and in the United States, the design effect was 5.49.
The final weights are computed adjusting for the effective sample size of each sample source, resulting in weights
,
.
A note on the Nigerian sample. In Nigeria alone, the intake sample was split into two parts-one to cover households with individuals having access to a landline, mobile phone, or the internet, and a small number of PSUs to represent individuals living in households that do not have access to a landline, mobile phone, or the internet. Each sample
Table 4 Global Flourishing Study annual survey design effects-variability in weights-associated with each country
Country Web Telephone Total
Argentina 2.01 1.87 1.99
Australia 1.58 1.58
Brazil 1.81 1.50 1.79
Egypt 1.46 1.44 1.44
Germany 1.65 1.65
Hong Kong 1.93 1.93
India 1.55 1.43 1.43
Indonesia 1.52 1.61 1.59
Israel 1.42 1.31 1.34
Japan 1.38 1.29 1.38
Kenya 1.42 1.49 1.48
Mexico 1.77 1.47 1.68
Nigeria* 1.59 1.93 1.97
Philippines 1.53 1.57 1.56
Poland 1.91 1.83 1.91
South Africa 1.52 1.77 1.71
Spain 1.79 1.79
Sweden 1.48 1.48
Tanzania 1.45 1.50 1.50
Turkey 1.36 1.45 1.49
United Kingdom 1.97 1.97
United States 5.49 5.49
*Nigerian face-to-face subsample has a design effect . Web and telephone surveying for annual survey, and Total represents the design effect (variability in weights) for the entire country sample combined. All design effects were estimated using Kish’s method based on the final GFS sample that is openly available. All reported design effects are based on the published non-sensitive GFS wave 1 dataset-estimated design effects reported in the Gallup methodology report [9] can differ because those estimates include participants who only responded to the intake survey
was weighted separately and projected to the corresponding target population. Targets for the population without access to landline or a mobile phone were derived from the latest Demographic and Health Survey in Nigeria [25]. The resulting weighted samples were combined where of sample came from sources with access to telephones or internet and of the sample came from sources not having access to telephone nor internet. This latter sample constitutes what we call a “hard-to-reach” population that is less often included in large scale surveys and studies.

Approach 2: Non-probability samples only

Countries and territories using a non-probability sample only: Hong Kong (S.A.R. of China), Japan, and Sweden. Data collection in Hong Kong (S.A.R. of China) and Sweden only used a non-probability sample obtained through online opt-in panels [9]. A small proportion of the sample in Japan
was drawn from a probability frame, but it was insufficient to project that sample to the target population. For the purposes of constructing weights, all records in Japan were treated as non-probability samples. Since the selection probability of inclusion in the final sample is unknown, pseudo-base sampling weights were constructed using propensity weighting [19, 26]. The Sweden sample relied solely on propensity weighting. Hong Kong and Japan samples utilized a baseweight of 1 followed up with raking with detailed population targets (see Table 3). This approach estimated the probability of inclusion in the panel frame and generated respondentlevel survey weights for subsequent analysis, see pg. 16-17 of [16].
A limitation of solely using a non-probability sample is the need to have an auxiliary probability-based sample from the same country with a subset of identical items [16]. Table 3 provides details on which sources were used provide the auxiliary information needed. To implement propensity weighting, a combined dataset stacked the reference sample with the non-probability sample. A binary variable assigned records from the reference survey a value of ” 0 ” and records from the non-probability sample a value of ” 1 “. This binary indicator served as the dependent variable in a weighted logistic regression model. Auxiliary variables such as age, gender, region, measured in both samples (reference and non-probability) and likelihood of selection into the probability sample served as possible predictors. A model selection technique identified the most suitable model, which was used to generate a propensity score representing the predicted probability that a record came from the non-probability sample. The inverse of this predicted probability was the pseudo-selection probability weight assigned to each unit in the non-probability sample.
These weights were then post-stratified to balance sample demographics to known target population totals obtained from country-level census data [9]. Variables used included age, gender, education, region, employment status, marital status, and any other variable for which reliable data were available. There were some differences in the variables used for post-stratification adjustment by country (see Table 3). After post-stratification weighting, the distribution of the final weights was examined and extreme weights were trimmed, where necessary, to minimize the effect of large weights on the variance of estimates.
A note on Japan and Hong Kong (S.A.R. of China). In Japan and Hong Kong (S.A.R. of China), no reference was captured to calculate the pseudo-selection weights described earlier. Therefore, the weighting process started with a base weight of 1 , and the sample was post-stratified using detailed crossclassified cells. For Hong Kong, post-stratification was based on age by gender by education and age by gender by region. For Japan, post-stratification was based on the cross-classified cells of (1) region, age, gender, and employment status and (2)
region, age, gender, and marital status, in addition to education and prefecture.

Approach 3: A combination of probability and non-probability samples only

Countries using both probability and non-probability samples: Argentina, Australia, Brazil, Germany, Mexico, Poland, Spain, and the United Kingdom [9]. Combining probability and nonprobability samples increases population coverage [16, 27], and some evidence exists that such hybrid complex sampling designs reduce sampling variability [28, 29].
Each probability-based sample was weighted using the weighting steps (sampling weight calculation and post-stratification) outlined in the Approach 1: Probability samples only subsection. The non-probability sample applied the weighting steps (pseudo-sampling weight calculation and post-stratification) outlined in the Approach 2: Non-probability samples only subsection, using the weighted probability sample as the reference sample. Then, the two parts were combined using composite weighting procedures to project the final combined sample to the target population of adults aged 18 years or older living in each country (see Design effects and combined weights subsection for more details).

Response rate

The response rate was calculated for intake surveys and annual surveys based on the recommendations of American Association for Public Opinion Research [30] for reporting transparency of the survey methodology quality. Although a high response rate reduces the risk of non-response bias [31], a low response rate does not necessarily lead to non-response bias in results [32-35]. The response rates were calculated for face-to-face, telephone, and web recruitment (methods described below), but the response rate could not be calculated for non-probability-based samples due to the lack of information about the sampling frame. In countries utilizing a combination of recruitment methods, a combined response rate was created by weighting the average response rate according to the proportion of recruits from each sample source.
Calculated response rates for face-to-face recruitment follows
,
where total number of complete interviews (defined as responding to at least 75% of survey items); total number of partial interview (define as responding to less than 75% of survey items); number of refusals; number of non-contacts; number of non-response due to some other reason; and , which encompasses
the estimated proportion of cases with unknown eligibility that are eligible, with unknown if household is occupied, unknown if sampled unit is eligible or if household contains an eligible respondent, and unknown if eligible due to some other reason [9].
Calculated response rates for telephone recruitment follows
,
where percent of known-residential cases estimated to have eligible respondents; percent of known-residential cases estimated to have eligible residential; and and are approximated [9].
The Wave 1 annual survey response rate was calculated by multiplying the weighted average response rate above by the ratio of complete responses to the annual survey over the total number of recruited panel members. The intake and Wave 1 annual survey response rates are provided in Table 5. For Hong Kong (S.A.R. of China), Japan, Sweden, and the United States, web-based intake and Wave 1 annual surveys were combined and administered simultaneously and thus the implied Wave 1 Annual Survey response rate in those countries is .

Strengths and limitations of wave 1

Wave 1 of the GFS has several strengths and limitations researchers should be aware of when interpreting results.
Table 5 Response rates for the Global Flourishing Study by country
Country Sample-type Recruitment (Intake) survey Wave 1 Annual survey
# Complete Response rate # Complete Response rate
Argentina Probability 9398 10.5 3879 41.3
Non-probability 2905 a 2845 97.9
Australia Probability 5539 2.4 3377 61
Non-probability 677 a 467 69
Brazil Probability 10,257 13.3 3793 37
Non-probability 9437 a 9411 99.7
Egypt Probability 7500 55 4729 63.1
Germany Probability 10,941 2.5 4480 41
Non-probability 5141 a 5026 97.8
Hong Kong (S.A.R. of China) Non-probability 3012 a 3012 100
India Probability 28,644 68.9 12,765 44.6
Indonesia Probability 11,808 54.6 6992 59.2
Israel Probability 5507 55.8 3669 66.6
Japan Non-probability 20,543 a 20,543 100
Kenya Probability 14,993 63.7 11,389 76.1
Mexico Probability 9896 20.5 2672 27
Non-probability 3244 3104 95.7
Nigeria Probability 13,849 79.2 6827 49.3
Philippines Probability 13,995 42.6 5292 37.8
Poland Probability 11,013 71.1 8444 76.7
Non-probability 3217 a 1945 60.5
South Africa Probability 11,035 82 2651 24
Spain Probability 5446 3.6 2309 42.4
Non-probability 4117 3981 96.7
Sweden Non-probability 15,068 15,068 100
Tanzania Probability 10,997 70.9 9075 82.5
Turkey Probability 5414 19.2 1473 27.2
United Kingdom Probability 5380 1.8 2341 43.5
Non-probability 3153 3027 96
United States Probability 38,312 38,312 100
A notable strength is that these data represent a large and diverse sample that is weighted (using the methods described in this paper) to be approximately nationally representative of the general adult population in each of the 22 countries and territories, leading to broad population coverage, along with broad survey coverage of numerous constructs. Another strength of the GFS is the use of a mid-year retention survey to help maintain contact with respondents to reduce drop out and utilize modified or new survey items that cannot be accommodated by the annual survey.
However, several limitations associated with Wave 1 of the GFS should be noted. The time of year data were collected differed across countries, which could lead to seasonality effects that make direct comparisons between countries more challenging. Although each country was weighted to be nationally representative, the respondent level weights are dependent on the quality of the external data source used as target population counts. These targets are documented in Table 3, along with the stratification characteristics used for each country. Additionally, using a different weighting approach for each country leads to complexity about how to interpret heterogeneity across countries. For example, if the weighted mean response to the item Happy (“In general, how happy or unhappy do you usually feel?”; a Likert-type response scale of Extremely Unhappy [0]Extremely Happy [10]) varies across countries, there are several possible sources of this variation. In addition to substantive differences, sources of heterogeneity in the weighted means might also include seasonality effects, differences in interpretation of items or response scales, differences due to quality of translation, differences in mode of data collection, differences in the process and variables used for constructing respondent level weights, and other possible reasons depending on the specific construct of interest.
There are other limitations of the GFS that will apply beyond Wave 1. For example, the GFS uses a self-report survey that assesses most constructs using a single item, which means that the GFS survey may be somewhat limited in its conceptual coverage of the constructs that are measured. Researchers will need to keep these considerations in mind as they process and interpret results using Wave 1 (and subsequent waves) of the GFS.

Ongoing and future waves

A short retention survey is being administered between Wave 1 and Wave 2 data collection. The objectives of this retention activity are to remind the participant about their involvement in GFS, update contact information, collect responses for a few additional substantive survey items, and to try to ensure retention. This activity will be undertaken only for probability-based samples, with the additional substantive items for other samples administered
instead in the Wave 2 survey. Wave 2 data collection will occur roughly one year following Wave 1 . The survey will include the same set of items fielded in Wave 1, producing longitudinal data that can be used to track within-subject changes over time. Additionally, subsequent waves of the GFS may include additional recruitment of new cohorts as funding permits.

Concluding remarks

The GFS represents a direct response to growing calls that have been made to reshape the Western-centricity of social scientific evidence on human well-being through rigorous research that is more inclusive and representative of the global population [4,6]. Although the GFS is not without its limitations (e.g., reliance on a self-report survey), the study represents an important step forward in the movement toward building “global well-being science” [3]. Between the expansive conceptual scope of human flourishing that undergirds the GFS survey, the cultural and geographic coverage of the GFS, and open science approach that has been applied to the study, the GFS could serve as a pivotal resource for enriching existing knowledge about human flourishing in many different parts of the world. More broadly, the well-documented process by which the GFS was developed also provides a valuable template that other scholars could draw on in the development and execution of future global studies [36].

Commitment to open science practices

Data for Wave 1 of the GFS is available through the Center for Open Science upon submission of a pre-registration and will be openly available without pre-registration beginning February 2025. Subsequent waves of the GFS will similarly be made available. Please see https://www.cos.io/gfs-accessdata for more information about data access.
Author contributions Zacc Ritter, Rajesh Srinivasan, Manas Chattopadhyay, Ying Han, John Honohan, Byron R. Johnson, and Tyler J. VanderWeele wrote the initial GFS methodology report by Gallup, Inc. R. Noah Padgett wrote the first draft of this manuscript and subsequent revisions, and Richard G. Cowden worked on revisions and editing of the draft. All authors reviewed the final manuscript.
Funding The GFS was supported by funding from the John Templeton Foundation (grant #61665), Templeton Religion Trust (#1308), Templeton World Charity Foundation (#0605), Well-Being for Planet Earth Foundation, Fetzer Institute (#4354), Well Being Trust, Paul L. Foster Family Foundation, and the David and Carol Myers Foundation. The opinions expressed in this publication are those of the authors and do not necessarily reflect the views of these organizations.

Declarations

Conflict of interest Tyler J. VanderWeele reports partial ownership and licensing fees from Flourishing Metrics Inc.
Open Access This article is licensed under a Creative Commons Attribution 4.0 International License, which permits use, sharing, adaptation, distribution and reproduction in any medium or format, as long as you give appropriate credit to the original author(s) and the source, provide a link to the Creative Commons licence, and indicate if changes were made. The images or other third party material in this article are included in the article’s Creative Commons licence, unless indicated otherwise in a credit line to the material. If material is not included in the article’s Creative Commons licence and your intended use is not permitted by statutory regulation or exceeds the permitted use, you will need to obtain permission directly from the copyright holder. To view a copy of this licence, visit http://creativecommons.org/licenses/by/4.0/.

References

  1. VanderWeele TJ. On the promotion of human flourishing. PNAS. 2017;114:8148-56. https://doi.org/10.1073/pnas.1702996114.
  2. Lomas T, VanderWeele TJ. The garden and the orchestra: generative metaphors for conceptualizing the complexities of well-being. Int J Environ Res Public Health. 2022;19:14544. https://doi.org/ 10.3390/ijerph192114544.
  3. Lomas T. Making waves in the great ocean: a historical perspective on the emergence and evolution of wellbeing scholarship. J Posit Psychol. 2022;17:270-5. https://doi.org/10.1080/17439760. 2021.2016900.
  4. Henrich J, Heine SJ, Norenzayan A. Most people are not WEIRD. Nature. 2010;466:29. https://doi.org/10.1038/466029a.
  5. Ghai S. It’s time to reimagine sample diversity and retire the WEIRD dichotomy. Nat Hum Behav. 2021;5:971-2. https://doi. org/10.1038/s41562-021-01175-9.
  6. Wong PTP, Cowden RG. Accelerating the science and practice of psychology beyond WEIRD biases: enriching the landscape through Asian psychology. Front Psychol. 2022;13:1054519. https://doi.org/10.3389/fpsyg.2022.1054519.
  7. Höltge J, Cowden RG, Lee MT, Bechara AO, Joynt S, Kamble S, Khalanskyi VV, Shtanko L, Kurniati NMT, Tymchenko S, Voytenko VL, McNeely E, VanderWeele TJ. A systems perspective on human flourishing: exploring cross-country similarities and differences of a multisystemic flourishing network. J Posit Psychol. 2022;18:695-710. https://doi.org/10.1080/17439760. 2022.2093784.
  8. Johnson BR, Ritter Z, Fogleman A, Markham L, Stankov T, Srinivasan R, Honohan J, Ripley A, Philips T, Wang H, VanderWeele TJ. The Global Flourishing Study; 2024. https://doi.org/10.17605/ OSF.IO/3JTZ8
  9. Ritter Z, Srinivasan R, Han Y, Chattopadhyay M, Honohan J, Johnson BR, VanderWeele TJ. Global Flourishing Study methodology. Gallup Inc.; 2024. [Retrieved on [2024-05-10] from https:// osf.io/k2s7u].
  10. Crabtree S, English C, Johnson BR, Ritter Z, VanderWeele TJ. Global Flourishing Study: Questionnaire Development report. Gallup Inc; 2021. [Retrieved on [2024-05-10] from https://osf.io/ y3t6m]
  11. Lomas T, Cowden RG, Case B, Fogelman A, Johnson BR, VanderWeele TJ. The development of the Global Flourishing Study survey: charting the evolution of a new 109-Item inventory of
    human flourishing. in prep/under review (to be part of the Nature-Springer-BMC Special Collection).
  12. Wickham H. ggplot2: elegant graphics for data analysis. New York: Springer; 2016.
  13. R Core Team. R: A language and environment for statistical computing. R Foundation for Statistical Computing; 2024. https:// www.R-project.org.
  14. Mohler P, Dorer B, de Jong J, Hu M. Cross-cultural survey guidelines. 2016. [Retrieved on [2024-05-06] from https://ccsg.isr. umich.edu/chapters/translation/overview/]
  15. Ritter Z, Markham L, Tyner A, Stankov T, Wang H, Call M, Olson EL, Staller A, Johnson BR, Fogleman A, Ripley A, Phillips T, Srinivasan R, Honohan J, VanderWeele TJ. GFS Translation Document. Center For Open Science; 2024. [Retrieved on [2024-05-06] from https://osf.io/d4qw8].
  16. McPhee C, Barlas F, Brigham N, Darling J, Dutwin D, Jackson C, Jackson M, Kirzinger A, Little R, Lorenz E, Marlar J, Mercer A, Scanlon PJ, Weiss S, Wronski L. Data quality metrics for online samples, Considerations for study design and analysis. American Association for Public Opinion Research; 2022. [Retrieve on [2024-05-07] from https://aapor.org/wp-content/uploads/2023/02/ Task-Force-Report-FINAL.pdf].
  17. Edwards JR. Response invalidity in empirical research: causes, detection, and remedies. J Oper Manag. 2019;65:62-76. https:// doi.org/10.1016/j.jom.2018.12.002.
  18. Greszki R, Meyer M, Schoen H. The impact of speeding on data quality in nonprobability and freshly recruited probability-based online panels. In: Callegaro M, Baker R, Bethlehem J, Goritz AS, Krosnick JA, Lavrakas PJ, editors. Online panel research: a data quality perspective. Hoboken: Wiley; 2014.
  19. Elliott MR, Valliant R. Inference for nonprobability samples. Stat Sci. 2017;32:249-64.
  20. Frankel MR, Battaglia MP, Link M, Mokdad AH. Integrating cell phone numbers into Random Digit-Dialed (RDD) landline surveys. In: ASA Proceedings of the Social Statistics Section. 2007; 3793-800. http://www.asasrms.org/Proceedings/y2007/ Files/JSM2007-000200.pdf
  21. Waksberg J. Sampling methods for random digit dialing. J Am Stat Assoc. 1978;73:40-6. https://doi.org/10.1080/01621459. 1978.10479995.
  22. Valliant R, Dever JA, Kreuter F. Practical tools for designing and weighting survey samples. Cham: Springer; 2018.
  23. Kish L. Cumulating/combining population surveys. Surv Methodol. 1999;25:129-38.
  24. Kish L. Methods for design effects. J Off Stat. 1995;11:55-77.
  25. Demographic and Health Surveys Program. Nigeria-National Demographic and Health Data; 2023. [Retrieved from https://data. humdata.org/dataset/dhs-data-for-nigeria].
  26. Valliant R. Comparing alternatives for estimation from nonprobability samples. J Surv Stat Methodol. 2020;8:231-63.
  27. Wiśniowski A, Sakshaug J, Ruiz DAP, Blom A. Integrating probability and nonprobability samples for survey inference. J Surv Stat Methodol. 2020;8:120-47.
  28. Dever JA, Rafferty A, Valliant R. Internet surveys: Can statistical adjustments eliminate coverage bias? Surv Res Methods. 2008;2:47-62.
  29. Sakshaug JW, Wiśniowski A, Perez Ruiz DA, Blom AG. Supplementing small probability samples with nonprobability samples: a Bayesian approach. J Off Stat. 2019;35:629-53.
  30. American Association for Public Opinion Research (AAPOR). Standard definitions: final dispositions of case codes and outcome rates for surveys. 10th edition; 2023.
  31. Peytchev A. Consequences of survey nonresponse. Ann Am Acad Pol Soc Sci. 2013;645:88-111. https://doi.org/10.1177/00027 16212461748.
  32. Peytcheva E, Groves RM. Using variation in response rates of demographic subgroups as evidence of nonresponse bias in survey estimates. J Off Stat. 2009;25:193-201.
  33. Dutwin D, Buskirk T. Telephone sample surveys: Dearly beloved or nearly departed? Trends in survey errors in the era of declining response rates. J Surv Stat Methodol. 2021;9:353-80. https://doi. org/10.1093/jssam/smz044.
  34. Groves RM. Nonresponse rates and nonresponse bias in household surveys. Public Opin Q. 2006;70:646-75. https://doi.org/10.1093/ poq/nf1033.
  35. Groves RM, Peytcheva E. The impact of nonresponse rates on nonresponse bias: a meta-analysis. Public Opin Q. 2008;72:16789. https://doi.org/10.1093/poq/nfn011.
  36. Cowden RG, Skinstad D, Lomas T, Johnson BR, VanderWeele TJ. Measuring wellbeing in the Global Flourishing Study: insights from a cross-national analysis of cognitive interviews from 22 countries. Qual Quant. 2024. https://doi.org/10.1007/ s11135-024-01947-1.
Publisher’s Note Springer Nature remains neutral with regard to jurisdictional claims in published maps and institutional affiliations.

  1. Tyler J. VanderWeele
    tvanderw@hsph.harvard.edu
    Department of Epidemiology, Harvard T.H. Chan School of Public Health, Boston, MA, USA
    2 Human Flourishing Program, Harvard University, Cambridge, MA, USA
    3 Gallup, Inc., Rockville, MD, USA
    4 Gallup, Inc., Ellicott City, MD, USA
    5 Gallup, Inc., Ossining, NY, USA
    6 Gallup, Inc., San Mateo, CA, USA
    7 Gallup, Inc., Princeton, NJ, USA
    8 Institute for Studies of Religion, Department of Sociology, Baylor University, Waco, TX, USA
    School of Public Policy, Pepperdine University, Malibu, CA, USA
    10 Department of Biostatistics, Harvard T.H. Chan School of Public Health, MA, Boston, USA
  2. Face-to-face interviews used the computer-assisted personal interview (CAPI) system; Telephone interviews used the computer-assisted telephone interview (CATI) system; Web surveys used the computerassisted web interview (CAWI) system; and Nigerian face-to-face annual subsample is weighted to be representative of the population of Nigeria without access to a landline, mobile device, or internet
  3. Response rate for non-probability-based samples was not possible due to lack of information about sampling frame