Працює · 2025-10ПершоджерелоGrowth-процесиПлатна реклама

Тести інкрементальності з географічними контрольними групами

Вимірюйте реальний внесок реклами, вимикаючи (або вмикаючи) її у випадково обраних регіонах чи контрольних групах аудиторії.

Інші назви (англ.): incrementality testing, holdout test, Geo-lift incrementality tests, geo experiments, GeoLift

Твердження і докази

ТвердженняMeta advertising is very likely incremental.

Meta advertisers on Haus · haus.io · 2025-08-13 · цитата мовою оригіналу

Що показують цифри

Жодна опублікована цифра для цієї тактики ще не пройшла дослівну перевірку, тож графіка немає.

Чому це працює

Схема, не дані
Підберітьсхожі регіониВипадковорозподілітьрегіониТестова група:реклама працюєКонтрольнагрупа: рекламувимкненоПорівняйтерезультати йперерозподілітьбюджет
Підберіть схожі регіониВипадково розподіліть регіониТестова група:реклама працюєКонтрольнагрупа: рекламувимкненоПорівняйте результати йперерозподіліть бюджет

Рандомізовані регіони дають чисте порівняння, тож ви бачите приріст, а не конверсії, які приписує собі платформа.

Як запустити

  1. Оберіть подібні регіони або контрольні групи (holdout)
  2. Випадково розподіліть тестову й контрольну групи
  3. Проведіть тест протягом фіксованого періоду
  4. Порівняйте результати
  5. Перерахуйте в інкрементальний ROAS і перерозподіліть бюджети

Як можна запустити

Варіанти дизайну для тесту, а не обіцяний результат.

  1. Варіант AГео-тест із вимкненням

    Вимкніть канал у випадково обраних регіонах на фіксований строк і виміряйте падіння порівняно з рештою.

  2. Варіант BКонтрольна аудиторія

    Не показуйте рекламу випадковій частці аудиторії там, де платформа це підтримує.

  3. Варіант CПеревірка платформ по черзі

    Тестуйте кожен великий канал по черзі, як рекламодавці, що перевіряли Meta з Haus, і переводьте приріст в інкрементальну віддачу.

Хронологія

  1. 12011 вперше описано: Jon Vaver and Jim Koehler, Google
  2. 22025 Meta advertisers on Haus — Haus провів 640 експериментів у Meta й навів середні значення.
  3. 32025-10 статус перевірено: Працює

Датовані приклади

  1. 2025

    Meta advertisers on Haus

    Haus провів 640 експериментів у Meta й навів середні значення.

    Середній приріст 19%; близько $115 інкрементального доходу на кожні $100, приписані платформою (7-денне вікно кліку).

    “Meta advertising is very likely incremental.”
    ✓ цитату звірено дослівно зі сторінкою

    haus.io · 2025-08-13

Цитата мовою оригіналу.

Чи це ще працює?

Працюєстаном на 2025-10

Метод опубліковано у 2011 році; Haus (постачальник) повідомляє результати зі своєї платформи. джерело

Ризики

  • Зашумлені тести можуть вводити в оману
  • Потрібен масштаб
  • Результати Haus надає сам постачальник
  • Перетікання, коли люди їздять між регіонами
  • За Google, закладайте від 7 до 14 тижнів від дизайну до аналізу
  • Не підходить, якщо регіонів мало

Джерела

  1. research.google · Google Research · Jon Vaver, Jim Koehler · 2011
    “In these experiments, non-overlapping geographic regions are randomly assigned to a control or treatment condition”
    ✓ цитату звірено дослівно зі сторінкою
  2. haus.io · Haus · 2025-10-09
    “The 80% audience segment is known as the treatment group, while the 20% audience segment is known as the holdout group.”
    ✓ цитату звірено дослівно зі сторінкою
  3. haus.io · Haus · 2025-08-13
    “Meta advertising is very likely incremental.”
    ✓ цитату звірено дослівно зі сторінкою
  4. github.com · GitHub: facebookincubator/GeoLift · без дати
    “GeoLift is an end-to-end solution to measure Lift at a Geo-level using the latest developments in Synthetic Control Methods.”
    ○ сторінка блокує автоматичну перевірку; цитата як передана
  5. developers.google.com · Google Meridian GeoX docs · 2026-09-01
    “the KPI should be based on raw unfiltered conversion events”
    ✓ цитату звірено дослівно зі сторінкою

Історія змін

  • 2026-11-20 — merged: acq-paid.jsonl:50 (geo-holdout-incrementality-test); ops-ai.jsonl:30 (geo-lift-incrementality-tests)
  • 2026-11-20 — harvest v0.1 (acq-paid, ops-ai)