Працює · 2026-11Заява постачальникаGrowth-процесиАналітика

Не підсумовуйте переможців A/B-тестів (прокляття переможця)

Не додавайте прирости всіх тестів-переможців; сума завищує справжній ефект, тож вимірюйте сукупний вплив за допомогою контрольної групи (holdout) або скоригованого методу.

Інші назви (англ.): cumulative impact estimation

Твердження і докази

ТвердженняНе додавайте прирости всіх тестів-переможців; сума завищує справжній ефект, тож вимірюйте сукупний вплив за допомогою контрольної групи (holdout) або скоригованого методу.

Датованого прикладу поки немає. Вважайте цю тактику гіпотезою.

Що показують цифри

Жодна опублікована цифра для цієї тактики ще не пройшла дослівну перевірку, тож графіка немає.

Чому це працює

Схема, не дані
Складіть списокзапущених переможцівHoldout абоскоригована оцінкаНаївна сума вимірянихприростівЗвітуйте діапазоном,а не однією сумою
Складіть список запущенихпереможцівHoldout абоскоригованаоцінкаНаївна сумавимірянихприростівЗвітуйте діапазоном, а не однієюсумою

Тести, що пройшли поріг значущості, — це відібрана вибірка, тож їхні оцінки зміщені вгору. Контрольну групу не відбирають за значущістю, і вона уникає цього зміщення.

Як запустити

  1. Складіть список запущених переможців
  2. Не підсумовуйте наївно їхні виміряні прирости
  3. Якщо дозволяє трафік, використовуйте контрольну групу для прямої оцінки
  4. Інакше застосуйте скоригований метод оцінки сукупного впливу й зазначте його припущення
  5. Наводьте діапазони, а не одну суму

Як можна запустити

Варіанти дизайну для тесту, а не обіцяний результат.

  1. Варіант AОцінка через holdout

    Тримайте групу поза всіма запусками й вимірюйте сукупний ефект напряму, якщо дозволяє трафік.

  2. Варіант BСкоригований метод

    Застосуйте статистичну поправку до суми приростів і вкажіть її припущення поруч із числом.

  3. Варіант CЗвіт діапазоном

    Показуйте сукупний вплив у планувальних документах як діапазон, а не одну складену цифру.

Датовані приклади

Датованого прикладу поки немає. Вважайте цю тактику гіпотезою.

Чи це ще працює?

Працюєстаном на 2026-11

Datadog описує власний продукт; стосується будь-якої програми експериментів. джерело

Ризики

  • Контрольні групи забирають трафік і час
  • Скориговані методи спираються на припущення

Джерела

  1. datadoghq.com · Datadog blog · Lukas Goetz-Weiss and Eddie Cai · 2026-08-18
    “That naive sum almost always overstates the truth because of a statistical artifact called the winner’s curse.”
    ✓ цитату звірено дослівно зі сторінкою
  2. datadoghq.com · Datadog blog · Lukas Goetz-Weiss and Eddie Cai · 2026-08-18
    “A holdout avoids the winner’s curse because its estimate is not selected for statistical significance.”
    ✓ цитату звірено дослівно зі сторінкою

Історія змін

  • 2026-11-20 — harvest v0.1 (ops-ai)