Працює · 2026-11ВториннеGrowth-процесиАналітика

Фіксований розмір вибірки без дострокової зупинки

Визначайте розмір вибірки до A/B-тесту й не зупиняйте його на першому статистично значущому результаті.

Інші назви (англ.): peeking problem

Твердження і докази

ТвердженняВизначайте розмір вибірки до A/B-тесту й не зупиняйте його на першому статистично значущому результаті.

Датованого прикладу поки немає. Вважайте цю тактику гіпотезою.

Що показують цифри

Жодна опублікована цифра для цієї тактики ще не пройшла дослівну перевірку, тож графіка немає.

Чому це працює

Схема, не дані
Тест триваєЧитайте лише назапланованій вибірціЗупинка при першомузначущому поглядіХибнопозитивні підконтролем
Тест триваєЧитайте лише назапланованійвибірціЗупинка припершомузначущомупоглядіХибнопозитивні під контролем

Багаторазові перевірки й зупинка, щойно результат здається значущим, збільшують кількість хибнопозитивних результатів. Якщо зафіксувати розмір вибірки заздалегідь, проблема зникає.

Як запустити

  1. Розрахуйте потрібний розмір вибірки до запуску
  2. Запишіть правило зупинки
  3. Приховуйте або ігноруйте проміжну значущість
  4. Читайте результати лише в запланований момент завершення
  5. Якщо потрібна дострокова зупинка, використовуйте послідовні методи

Як можна запустити

Варіанти дизайну для тесту, а не обіцяний результат.

  1. Варіант AРозмір вибірки наперед

    Розрахуйте потрібну вибірку до запуску й запишіть правило зупинки.

  2. Варіант BПриховані проміжні результати

    Ховайте значущість у дашборді до запланованого кінця, щоб ніхто не спокусився зупинити тест раніше.

  3. Варіант CПослідовне тестування

    Якщо рання зупинка необхідна, використовуйте послідовний метод, розрахований на повторні перевірки.

Хронологія

  1. 12010 вперше описано: Evan Miller, 'How Not To Run An A/B Test'
  2. 22026-11 статус перевірено: Працює

Датовані приклади

Датованого прикладу поки немає. Вважайте цю тактику гіпотезою.

Чи це ще працює?

Працюєстаном на 2026-11

Класичне есе 2010 року; сучасні інструменти додають послідовні тести, тож підглядати безпечніше (див. sequential-testing). джерело

Ризики

  • Тиск бізнесу оголосити переможця раніше
  • Тести з недостатньою потужністю марнують трафік

Джерела

  1. evanmiller.org · evanmiller.org · Evan Miller · 2010-04-18
    “The more you peek, the more your significance levels will be off.”
    ✓ цитату звірено дослівно зі сторінкою
  2. evanmiller.org · evanmiller.org · Evan Miller · 2010-04-18
    “Committing to a sample size completely mitigates the problem described here.”
    ✓ цитату звірено дослівно зі сторінкою

Історія змін

  • 2026-11-20 — harvest v0.1 (ops-ai)