Твердження і докази
Визначайте розмір вибірки до A/B-тесту й не зупиняйте його на першому статистично значущому результаті.
Датованого прикладу поки немає. Вважайте цю тактику гіпотезою.
Вторинне
Авторитетна третя сторона проаналізувала кейс (Lenny's Newsletter, First Round Review, Reforge, дослідження Ahrefs).
Працює · 2026-11 Класичне есе 2010 року; сучасні інструменти додають послідовні тести, тож підглядати безпечніше (див. sequential-testing).
Що показують цифри
Жодна опублікована цифра для цієї тактики ще не пройшла дослівну перевірку, тож графіка немає.
Чому це працює
Багаторазові перевірки й зупинка, щойно результат здається значущим, збільшують кількість хибнопозитивних результатів. Якщо зафіксувати розмір вибірки заздалегідь, проблема зникає.
Як запустити
- Розрахуйте потрібний розмір вибірки до запуску
- Запишіть правило зупинки
- Приховуйте або ігноруйте проміжну значущість
- Читайте результати лише в запланований момент завершення
- Якщо потрібна дострокова зупинка, використовуйте послідовні методи
Як можна запустити
Варіанти дизайну для тесту, а не обіцяний результат.
- Варіант AРозмір вибірки наперед
Розрахуйте потрібну вибірку до запуску й запишіть правило зупинки.
- Варіант BПриховані проміжні результати
Ховайте значущість у дашборді до запланованого кінця, щоб ніхто не спокусився зупинити тест раніше.
- Варіант CПослідовне тестування
Якщо рання зупинка необхідна, використовуйте послідовний метод, розрахований на повторні перевірки.
Хронологія
- 12010 вперше описано: Evan Miller, 'How Not To Run An A/B Test'
- 22026-11 статус перевірено: Працює
Датовані приклади
Датованого прикладу поки немає. Вважайте цю тактику гіпотезою.
Чи це ще працює?
Класичне есе 2010 року; сучасні інструменти додають послідовні тести, тож підглядати безпечніше (див. sequential-testing). джерело
Ризики
- Тиск бізнесу оголосити переможця раніше
- Тести з недостатньою потужністю марнують трафік
Джерела
- evanmiller.org
“The more you peek, the more your significance levels will be off.”
✓ цитату звірено дослівно зі сторінкою - evanmiller.org
“Committing to a sample size completely mitigates the problem described here.”
✓ цитату звірено дослівно зі сторінкою
Історія змін
- 2026-11-20 — harvest v0.1 (ops-ai)