Твердження і докази
Перш ніж оголосити переможця, перевірте відомі пастки експериментів (парадокс Сімпсона, короткострокові й довгострокові ефекти).
Датованого прикладу поки немає. Вважайте цю тактику гіпотезою.
Першоджерело
Компанія чи засновник самі описують тактику і результат: власний блог, виступ, звітність.
Працює · 2026-11 Сторінка ExP перелічує статті; самі статті не отримано.
Що показують цифри
Жодна опублікована цифра для цієї тактики ще не пройшла дослівну перевірку, тож графіка немає.
Чому це працює
Нерівномірний розподіл трафіку між періодами може змінити очевидного переможця на протилежного, а короткострокові метрики можуть не передбачати довгострокових. Постійний чекліст пасток запобігає повторенню цих помилок.
Як запустити
- Тримайте розподіл сталим під час тесту або аналізуйте за періодами
- Сегментуйте результати, щоб перевірити на розвороти
- Для великих змін використовуйте довгострокові метрики або контрольні групи (holdout)
- Перезапускайте тести з несподіваними результатами
- Ведіть чекліст пасток
Як можна запустити
Варіанти дизайну для тесту, а не обіцяний результат.
- Варіант AСталий розподіл
Тримайте розподіл трафіку незмінним увесь тест, а нарощуйте його до початку вимірювання.
- Варіант BАналіз по періодах
Якщо розподіл мусить змінитися, порівнюйте варіанти в межах кожного періоду, а не всі дні разом.
- Варіант CЧекліст пасток
Перед оголошенням переможця пройдіть постійний список відомих пасток, зокрема короткостроковий проти довгострокового ефекту.
Хронологія
- 12009 вперше описано: Crook, Frasca, Kohavi and Longbotham, KDD 2009 (listed on Microsoft ExP site)
- 22026-11 статус перевірено: Працює
Датовані приклади
Датованого прикладу поки немає. Вважайте цю тактику гіпотезою.
Чи це ще працює?
Сторінка ExP перелічує статті; самі статті не отримано. джерело
Ризики
- Перевірено лише назви статей і уривки
- Легко пересегментувати й знайти хибні закономірності
Джерела
- exp-platform.com
“it's easy to incorrectly identify the winning Treatment because of Simpson's paradox.”
○ сторінка блокує автоматичну перевірку; цитата як передана - exp-platform.com
“The difficulty is that short-term changes to metrics may not predict the long-term impact of a change.”
○ сторінка блокує автоматичну перевірку; цитата як передана
Історія змін
- 2026-11-20 — harvest v0.1 (ops-ai)