Працює · 2026-11ПершоджерелоGrowth-процесиАналітика

Перевірка на парадокс Сімпсона й короткострокове упередження

Перш ніж оголосити переможця, перевірте відомі пастки експериментів (парадокс Сімпсона, короткострокові й довгострокові ефекти).

Інші назви (англ.): experiment pitfalls review

Твердження і докази

ТвердженняПерш ніж оголосити переможця, перевірте відомі пастки експериментів (парадокс Сімпсона, короткострокові й довгострокові ефекти).

Датованого прикладу поки немає. Вважайте цю тактику гіпотезою.

Що показують цифри

Жодна опублікована цифра для цієї тактики ще не пройшла дослівну перевірку, тож графіка немає.

Чому це працює

Схема, не дані
Розподіл трафікузмінився під частесту?Аналізуйте коженперіод окремоЗведені підсумкиможуть змінитипереможцяПовторіть несподіванірезультати
Розподіл трафіку змінився підчас тесту?Аналізуйтекожен періодокремоЗведеніпідсумки можутьзмінитипереможцяПовторіть несподівані результати

Нерівномірний розподіл трафіку між періодами може змінити очевидного переможця на протилежного, а короткострокові метрики можуть не передбачати довгострокових. Постійний чекліст пасток запобігає повторенню цих помилок.

Як запустити

  1. Тримайте розподіл сталим під час тесту або аналізуйте за періодами
  2. Сегментуйте результати, щоб перевірити на розвороти
  3. Для великих змін використовуйте довгострокові метрики або контрольні групи (holdout)
  4. Перезапускайте тести з несподіваними результатами
  5. Ведіть чекліст пасток

Як можна запустити

Варіанти дизайну для тесту, а не обіцяний результат.

  1. Варіант AСталий розподіл

    Тримайте розподіл трафіку незмінним увесь тест, а нарощуйте його до початку вимірювання.

  2. Варіант BАналіз по періодах

    Якщо розподіл мусить змінитися, порівнюйте варіанти в межах кожного періоду, а не всі дні разом.

  3. Варіант CЧекліст пасток

    Перед оголошенням переможця пройдіть постійний список відомих пасток, зокрема короткостроковий проти довгострокового ефекту.

Хронологія

  1. 12009 вперше описано: Crook, Frasca, Kohavi and Longbotham, KDD 2009 (listed on Microsoft ExP site)
  2. 22026-11 статус перевірено: Працює

Датовані приклади

Датованого прикладу поки немає. Вважайте цю тактику гіпотезою.

Чи це ще працює?

Працюєстаном на 2026-11

Сторінка ExP перелічує статті; самі статті не отримано. джерело

Ризики

  • Перевірено лише назви статей і уривки
  • Легко пересегментувати й знайти хибні закономірності

Джерела

  1. exp-platform.com · Microsoft Experimentation Platform (ExP) site · без дати
    “it's easy to incorrectly identify the winning Treatment because of Simpson's paradox.”
    ○ сторінка блокує автоматичну перевірку; цитата як передана
  2. exp-platform.com · Microsoft Experimentation Platform (ExP) site · без дати
    “The difficulty is that short-term changes to metrics may not predict the long-term impact of a change.”
    ○ сторінка блокує автоматичну перевірку; цитата як передана

Історія змін

  • 2026-11-20 — harvest v0.1 (ops-ai)