Працює · 2026-11Заява постачальникаGrowth-процесиАналітика

Перевірка на розбіжність співвідношення вибірок (SRM)

Автоматично перевіряйте, чи фактичний розподіл користувачів між варіантами відповідає запланованому, і не довіряйте результатам, якщо ні.

Інші назви (англ.): SRM check

Твердження і докази

ТвердженняIf the test group has more crashes, this would result in more users in the test group

Statsig (illustration) · statsig.com · 2023-08-31 · цитата мовою оригіналу

Що показують цифри

Жодна опублікована цифра для цієї тактики ще не пройшла дослівну перевірку, тож графіка немає.

Чому це працює

Схема, не дані
Запланований розподілпроти фактичногоЗбігається: читайтерезультатиРозбіжність:зупиніться й зʼясуйтеУсуньте причину йперезапустіть
Запланований розподіл протифактичногоЗбігається:читайтерезультатиРозбіжність:зупиніться йзʼясуйтеУсуньте причину й перезапустіть

Неочікуваний розподіл сигналізує про помилку в призначенні, логуванні чи показі, яка спотворює результат. Платформи запускають тест хі-квадрат або послідовний тест і рано позначають проблеми.

Як запустити

  1. Задайте запланований розподіл
  2. Запустіть тест SRM на кількості показів
  3. Досліджуйте позначені тести за сегментами (браузер, регіон, SDK)
  4. Усуньте причину й перезапустіть
  5. Ніколи не випускайте зміни за тестом із непоясненим SRM

Як можна запустити

Варіанти дизайну для тесту, а не обіцяний результат.

  1. Варіант AАвтоматична перевірка платформи

    Покладіться на платформу тестування, яка постійно перевіряє розбіжність і позначає її на сторінці результатів.

  2. Варіант BРозбивка за сегментами

    Коли є позначка, розбийте кількості за браузером, регіоном і версією застосунку, щоб знайти, де губляться користувачі.

  3. Варіант CЖорстке правило запуску

    Пропишіть у процесі тестування, що результат із незʼясованою розбіжністю не можна випускати.

Хронологія

  1. 12023 Statsig (illustration) — Блог постачальника перелічує причини, що спотворюють розміри груп, як-от збої, фільтрація ботів і дубльовані дані
  2. 22026-11 статус перевірено: Працює

Датовані приклади

  1. 2023

    Statsig (illustration)

    Блог постачальника перелічує причини, що спотворюють розміри груп, як-от збої, фільтрація ботів і дубльовані дані

    “If the test group has more crashes, this would result in more users in the test group”
    ✓ цитату звірено дослівно зі сторінкою

    statsig.com · 2023-08-31

Цитата мовою оригіналу.

Чи це ще працює?

Працюєстаном на 2026-11

Вбудовано в основні платформи; Optimizely проводить послідовну перевірку SRM протягом усього тесту. джерело

Ризики

  • Перевірки позначають проблеми, але не виправляють їх
  • Хі-квадрат на величезних вибірках позначає крихітні нешкідливі розбіжності

Джерела

  1. docs.statsig.com · Statsig docs · без дати
    “the observed allocation of unique users between test groups differs from the expected allocation”
    ✓ цитату звірено дослівно зі сторінкою
  2. docs.optimizely.com · Optimizely docs · 2026-08-05
    “Optimizely's SSRM algorithm continuously checks traffic counts throughout an A/B experiment.”
    ✓ цитату звірено дослівно зі сторінкою
  3. statsig.com · Statsig blog · Liz Obermaier · 2023-08-31

Історія змін

  • 2026-11-20 — harvest v0.1 (ops-ai)