Твердження і докази
Не додавайте прирости всіх тестів-переможців; сума завищує справжній ефект, тож вимірюйте сукупний вплив за допомогою контрольної групи (holdout) або скоригованого методу.
Датованого прикладу поки немає. Вважайте цю тактику гіпотезою.
Заява постачальника
Постачальник інструмента повідомляє цифри про власних клієнтів чи продукт. Корисно, але не незалежно.
Працює · 2026-11 Datadog описує власний продукт; стосується будь-якої програми експериментів.
Що показують цифри
Жодна опублікована цифра для цієї тактики ще не пройшла дослівну перевірку, тож графіка немає.
Чому це працює
Тести, що пройшли поріг значущості, — це відібрана вибірка, тож їхні оцінки зміщені вгору. Контрольну групу не відбирають за значущістю, і вона уникає цього зміщення.
Як запустити
- Складіть список запущених переможців
- Не підсумовуйте наївно їхні виміряні прирости
- Якщо дозволяє трафік, використовуйте контрольну групу для прямої оцінки
- Інакше застосуйте скоригований метод оцінки сукупного впливу й зазначте його припущення
- Наводьте діапазони, а не одну суму
Як можна запустити
Варіанти дизайну для тесту, а не обіцяний результат.
- Варіант AОцінка через holdout
Тримайте групу поза всіма запусками й вимірюйте сукупний ефект напряму, якщо дозволяє трафік.
- Варіант BСкоригований метод
Застосуйте статистичну поправку до суми приростів і вкажіть її припущення поруч із числом.
- Варіант CЗвіт діапазоном
Показуйте сукупний вплив у планувальних документах як діапазон, а не одну складену цифру.
Датовані приклади
Датованого прикладу поки немає. Вважайте цю тактику гіпотезою.
Чи це ще працює?
Datadog описує власний продукт; стосується будь-якої програми експериментів. джерело
Ризики
- Контрольні групи забирають трафік і час
- Скориговані методи спираються на припущення
Джерела
- datadoghq.com
“That naive sum almost always overstates the truth because of a statistical artifact called the winner’s curse.”
✓ цитату звірено дослівно зі сторінкою - datadoghq.com
“A holdout avoids the winner’s curse because its estimate is not selected for statistical significance.”
✓ цитату звірено дослівно зі сторінкою
Історія змін
- 2026-11-20 — harvest v0.1 (ops-ai)