Please enable JavaScript.
Coggle requires JavaScript to display documents.
А/B тесты - Coggle Diagram
А/B тесты
Определение
- Первая группа (A) получает текущую версию продукта
- Вторая группа (B) получает изменённую версию продукта
- Пользователей случайным образом делят на две группы
- Сравниваются метрики и поведение обеих групп
-
-
-
-
Сравнить
Если интервал содержит 0, то версии неразличимы
Если интервал не содержит 0, то версии отличаются. Выбрать большую
-
-
Гипотезы
Нулевая гипотеза
Н0 – это проверяемое предположение, которое обычно формулируется как отсутствие различий, отсутствие влияние фактора, отсутствие эффекта, равенство нулю значений выборочных характеристик и т. п.
Альтернативная гипотеза
H1 – Действие [Х] позволит увеличить метрику [Y]
на величину [N], потому что [Z]
Ошибки
Первого рода
Отклонение нулевой гипотезы, хотя гипотеза верная
Максимальный шанс (вероятность) допустить ошибку 1-го рода обозначается α (альфа)
-
Второго рода
Принятие нулевой гипотезы, хотя верна альтернативная
-
-
t-критерий Стьюдента
Общее название для класса методов статистической проверки гипотез (статистических критериев), основанных на распределении Стьюдента
-