Скачать "10 вопросов про A/B-тесты | Часть 1 | Валерий Бабушкин | karpov.courses"

Обложка аудиозаписи

Подождите немного, мы готовим ссылки для удобного просмотра видео без рекламы и его скачивания.

Предыдущее видео: Пример работы с regexp Следующее видео: Макет дашборда

Макет дашборда

Макет дашборда

Канал: Институт бизнес аналитики

Пример работы с regexp

Пример работы с regexp

Канал: karpov.courses

Junior Data Scientist | Собеседование | karpov.courses

Junior Data Scientist | Собеседование | karpov.courses

Канал: karpov.courses

1.4 Терминал

1.4 Терминал

Канал: karpov.courses

Поведенческое интервью | Behavioral Interview | Выпуск 1 | Валерий Бабушкин | karpov.courses

Поведенческое интервью | Behavioral Interview | Выпуск 1 | Валерий Бабушкин | karpov.courses

Канал: karpov.courses

5 вариантов дашборда по продажам

5 вариантов дашборда по продажам

Канал: Институт бизнес аналитики

Анатолий Карпов

Аналитика

машинное обучение

data science

SQL

база данных

Python

pandas

визуализация

карьера

зарплата аналитика

курсы

karpov courses

курсы по программированию

курсы по аналитике

курсы по стастистике

ML

stepik

data engineer

roapmap

роадмап

инженер данных

пути развития

карьера инженера данных

курсы карпова

карпов

machine learning

карьера в IT

работа в IT

дата сайнс

школа data science

00:00:02

[музыка]

00:00:24

я начал проводить абы тесты нормальным

00:00:28

режиме когда устроился в Яндекс и в

00:00:31

советники мы запускали примерно

00:00:34

1-2б-теста в неделю и работал я там

00:00:37

почти четыре года плюс еще примерно мне

00:00:42

кажется

00:00:44

50-100b тестов а может быть и больше в

00:00:47

X5 плюс примерно 50 тестов в Фейсбуке

00:00:51

500 + 2 либо be там немного

00:00:56

10-20 мы сделали ну еще в ряде стартапов

00:00:59

там по мелочи немножко блокчейне мы

00:01:01

сейчас начали Пусть 550 чуть больше

00:01:04

полутысяч

00:01:05

[музыка]

00:01:08

нужно ввести критерий хорошести правда

00:01:12

ведь для бизнеса хорошая а/б-тест это

00:01:14

тот в котором ты говоришь что

00:01:15

эстетически значимая разница и она

00:01:17

положительная потому что этически

00:01:20

значимый негативная разница

00:01:21

отрицательная она не очень хороша

00:01:23

сложный вопрос были какие-то абы тесты

00:01:25

которые были сделаны плохо а некоторые

00:01:28

были особенно наверное в начале

00:01:30

советники какие-то можно было делать

00:01:31

лучше и какие-то мы сделали плохо или

00:01:34

бабе именно потому мы потом меняли

00:01:36

систему пили допиливали ее бы

00:01:37

тестирование Но я считаю может быть

00:01:39

около 10 может 15 может до 20 можно было

00:01:43

сделать лучше а если мы говорим про

00:01:45

результативность то на мой взгляд

00:01:47

хороший показатель является 10-15

00:01:49

процентов а б тестов которые приносят

00:01:52

статистически значимый положительный

00:01:54

результат это высокий процент

00:01:56

[музыка]

00:01:59

Ну классическая ошибка это особенно в

00:02:02

начале периодически подсматривать в

00:02:03

результаты то есть ну зачастую люди

00:02:06

все-таки которые понимают к чему это

00:02:08

ведет стараются решение не принимать но

00:02:10

как ни крути это их аффектит то есть

00:02:12

есть пикинг проблем суть в чем abts он

00:02:15

почти как квантовые какие-то события как

00:02:18

квантовая физика то есть нельзя смотреть

00:02:21

на него до тех пор пока отведенный срок

00:02:23

не произошел потому что можешь увидеть

00:02:25

то что не нужно и на основе этого

00:02:26

принять решение или эта информация Может

00:02:28

на тебя повлиять И даже если ты не

00:02:30

принимаешь решение Все равно что-то

00:02:32

увидели на тебя дальше влияет на

00:02:34

какие-то твои действия в целом поэтому

00:02:36

медицине двойной С любовью Слепое

00:02:38

плацебо тестирования какие-то иногда

00:02:40

проблемки были с тем что не до конца мы

00:02:43

перемешивали трафик в начале моей

00:02:45

карьеры и получается что AB тесты

00:02:48

наслаивались на тех же пользователей на

00:02:49

которых были другие a/b-тесты и

00:02:52

получалось что мы оценивали не эффект

00:02:53

пятого теста изолировано эффект 5

00:02:56

обтеста на пользователей которые

00:02:58

получили четвертый третий второй первый

00:03:00

то есть не совсем корректно но в целом

00:03:03

повезло жестких ошибок не допускать в

00:03:06

принципе уже была какая-то система AB

00:03:07

тестов когда начал заниматься в Яндексе

00:03:10

и дальше с этого я подхватил

00:03:13

[музыка]

00:03:17

Мне очень нравится пример с монеткой то

00:03:20

есть можем взять любого менеджера

00:03:21

практически любого и сказать вот монетка

00:03:26

мы можем бросить разочек получить Орел и

00:03:28

решку правильно

00:03:29

и мы допустим верим что Это честная

00:03:32

монетка согласен говорит согласен то

00:03:34

есть честная монетка если мы бросим ее

00:03:36

сто раз мы же понимаем что скорее всего

00:03:38

50 раз орлом ровно она не выпадет она

00:03:41

может выпасть 49 раз 50 один раз орлом

00:03:44

52 55 Ну и в принципе на таком базу

00:03:47

уровней люди понимают можно 100

00:03:49

сократить до 10 и действительно ее

00:03:51

побросать причем побросать 10 раз Потом

00:03:52

снова 10 раз Потом 10 раз цифра скорее

00:03:55

всего не совпадут Но дальше можно

00:03:57

сделать следующее предложение смотри

00:03:58

если монетка все сто раз подряд выпадет

00:04:01

орлом Ну что-то явно не так то есть это

00:04:03

в принципе вероятность этого события она

00:04:06

отличная от 0 очевидно что это может

00:04:08

произойти но настолько маловероятно что

00:04:09

мы считаем Это неправда и уже на этом

00:04:12

уровне человек понимает что-то мы

00:04:13

понимаем в диапазоне того что похоже на

00:04:16

правду вот эти 5149 52 48 и так далее а

00:04:20

что-то 100 или 0 но абсолютно не может и

00:04:23

уже дальше от этого можно говорить это

00:04:25

критические значения где мы считаем что

00:04:27

настолько маловероятно что это что-то

00:04:30

а здесь все нормально это еще в пределе

00:04:32

того что вы могли ожидать действительно

00:04:34

же понятный пример

00:04:42

Что такое обманывать Для начала нужно

00:04:44

определить да То есть можно например

00:04:47

попробовать воспользоваться какими-то

00:04:49

готовыми калькуляторами или они в

00:04:53

интернете есть и Просто попробовать

00:04:55

посчитать Как долго обтес должен бежать

00:04:57

если этот калькулятор говорит что он

00:04:59

должен бежать 21 день аналитик говорит

00:05:00

два дня естественно это просто Почему

00:05:03

так быстро или наоборот А если там 10

00:05:05

дней аналитик говорит 10 недель тоже

00:05:07

Почему так долго понятно что таких

00:05:11

случаев у нас симулятор в том числе и

00:05:13

создан Там же есть два модуля есть

00:05:15

модуль точнее даже не тоже два модуля

00:05:16

там есть два типа обучения попроще ибо

00:05:20

техничнее посложнее по техничнее нужно

00:05:22

писать реализовывать все вещи или многие

00:05:24

вещи самостоятельно попроще Чтобы

00:05:27

понимать как это работает Как из кубиков

00:05:28

собрать какие-то материалы что вообще на

00:05:30

одном языке говорить то есть это в

00:05:32

принципе то же самое что искал про

00:05:34

калькулятор просто все в одном месте

00:05:35

собраны Ну а дальше всегда должны как я

00:05:38

уже говорил быть какие-то защитные

00:05:39

механизмы

00:05:40

валидация вот тестов проведения а

00:05:43

тестирования какие-то проксиметрики и

00:05:45

так далее ну и в конце концов мы обтесты

00:05:48

проводим не просто так чтобы метрики

00:05:51

менялись правильно росли соответственно

00:05:53

в каком-то большом количестве же можно

00:05:55

сказать совершенно тестов Ты везде

00:05:57

сказал что у нас процент к чему-то мы

00:06:00

вообще этого не видим по итогу как-то

00:06:01

странно 10 процентов мы должны были

00:06:04

заметить

00:06:05

Но это сложно

00:06:12

Обязательно должна быть Метрика интереса

00:06:14

который мы хотим оценить понятно что

00:06:17

если ее нет понятно что у нас может

00:06:20

Метрика интереса быть одна мы не можем

00:06:22

оценить У нас есть прокси метр в любом

00:06:23

случае это Метрика наша целевая метка

00:06:25

эксперимента дальше должен быть размер

00:06:27

выборки заранее известный тот эффект

00:06:30

который мы можем поймать заранее

00:06:32

известный от этого уже выходит Как долго

00:06:35

мы этот обтес держим то есть эти без

00:06:37

этих вещей невозможно если у нас есть

00:06:39

трафик мы сумели его разбить мы знаем

00:06:41

какой эффект мы ловим мы знаем На что мы

00:06:44

его ловим этого в принципе для начала

00:06:45

достаточно дальше в принципе есть такая

00:06:47

вещь как вспомогательные метрики и

00:06:50

метрики по которым мы смотрим деградацию

00:06:52

то есть вспомогательные метрики мы

00:06:54

говорим вот если это изменится скорее

00:06:55

всего за собой потянет еще это такой

00:06:58

Саньки чек А вот это допустим у нас не

00:07:01

должно просесть какая-то Метрика дальше

00:07:04

что еще можно накрутить хорошей

00:07:05

практикой является накручивать обратный

00:07:07

эксперимент то есть что это значит мы

00:07:09

провели аб-тест Мы увидели что после

00:07:11

замены красной кнопки на кирпичной у нас

00:07:14

увеличилось на пять процентов конверсии

00:07:16

мы раскатили на всех пользователей мы

00:07:19

подождали какое-то время потому что еще

00:07:21

такая вещь как эффект новизны то есть

00:07:24

люди могут кликать по кнопке Не потому

00:07:26

что она стала лучше потому что что-то

00:07:28

новенькое раньше не замечал а потом

00:07:30

приедается мы раскатываем на всех Мы

00:07:32

ждем какое-то время две недели месяц

00:07:35

потом мы проводим Опять обтес где у нас

00:07:38

уже дефолтный вариант это

00:07:40

кнопка кирпичного цвета а новый вариант

00:07:44

то как было раньше то есть мы чего

00:07:45

ожидаем ожидаем что вот этот обратный

00:07:47

эксперимент нам покажет негативный

00:07:49

результат правильно Если прямой дал

00:07:50

позитивный то обратно должен быть

00:07:52

негативный тоже хорошая проверка на

00:07:53

видишь это все дополнительные накрутки

00:07:55

на BTS и тогда это очень полезная

00:07:58

практика то есть здесь точно показал

00:07:59

причинно-следственную связь это дает

00:08:02

плюс

00:08:05

Но это все уже допало дополнительно

00:08:07

дополнительно различные провок

00:08:09

симметрики иерархии метрик и так далее

00:08:11

Все уже сложнее сложнее сложнее

00:08:16

никак всегда будет некая предвзятость Ну

00:08:20

то есть стоит максимально себя от этого

00:08:22

огороде то есть в идеале Одни люди

00:08:23

запускают другие люди оценивают неплохо

00:08:26

это работает в ряде контроль где я

00:08:29

работал у нас так и было валидация

00:08:30

отдельно а бы тесты отдельно а Люди для

00:08:32

которых тесты делают еще отдельно То

00:08:35

есть в принципе заинтересованы те люди

00:08:37

которые запускают этот тест читают Его

00:08:40

другие люди валидируют третьи люди Ну а

00:08:45

если так не получается то хотя бы

00:08:46

фиксировать на бумажке весь дизайн

00:08:48

эксперименты весь дизайн бтеста и его

00:08:52

придерживаться

00:08:53

и фиксировать придерживались мы его или

00:08:56

нет

00:09:00

[музыка]

00:09:01

на самом деле подавляющее большинство

00:09:03

вообще не понимает как делать обтесты то

00:09:05

есть ошибки начинаются везде часто люди

00:09:09

просто

00:09:10

берутся за какое-то распределение за

00:09:13

какое-то статистический критерий и не

00:09:15

понимают как он работает ну то есть

00:09:17

условно говоря что такое подавляющее

00:09:19

большинство статистических критериев мы

00:09:22

накидываем какую-то функцию на какое-то

00:09:24

распределение получаем значение этой

00:09:26

функции статистику получаем

00:09:28

распределение этой статистики И говорим

00:09:30

что это какие-то критические значения по

00:09:32

факту если у нас достаточно много данных

00:09:34

можем одну функцию применять практически

00:09:37

ко всему просто получать распределение

00:09:39

статистик и использовать ее где угодно а

00:09:42

люди часто вбивают себе в голову что

00:09:44

тест мы не можем применять здесь и здесь

00:09:46

Но если ты понимаешь зачем ты принимаешь

00:09:49

эти тесты как ты используешь определение

00:09:50

статистики все можно сделать то часто у

00:09:53

людей идут проблемы с тем как правильно

00:09:56

сплетит трафик но в целом мне кажется

00:09:58

что основную проблему которую видел что

00:10:00

они не понимают они не видят леса за

00:10:02

деревьями то есть они не понимают для

00:10:05

чего это делается как они выучивают

00:10:07

набор неких последователей неких

00:10:10

действий как каргокульт сейчас построим

00:10:12

из бамбука аэропорт прилетят самолеты и

00:10:16

привезут ништяки

00:10:22

в идеале в идеале работать там где уже

00:10:26

умеют это делать работать с крутыми

00:10:28

чуваками первый момент

00:10:30

очевидно что работает с крутыми чуваками

00:10:32

удается далеко не всем

00:10:35

и не всегда получается второй вариант

00:10:38

нужно учиться там где этому учат

00:10:41

конкретные бьют по пальцам по бы тестам

00:10:43

хороших курсов практически нет очень

00:10:46

хороший модуль в хард-мэль Ну и

00:10:48

собственно симулятор AB тестов он для

00:10:51

того частично и сделан тоже чтобы

00:10:52

перенять какую-то практику плюс всегда у

00:10:55

его создателей Можно спросить совета но

00:10:57

я в целом не знаю как можно учиться

00:10:58

кроме как обезьяны то есть старший

00:11:01

обезьяна тебе показывает Ты смотришь

00:11:03

потом пытаешься повторить и тебя

00:11:04

поправляют

00:11:09

Да нет ну можно набивать руку Ну

00:11:11

во-первых уже третий раз рекламирует

00:11:13

симулятор понятно что было невозможно

00:11:15

вот мы делали симулятор но по факту Мы

00:11:17

же можем симулировать любые

00:11:18

распределения с любыми параметрами и При

00:11:21

желании тут можно поиграться что один

00:11:23

знает параметр этих распределений

00:11:24

генерит из них выборки а другой просто

00:11:26

делает тесты и пытается поймать эти

00:11:28

эффекты То есть это это как раз

00:11:30

очень-очень даже реально плоды того что

00:11:32

можно написать программку в которой ты

00:11:34

не знаешь но потом логируешь реальные

00:11:36

значения распределение и делаешь

00:11:38

какие-то Вот здесь все очень можно все

00:11:42

очень довольно просто сделать

00:11:43

синтетические и ловить

00:11:48

Я не видел ни одной нормальной книги по

00:11:52

обтестам нарцисс баги Ян и некоторые мои

00:11:54

друзья рекомендовали начальную книгу

00:11:56

Рона кохави по транспорте что-то там

00:11:59

онлайн эксперимент но у меня есть я

00:12:02

как-то давал ссылки в том же Карпов

00:12:04

курса отвечайте там примерно 50 или 60

00:12:07

статей по об статьи статьи статьи статьи

00:12:10

netflix Microsoft Facebook LinkedIn

00:12:15

uber

00:12:16

дордеш Яндекс у них хорошие статьи можно

00:12:21

посчитать что мы Саша сахновым писали на

00:12:25

хаврели что Саша отдельно писал или

00:12:27

выступления какие-то даже мой

00:12:29

телеграм-канал можно почитать и там

00:12:31

разбирал один наброс на кьюпет от

00:12:35

человека на хаббре у нас там вышел

00:12:36

хороший разбор 70 комментариев

00:12:39

линкина гитхаб примерами кода

00:12:47

[музыка]

Описание:

Симулятор A/B-тестов: https://karpov.courses/simulator-ab Сколько A/B-тестов за свою карьеру провёл Валерий Бабушкин? Что обязательно должно быть в каждом A/B-тесте? Можно ли практиковаться в проведении экспериментов дома, а не на работе? Мы задали эти (и не только) вопросы Валерию Бабушкину, одному из создателей Симулятора A/B-тестов! Учитесь Data Science с нами: https://karpov.courses/

Готовим варианты загрузки

Популярные

HD видео

Только звук

Все форматы

* — Если видео проигрывается в новой вкладке, перейдите в неё, а затем кликните по видео правой кнопкой мыши и выберите пункт "Сохранить видео как..."

** — Ссылка предназначенная для онлайн воспроизведения в специализированных плеерах

Вопросы о скачивании видео

Как можно скачать видео "10 вопросов про A/B-тесты | Часть 1 | Валерий Бабушкин | karpov.courses"?

Сайт http://unidownloader.com/ — лучший способ скачать видео или отдельно аудиодорожку, если хочется обойтись без установки программ и расширений. Расширение UDL Helper — удобная кнопка, которая органично встраивается на сайты YouTube, Instagram и OK.ru для быстрого скачивания контента.
Программа UDL Client (для Windows) — самое мощное решение, поддерживающее более 900 сайтов, социальных сетей и видеохостингов, а также любое качество видео, которое доступно в источнике.
UDL Lite — представляет собой удобный доступ к сайту с мобильного устройства. С его помощью вы можете легко скачивать видео прямо на смартфон.

Какой формат видео "10 вопросов про A/B-тесты | Часть 1 | Валерий Бабушкин | karpov.courses" выбрать?

Наилучшее качество имеют форматы FullHD (1080p), 2K (1440p), 4K (2160p) и 8K (4320p). Чем больше разрешение вашего экрана, тем выше должно быть качество видео. Однако следует учесть и другие факторы: скорость скачивания, количество свободного места, а также производительность устройства при воспроизведении.

Почему компьютер зависает при загрузке видео "10 вопросов про A/B-тесты | Часть 1 | Валерий Бабушкин | karpov.courses"?

Полностью зависать браузер/компьютер не должен! Если это произошло, просьба сообщить об этом, указав ссылку на видео. Иногда видео нельзя скачать напрямую в подходящем формате, поэтому мы добавили возможность конвертации файла в нужный формат. В отдельных случаях этот процесс может активно использовать ресурсы компьютера.

Как скачать видео "10 вопросов про A/B-тесты | Часть 1 | Валерий Бабушкин | karpov.courses" на телефон?

Вы можете скачать видео на свой смартфон с помощью сайта или pwa-приложения UDL Lite. Также есть возможность отправить ссылку на скачивание через QR-код с помощью расширения UDL Helper.

Как скачать аудиодорожку (музыку) в MP3 "10 вопросов про A/B-тесты | Часть 1 | Валерий Бабушкин | karpov.courses"?

Самый удобный способ — воспользоваться программой UDL Client, которая поддерживает конвертацию видео в формат MP3. В некоторых случаях MP3 можно скачать и через расширение UDL Helper.

Как сохранить кадр из видео "10 вопросов про A/B-тесты | Часть 1 | Валерий Бабушкин | karpov.courses"?

Эта функция доступна в расширении UDL Helper. Убедитесь, что в настройках отмечен пункт «Отображать кнопку сохранения скриншота из видео». В правом нижнем углу плеера левее иконки «Настройки» должна появиться иконка камеры, по нажатию на которую текущий кадр из видео будет сохранён на ваш компьютер в формате JPEG.

Сколько это всё стоит?

Нисколько. Наши сервисы абсолютно бесплатны для всех пользователей. Здесь нет PRO подписок, нет ограничений на количество или максимальную длину скачиваемого видео.