Скачать "Что такое Data Science в 2023 | Какие есть профессии"

Обложка аудиозаписи

Подождите немного, мы готовим ссылки для удобного просмотра видео без рекламы и его скачивания.

Предыдущее видео: Junior ML-инженер | Выпуск 1 | Собеседование | karpov.courses Следующее видео: Docker. Поднимаем PostgreSQL, ClickHouse и Superset | karpov.courses

0:00

Вступление

0:43

Экскурс в историю Data Science

2:16

Что такое Data Science на примерах?

4:27

С кем работает аналитик данных

5:39

Кто такой архитектор данных?

6:33

Кто такой инженер данных?

7:40

Кто такой аналитик данных?

8:09

Пример работы аналитика на Python

9:11

Кто такой Data Scientist?

9:58

Кто такой инженер машинного обучения?

10:59

Какие еще есть профессии в Data Science

11:49

Чего ожидать в сфере данных в 2023 году?

13:16

Заключение

Docker. Поднимаем PostgreSQL, ClickHouse и Superset | karpov.courses

Docker. Поднимаем PostgreSQL, ClickHouse и Superset | karpov.courses

Канал: karpov.courses

Junior ML-инженер | Выпуск 1 | Собеседование | karpov.courses

Junior ML-инженер | Выпуск 1 | Собеседование | karpov.courses

Канал: karpov.courses

Что такое Data Science в 2023

профессии в data science

аналитик данных

инженер данных

data science

data scientist

machine learning

инженер машинного обучения

история Data Science

аналитика на Python

Николай Валиотти

архитектор данных

наука о данных

дата сайнс

что такое data science

профессии в it

машинное обучение

00:00:03

занимаюсь аналитикой данных когда меня

00:00:05

спрашивают что такое Data Science я

00:00:07

впадаю в настоящий ступор рассказать а

00:00:10

Data Sands паре предложение можно и

00:00:12

Google никто не отменял но точность

00:00:14

будет невысокая Дело в том что наука о

00:00:16

данных охватывает в себе множество

00:00:18

разных дисциплин А мы живем век

00:00:20

постоянно меняющихся технологий и

00:00:22

меняющейся окружающей среды например

00:00:24

сейчас в индустрии данных появились

00:00:26

такие профессии которые 10 лет назад

00:00:28

сложно было даже представить поэтому я

00:00:30

записал этот ролик в нем мы узнаем если

00:00:32

в профессии место датантисту и какое

00:00:34

погнали

00:00:38

[музыка]

00:00:43

звучит понятно и убедительно Но что же

00:00:46

это за профессия Давайте постараемся в

00:00:49

них разобраться и начнем с небольшого

00:00:50

экскурса в историю

00:00:52

1970 появляются нейронные сети и

00:00:55

алгоритмы обратного распространения

00:00:57

ошибки

00:00:58

1986 три открыты развит метод обратного

00:01:01

распространения ошибки

00:01:02

1989 в обиход входит термин datamining

00:01:06

методы обнаружения в данных ранений

00:01:07

известных но практически полезных знаний

00:01:09

Мне кажется что когда я учился в

00:01:12

университете мы так и называли все что

00:01:13

было связано с интеллектуальным анализом

00:01:15

данных 2007 Джеффри хинтоном в

00:01:18

университете торрента создана алгоритмы

00:01:20

глубокого обучения многослойных

00:01:21

нейронных сетей

00:01:23

2010-2012 появление облачных колоночных

00:01:26

баз данных

00:01:28

инструмента лукер дают начало Modern

00:01:30

datastek современному стеку по работе с

00:01:32

данными

00:01:33

в 2016

00:01:36

и расцвет модов в 2019 Я создаю компанию

00:01:41

валюте analytics

00:01:43

Да я добавил этот пункт не просто так

00:01:45

влетекс мы помогаем цифровым компаниям и

00:01:48

стартапом строить архитектуру данных

00:01:51

хранилища данных процесса тот

00:01:53

инжиниринга настраивайте аналитику на

00:01:55

экране ты можешь увидеть примеры таких

00:01:56

компаний клиентов с которыми Мы работаем

00:01:58

возможно Некоторые из них тебе даже

00:02:00

знакомы и я собираюсь рассказать тебе

00:02:03

про аналитику данных на примере наших

00:02:05

кейсов которых на самом деле накопился

00:02:06

уже немало Далее в 2019-2020 наступает

00:02:10

смерть термина Big Data она 2022 и 23

00:02:14

прогнозировали смерть термина дэвисанс

00:02:16

Итак 2023 год что подразумеваем когда

00:02:19

говорим Дайте Санс и в чём различие с

00:02:22

обычные аналитикой данных тут Наверное

00:02:24

нужны какие-то примеры и обычные

00:02:26

рассказываю свой пример про компанию

00:02:28

клиентов которые я начал работать в 2009

00:02:30

году на тот момент для меня это было

00:02:32

самое настоящий макией представьте себе

00:02:34

гипермаркет Где вы покупаете продукты и

00:02:37

в каждом гипермаркете есть номер клиента

00:02:38

это когда вы на кассе считываете

00:02:41

клиентскую карточку теперь мы знаем

00:02:43

покупки и дальше я собираю такую большую

00:02:46

матрицу я каждая строчка таблички это

00:02:48

конкретный клиент а каждый столбец это

00:02:50

его покупки в рамках каждой категории

00:02:52

товаров затем я использую так называемый

00:02:54

кластерный анализ это метод обучения без

00:02:56

учителя то есть метод пытается сам найти

00:02:58

закономерности в данных без так

00:03:01

называемой обучающей выборки и на

00:03:03

примере Лента У нас получились очень

00:03:05

интересные результаты мы получили

00:03:07

различные клубы в частности клуб

00:03:09

любителей алкоголя То есть это люди

00:03:11

которые реально любили выпить сильнее

00:03:13

среднего посетителя мы затем дали им

00:03:15

купоны на их любимый алкоголь поскольку

00:03:17

Это был 2009 год еще не было мобильных

00:03:20

телефонов и Пушной дефекации поэтому

00:03:22

отправляли почты им по адресу получили

00:03:25

феноменальный отклик

00:03:26

и есть очень хрестоматийная история про

00:03:30

гипермаркет World очень старые древняя и

00:03:33

звучит примерно так что ребята Из волн

00:03:36

нашли взаимосвязь между продажами

00:03:37

подгузников и пива они очень долго

00:03:40

удивлялись что что вообще такое

00:03:42

происходит Почему так Почему и пиво и

00:03:44

подгузники продаются совместно в большом

00:03:46

объёме и как гласит Легенда Согласно

00:03:49

этой информации выгодно поставить

00:03:50

подгузники и пиво совсем разные углы

00:03:53

гипермаркета чтобы молодой отец собрал

00:03:55

всё на своём пути кстати интересный

00:03:57

вопрос знаете ли вы какой самый

00:03:59

популярный товар в продаже Для любой

00:04:01

сети гипермаркетов Ну почти любой

00:04:03

Напишите в комментариях что думаете Это

00:04:06

тоже чем же полезно аналитика данных

00:04:07

аналитика данных позволяет

00:04:09

трансформировать данные в наглядной

00:04:11

визуализации и отчеты на основе которых

00:04:13

можно принимать решение и получить те

00:04:15

самые инсайты которые станут

00:04:16

конкурентами преимуществами для бизнеса

00:04:18

то есть вроде бы без вас статистики И

00:04:20

сложных знаний Хотя например зачастую

00:04:22

аналитик данных должен уметь проводить

00:04:24

тест а там никуда без статистической

00:04:26

значимости

00:04:27

аналитики зачастую работают в связке с

00:04:30

архитекторами данных и инженерами данных

00:04:32

приведу такую аналогию для того чтобы

00:04:34

построить дом вам в первую очередь

00:04:36

понадобится архитекторы и проектировщики

00:04:38

чтобы составить генплан здания решить

00:04:40

его фасадное оформление и внутреннее

00:04:42

функциональное зонирование далее вы

00:04:45

Обратитесь с инженером и строителям

00:04:47

которые смогут это здание построить и

00:04:49

провести все необходимые коммуникации

00:04:50

чтобы в здании можно было жить или

00:04:52

работать после этого вы можете

00:04:54

выставлять свой дом или квартиру в

00:04:57

аренду или на продажу для этого ведь

00:04:59

ваше здание и строили Аналогично

00:05:01

происходит с данными чтобы

00:05:02

воспользоваться ценной информацией

00:05:04

которую они содержат Вам необходимо

00:05:06

архитектор данных который состоит план

00:05:08

всей будущей системы в рамках которой

00:05:10

ваши данные будут собираться

00:05:11

трансформироваться и хранится затем с

00:05:13

помощью инженера данных вы эту систему

00:05:15

достроить сможете поддерживать в рабочем

00:05:17

состоянии только после возведения всей

00:05:19

структуры вам потребуется аналитики

00:05:22

данных специалисты по машинному обучению

00:05:23

чтобы разобраться что за секретики

00:05:25

хранят внутри ваши данные а как вы

00:05:28

можете на основе с информацией которая у

00:05:30

вас хранится улучшить продуктовые

00:05:32

показатели уменьшить уровень

00:05:34

неудовлетворённости клиентов или

00:05:36

повысить продажи теперь обо всех

00:05:38

специалистах по порядку начнём с

00:05:40

архитектора данных который отвечает за

00:05:42

планирование архитектуры системы правил

00:05:44

политик стандартов и моделей сбора

00:05:45

использования и хранения информации

00:05:47

необходим для проектов с большими

00:05:49

данными обеспечивает безопасность

00:05:51

хранения данных он работает

00:05:54

sqlike базами данных новую squawei

00:05:57

базами данных с парком хайпом отвечает

00:05:59

за процессы моделирования и процессы и

00:06:02

теле Давайте теперь посмотрим на

00:06:04

практике чем же занимается архитектор

00:06:05

данных в портфолио нашей команды

00:06:08

выливать аналитикс есть кейс для эйфокус

00:06:11

диджиками ребята которые работают на

00:06:14

рынке Филиппин и выпускает онлайн курсы

00:06:16

для IT специалистов мы продумали

00:06:18

построили для них сложную архитектуру

00:06:19

которая включала в себя скрипты напайтон

00:06:22

сервер

00:06:24

Flow Google и в качестве табло Таким

00:06:28

образом у ребят Появилась возможность

00:06:30

черпать инсайты из данных но ни один

00:06:33

архитектор данных никогда не справится в

00:06:35

одиночку с процессами построения

00:06:37

pipeline данных и на помощь к нему

00:06:40

приходит совершенно другой герой инженер

00:06:42

данных Теперь подробнее о нем собирает и

00:06:45

обрабатывает данные из разных источников

00:06:46

и взаимодействий с хапи поддерживает и

00:06:49

обновляет хранилище данных и пайплайны

00:06:51

методы отслеживания клиентов на пути к

00:06:53

покупке владеет серверными технологиями

00:06:55

Ява Скала сиквел сиквел пайтон и имеет

00:06:59

продвинутые навыки работы с языками

00:07:01

программирования для обработки больших

00:07:03

данных понимает как работают различные

00:07:05

фреймворки по работе с идеей

00:07:08

lt-процессами такие инструменты как

00:07:10

Луиджи апатия Flow Duster dbt и другие

00:07:14

примеры фокус чтобы показать Чем

00:07:17

занимались инженеры данных на примере

00:07:19

этого проекта так как все данные

00:07:21

обрабатывались сохранились Google

00:07:23

bequery с помощью скриптов на Python

00:07:24

инженеры внедрили airflowstek проекта

00:07:27

слово основанный на виртуальной машине

00:07:29

управляет рабочими процессами затем

00:07:31

необходимые данные поступают в табло где

00:07:33

имя уже занимается аналитик данных что ж

00:07:36

Надеюсь теперь про Архитекторов данных и

00:07:39

дата инженеров стал понятнее Давайте

00:07:41

теперь разберемся Кто такой аналитик

00:07:42

данных и на чем работает аналитик данных

00:07:45

анализирует данные и составляет отчеты

00:07:48

Ну да без этого совершенно никуда знает

00:07:50

математику и математическую статистику

00:07:52

владеет методами предварительной

00:07:54

обработки данных и работает в различных

00:07:56

био-инструментах типа продаж табло и

00:07:58

другие проще говоря аналитик это тот кто

00:08:01

переводит цифры на человеческий язык

00:08:03

понятный для бизнеса имеет навыки

00:08:05

программирования на Python R пользуется

00:08:07

Excel пишет запрос приведу конкретный

00:08:11

пример как аналитики работают спайтом у

00:08:14

нас появилась такая задача Мы захотели

00:08:17

собрать комьюнити любителей данных на

00:08:20

Кипре и задача была собственно найти

00:08:23

всех людей кто имеет отношение к

00:08:25

аналитике

00:08:26

шаг 1 изучаем все чаты Кипра далее

00:08:29

собираем информацию об участниках

00:08:31

часиков получилось 39 тысяч

00:08:33

пользователей потом ищем целевую

00:08:36

аудиторию с помощью регулярных выражений

00:08:38

отбираем только тех участников у которых

00:08:40

в поле о себе это биография присутствует

00:08:43

ключевые слова

00:08:44

аналитик данных данные искусственного

00:08:46

интеллект и так далее В результате

00:08:49

дополнительное ручной обработки получили

00:08:51

155 пользователей мы рассылаем сообщение

00:08:54

с помощью скрипта написано

00:08:56

затем дополнительно рассылаем сообщение

00:08:59

еще 156 пользователям с помощью иного

00:09:02

метода сбора в конечном итоге получаем

00:09:05

107 первых участников сообщества

00:09:07

присоединяйся к нам Если хочешь быть в

00:09:09

курсе дата повестки Кипра Итак мы

00:09:12

подошли к самому интересному Кто же

00:09:13

такой дейта-сантист смерть которого

00:09:15

пророчили еще несколько лет назад

00:09:16

Действительно ли она состоялась или

00:09:19

все-таки нет Давайте разбираться если

00:09:22

обобщить все навыки опубликованные

00:09:23

вакансиях то получим что это специалист

00:09:25

который проводит исследования в выборках

00:09:28

данных ставят эксперименты изучает

00:09:30

тренды закономерности и тестируют

00:09:32

гипотезы строят прогнозы разбивает

00:09:35

информацию на сегменты и определяет

00:09:37

связи между объектами в этих группах

00:09:39

оценивает AB тесты строит модели

00:09:41

алгоритмы для моделирования задач

00:09:42

владеет аппаратом статистического

00:09:44

анализа и теории вероятности короче

00:09:46

делает все на свете а также владеет

00:09:49

продвинутом уровне знает и понимает

00:09:52

модели машинного обучения может

00:09:54

построить модель классификации

00:09:56

электролизации для данных компаний на

00:09:59

десерт познакомился с еще одной

00:10:01

профессией мира данных инженер-машинного

00:10:03

обучения владеет методами

00:10:05

математического анализа линейной алгебры

00:10:07

вероятности прикладной статистики

00:10:09

дисперсионного анализа используют

00:10:12

искусственный интеллект целик бизнеса

00:10:13

проектируют разрабатывает и тестирует

00:10:15

ml-системы создает и обучает нейросети

00:10:18

алгоритмы которые позволяют установить

00:10:20

скрытые закономерности в данных сферы

00:10:22

применения от управления потоками

00:10:24

транспорта и пешеходов до создания

00:10:26

моделей поведения пользователей

00:10:27

витринных интернет-магазинов знать

00:10:30

статистику и математику на высоком

00:10:31

уровне знает основные методы машинного

00:10:34

обучения применяют их на практике

00:10:35

владеет явой поэтому Скала с плюсом

00:10:39

эльфреймворками типа тензор

00:10:41

пользуется библиотеками

00:10:43

opency благодаря инженерам машинному

00:10:46

обучению нашей с вами жизнь становится

00:10:48

гораздо проще и легче например прямо

00:10:51

сейчас запрос поисковую строку браузера

00:10:54

вы получите результат и под капотом

00:10:57

будут модели машинного обучения на этом

00:10:59

Спектр профессии не заканчивается

00:11:01

Существует еще инженер аналитик

00:11:05

администратор баз данных

00:11:07

менеджер проектов в области данных если

00:11:09

Вам интересен разбор какой-то из этих

00:11:11

профессий пишите обязательно в

00:11:12

комментариях как Вы уже поняли В связи с

00:11:15

тем что рынок АйТи бесконечно

00:11:17

развивается появляется огромное

00:11:19

количество профессий в области данных

00:11:20

вот буквально Некоторые из них которые

00:11:22

станут супер востребованным уже в

00:11:24

следующем году также однозначно можно

00:11:26

заявить что машин Лен завоюет все новое

00:11:29

пространство и индустрии в частности мы

00:11:31

увидим рост потребности в таких

00:11:32

специалистах как исследователи

00:11:34

разработчик машинного обучения ML Ops он

00:11:37

помогает бизнесу развивать внедрять

00:11:39

качественные модели на 80 процентов

00:11:41

быстрее Fight специалист по модели

00:11:43

машинного обучения он донастраивает уже

00:11:46

готовый генеративные модели на основе

00:11:47

нового набора данных подведем итоги что

00:11:50

мы можем ожидать от индустрии данных

00:11:52

2023 году первое это конечно то что

00:11:55

расходы организации на работу с данными

00:11:58

скорее всего только увеличится из-за

00:12:00

перехода на Облачное хранение данных

00:12:02

подбор решения наиболее подходящего под

00:12:04

бюджет будет занимать больше времени

00:12:05

появляется феном исправление затратами

00:12:08

на облачные технологии модель gpt

00:12:11

которая появилась в ноябре 2022 года

00:12:13

станет повседневным рабочим инструментом

00:12:15

всех специалистов в области данных с

00:12:18

помощью мы можем сформировать запрос для

00:12:20

искусственного интеллекта обычным

00:12:21

предложением получить готовый результат

00:12:23

при помощи charge 5 можно запросить

00:12:26

данные продажи за последние полгода в

00:12:28

разбивке по дням и регионам компании

00:12:30

станут держать весь объем собственных

00:12:32

данных в дешевом долгосрочном хранилище

00:12:35

а оперативные данные которые необходимы

00:12:37

для анализа в краткосрочном но дорогому

00:12:40

аналитическом хранилище томп Инжиниринг

00:12:42

концепция в обработки естественного

00:12:44

языка благодаря успеху и популярности

00:12:46

языковых моделей gpt 2 3 4 станет

00:12:49

актуальной методикой работы с моделями

00:12:51

как для генерации текста Так и для

00:12:53

изображений

00:12:55

компьютер Vision направление

00:12:57

искусственного интеллекта который

00:12:59

используется в медицине промышленности

00:13:00

получится расцвет и появится в Риты 2023

00:13:04

году компьютерное зрение позволит

00:13:06

определять любимые цвета центр в одежде

00:13:08

определять В какое время суток наиболее

00:13:10

частым посещает магазин и всячески

00:13:12

улучшать взаимодействие ретейлера со

00:13:14

своими покупателями на этом У меня все

00:13:16

резюмируя становится совершенно

00:13:18

непонятно кто такой Data sentist Если вы

00:13:22

задумываетесь о работе в индустрии

00:13:24

данных Рассмотрите различные

00:13:27

специализации выберите то что подходит

00:13:28

именно вам а через некоторое время мы с

00:13:31

вами сможем посмотреть насколько наши

00:13:32

прогнозы стали реалиями Пишите в

00:13:35

комментариях ваши тренды предсказания по

00:13:38

специальности

00:13:39

2023 году А если тебе понравилось это

00:13:42

видео обязательно подписывайся на канал

00:13:44

и Ставь лайк С вами был Николай пока

Описание:

Всем привет! Меня зовут Николай Валиотти. В этом ролике мы постараемся понять что такое Data Science в 2023, какие есть профессии и в чем отличия Data Science от аналитики данных. Я занимаюсь бизнес-аналитикой и анализом данных с 2009 года. В начале работал в крупных компаниях, таких как Лента, Yota, Юлмарт, Балтика и Airpush, а сейчас я владелец консалтинговой компании Valiotti Analytics — https://valiotti.com/ Ссылки: Telegram-канал Николая Валиотти об аналитике данных — https://t.me/leftjoin Наши кейсы — https://valiotti.com/cases/ Комьюнити Local Data Experts на Кипре — http://cyprusdata.org/ 0:00 - Вступление 0:43 - Экскурс в историю Data Science 2:16 - Что такое Data Science на примерах? 4:27 - С кем работает аналитик данных 5:39 - Кто такой архитектор данных? 6:33 - Кто такой инженер данных? 7:40 - Кто такой аналитик данных? 8:09 - Пример работы аналитика на Python 9:11 - Кто такой Data Scientist? 9:58 - Кто такой инженер машинного обучения? 10:59 - Какие еще есть профессии в Data Science 11:49 - Чего ожидать в сфере данных в 2023 году? 13:16 - Заключение

Готовим варианты загрузки

Популярные

HD видео

Только звук

Все форматы

* — Если видео проигрывается в новой вкладке, перейдите в неё, а затем кликните по видео правой кнопкой мыши и выберите пункт "Сохранить видео как..."

** — Ссылка предназначенная для онлайн воспроизведения в специализированных плеерах

Вопросы о скачивании видео

Как можно скачать видео "Что такое Data Science в 2023 | Какие есть профессии"?

Сайт http://unidownloader.com/ — лучший способ скачать видео или отдельно аудиодорожку, если хочется обойтись без установки программ и расширений. Расширение UDL Helper — удобная кнопка, которая органично встраивается на сайты YouTube, Instagram и OK.ru для быстрого скачивания контента.
Программа UDL Client (для Windows) — самое мощное решение, поддерживающее более 900 сайтов, социальных сетей и видеохостингов, а также любое качество видео, которое доступно в источнике.
UDL Lite — представляет собой удобный доступ к сайту с мобильного устройства. С его помощью вы можете легко скачивать видео прямо на смартфон.

Какой формат видео "Что такое Data Science в 2023 | Какие есть профессии" выбрать?

Наилучшее качество имеют форматы FullHD (1080p), 2K (1440p), 4K (2160p) и 8K (4320p). Чем больше разрешение вашего экрана, тем выше должно быть качество видео. Однако следует учесть и другие факторы: скорость скачивания, количество свободного места, а также производительность устройства при воспроизведении.

Почему компьютер зависает при загрузке видео "Что такое Data Science в 2023 | Какие есть профессии"?

Полностью зависать браузер/компьютер не должен! Если это произошло, просьба сообщить об этом, указав ссылку на видео. Иногда видео нельзя скачать напрямую в подходящем формате, поэтому мы добавили возможность конвертации файла в нужный формат. В отдельных случаях этот процесс может активно использовать ресурсы компьютера.

Как скачать видео "Что такое Data Science в 2023 | Какие есть профессии" на телефон?

Вы можете скачать видео на свой смартфон с помощью сайта или pwa-приложения UDL Lite. Также есть возможность отправить ссылку на скачивание через QR-код с помощью расширения UDL Helper.

Как скачать аудиодорожку (музыку) в MP3 "Что такое Data Science в 2023 | Какие есть профессии"?

Самый удобный способ — воспользоваться программой UDL Client, которая поддерживает конвертацию видео в формат MP3. В некоторых случаях MP3 можно скачать и через расширение UDL Helper.

Как сохранить кадр из видео "Что такое Data Science в 2023 | Какие есть профессии"?

Эта функция доступна в расширении UDL Helper. Убедитесь, что в настройках отмечен пункт «Отображать кнопку сохранения скриншота из видео». В правом нижнем углу плеера левее иконки «Настройки» должна появиться иконка камеры, по нажатию на которую текущий кадр из видео будет сохранён на ваш компьютер в формате JPEG.

Сколько это всё стоит?

Нисколько. Наши сервисы абсолютно бесплатны для всех пользователей. Здесь нет PRO подписок, нет ограничений на количество или максимальную длину скачиваемого видео.