Скачать "#35. Агломеративная иерархическая кластеризация. Дендограмма | Машинное обучение"
%3Aformat(webp)%2Fi.ytimg.com%252Fvi_webp%252FJcniBqle4kw%252Fmaxresdefault.webp&w=1139&q=75)
Подождите немного, мы готовим ссылки для удобного просмотра видео без рекламы и его скачивания.
Оглавление
Похожие ролики из нашего каталога
%3Aformat(webp)%2Fi.ytimg.com%252Fvi%252F8sl4ADz47xk%252Fmaxresdefault.jpg&w=1139&q=75)
%3Aformat(webp)%2Fi.ytimg.com%252Fvi_webp%252FGquJSJ4KU2E%252Fmaxresdefault.webp&w=1139&q=75)
Теги видео
Субтитры
Английский
00:00:01
продолжаем рассматривать типовые00:00:03
алгоритмы кластеризации и на очереди00:00:05
алгоритму иерархической кластеризации в00:00:08
чем суть такого подхода предположим у00:00:11
нас имеется набор данных в числовом00:00:13
призрак о пространстве заданный метрика00:00:16
ru для удобства я изображу их как точки00:00:19
в двумерном пространстве хотя в общем00:00:21
случае пространство имеет и на00:00:23
размерности по числу признаков далее мы00:00:26
иерархические их либо объединяем либо00:00:30
разбиваем на более мелкие кластеры при00:00:32
объединении изначально каждый кластер00:00:34
содерж по одному объекту а затем на00:00:37
каждой итерации происходит объединение00:00:39
двух ближайших кластеров образуя более00:00:43
крупные группы на практике в самом00:00:45
использует идею последовательных00:00:47
объединений то есть агломерация объектов00:00:50
отсюда и пошло название агломераты вно00:00:53
иерархическая кластеризация одним из00:00:56
первых ученых которые предпринял такой00:00:58
подход к данным был карл линней который00:01:01
пытался своей объемной картотеке00:01:03
растений живут их объединить их по родам00:01:06
и видам полученной группы объектов00:01:08
близких по определенным признакам также00:01:11
называют taxonomy фактически таксоны00:01:14
кластер это одно и то же и я буду00:01:16
использовать слова как синонимы давайте00:01:19
подробнее рассмотрим идею ок лайнер00:01:21
активной кластеризация то есть когда мы00:01:24
объединяем данные о более крупные группы00:01:26
это наиболее частый подход при00:01:28
иерархической кластеризацию и так00:01:31
изначально мы имеем набор данных и00:01:33
каждый объект это независимый кластер00:01:36
затем в соответствии с заданной метрикой00:01:39
то есть расстояние между объектами мы00:01:41
выбираем 2 ближайших таксона предположим00:01:44
это вот эти вот у и в и затем объединяем00:01:48
их в один единый таксон w этот шаг мы00:01:52
легко выполнили потому что умеем00:01:54
вычислять расстояние между отдельными00:01:56
объектами данных но теперь у нас00:01:58
появилась группой из двух объектов и нам00:02:01
нужно уметь вычислять расстояние от неё00:02:03
до всех остальных объектов выбор тет как00:02:06
это сделать тут имеется множество00:02:08
эвристик но например вот такие вот00:02:10
расстояние ближнего соседа расстояния00:02:12
дальнего соседа групповой средние00:02:15
расстояния расстояние между центрами и00:02:17
так далее так вот оказывается все эти00:02:20
варианты и многие другие можно описать00:02:23
одной единой математической формулой00:02:26
который называется формула loose00:02:28
уильямса здесь вот эти вот коэффициенты00:02:30
альфа bt cam а это некий коэффициент и00:02:33
которые определяют как именно мы будем00:02:35
рассчитывать расстояние между taxonomy в00:02:38
частности вот для этих приведенных00:02:39
вариантов эти коэффициенты следующие и00:02:41
на практике среди всех вот этих вот00:02:44
эвристик чаще всего используют либо00:02:46
расстояние дальнего соседа либо00:02:48
расстояние орга потому что это именно00:02:50
они как правил приводит к лучшим00:02:52
результатам кластеризации давайте теперь00:02:54
детальнее разберемся как работает этот00:02:57
формула ланс уильямса проще всего00:03:00
показать ее работу на примере двух00:03:02
кластеров один состоит из двух объектов00:03:05
из двух вот этих вот точечных объектов а00:03:07
второй из-за того объекта и здесь00:03:10
отмечено все составляющие вот этой вот00:03:13
формулы давайте теперь предположим что00:03:15
мы выбираем растояние ближним соседа в00:03:18
этом случае коэффициенты альфа альфа и00:03:21
бета и гамма равны соответственно вот00:03:23
такие вот числом то есть у нас вот этот00:03:26
формула в данном конкретном частном00:03:28
варианте запишется вот эти вот образом00:03:30
то есть одна вторая вот это вот00:03:32
расстояние плюс 1 2 вот это вот00:03:34
расстояние и минус одна вторая а то00:03:37
модуля разности этих расстояний почему00:03:40
именно так почему вот эта запись00:03:43
соответствует расстоянию ближнего соседа00:03:46
смотрите из мы раскроем этот модуль и00:03:48
все аккуратно распишем то оказывается00:03:51
что мы получаем либо расстоянии 1 раз00:03:54
вот эта вот если оно минимально либо00:03:56
расстояние rs если она минимальная то00:04:00
есть как раз получаем расстояние00:04:02
ближнего соседа между двумя taxonomy00:04:05
после того как мы с вами вычислили вот00:04:07
эти вот расстояние rws между вот эти вот00:04:09
объединенным так сонам w и всеми00:04:12
остальными которые состоят из одного00:04:14
объекта мы на следующей итерации работа00:04:17
алгоритма сможем вычислить расстояние по00:04:20
аналогия и для более крупных таксонов00:04:23
например если вот к этому w затем00:04:26
добавится еще один таксон состоящий из00:04:28
одной точки то есть вот этот аксон у то00:04:31
для вычисления расстояния между вот этим00:04:32
крупным так сонам стоящей из трех00:04:34
элементов и так сонам с состоящим из00:04:37
одного элемента мы можем воспользоваться00:04:40
абсолютно той же самой формулой только00:04:42
здесь вот это вот расстояние рвсн как00:04:45
раз rws который было вычислено на00:04:48
предыдущем этапе работы алгоритма между00:04:50
вот эти вот так сонам из двух элементов00:04:52
и всеми остальными стоящему из одного00:04:55
объекта то есть вот этот расстоянии r00:04:57
вес у нас есть а р с это обычное00:05:00
расстояние между двумя точками в00:05:01
соответствие заданной метрикой в итоге00:05:04
используя ту же самую формулу мы00:05:06
получаем же расстояние между так сонам00:05:08
из трех объектов и всеми остальными00:05:10
taxonomy состоящими из одного объекта00:05:13
или из нескольких объектов потому что00:05:15
будет не принципиально так как у нас00:05:17
будет расстояние между этими аксоном и00:05:19
вот этим вот мы также можем вычислить00:05:22
расстояние и между двумя крупными00:05:24
taxonomy то есть формула нс и уильямса00:05:26
позволяет рекуррентно вычислять00:05:29
расстояние между объединяем my00:05:31
кластерами и на каждой итерации работа00:05:33
алгоритма мы имеем полную информацию о00:05:35
расстояниях между любыми парами00:05:38
сформированных кластеров вот это00:05:40
ключевой момент работы алгоритма оглы00:05:42
нора тивной иерархической кластеризация00:05:44
но по аналогии работает и все остальные00:05:46
метрики с другими значениями00:05:48
коэффициентов альфа бета и гамма в00:05:51
результате вам приходим к следующему00:05:52
алгоритму00:05:53
иерархическая кластеризация в начале у00:05:56
нас множество 1 или медных кластеров00:05:59
затем мы вычисляем расстояние попарно и00:06:01
расстояние между всеми объектами и00:06:04
запускаем цикл начинаю 2 и заканчивай00:06:07
количеством элементов выборки затем мы00:06:10
среди множества объектов которые у нас00:06:12
есть находим те у которых расстояние00:06:15
минимальная объединяемых и формируем00:06:18
новые множество из полученных кластеров00:06:20
затем вы здесь вот по форме ли ланс00:06:23
уильямса пересчитываем все попарно и00:06:25
расстояние между новом сформированным00:06:28
кластером и всеми остальными вот такой00:06:31
достаточно простой алгоритм ключевое00:06:33
здесь это использование вот этот formula00:06:35
one сулимов ну а реализовать его на00:06:38
python можно с помощью пакета скольки00:06:40
тлен для этого мы должны импортировать00:06:43
вот такой класс андриса агломерационной00:06:46
кластеризация и затем используете его00:06:49
вот эти вот образом мы здесь передаем00:06:51
несколько параметров это количество00:06:53
максимальное количество кластеров00:06:55
которые мы хотим получить потом00:06:57
расстояние между кластерами здесь задано00:06:59
как расстояние оорта ну и вот эта вот00:07:02
метрика между точечными объектами пусть00:07:04
от будет обычно евклидова расстояния00:07:06
затем для вот этого нашей выборки для00:07:09
множества точек на плоскости мы как раз00:07:12
применяем вот этот около мира тивно00:07:14
кластеризацию но и отображаем результат00:07:17
давайте посмотрим что у нас получится00:07:18
запускаем эту программу и смотрите у нас00:07:21
для множества точек как раз получилось 300:07:24
кластера но есть один кластер здесь 2 и00:07:27
здесь 3 как раз три кластера мои задули00:07:30
а вот это вот так называемая дэн до00:07:32
грамма эта последовательность того как00:07:35
вот эти вот точки объединялись то есть00:07:37
смотрите здесь надо на грани по00:07:40
вертикали откладывается минимальное00:07:42
расстояние между кластерами а по00:07:44
горизонтали исходные данные объекты и00:07:47
грязь вот на этот график а мы сразу00:07:49
видим в каком порядке происходило00:07:51
объединение вот этих вот данных в группы00:07:53
и насколько сильно кластеры отделены00:07:56
друг от друга вот поэтому минимальному00:07:58
расстоянию зачем вообще нужна эта00:08:00
диаграмма вот глядя на нее мы можем00:08:03
сделать анализ работы алгоритма00:08:06
иерархическая кластеризация датаграммы00:08:08
не должна иметь внутренних пересечений и00:08:11
иметь как можно больше вот эти вот00:08:13
минимальная отступ и конечно при выборе00:08:15
разных метрик и способов вычисления00:08:17
расстояние между кластерами данда грамм00:08:20
бой тоже меняться и кроме оценки00:08:22
качества этот график показывает нам где00:08:24
можно провести уровень чтобы на выходе00:08:26
получить строго определенное количество00:08:29
кластеров например я сама проведем о и00:08:31
вот на этом уровне то получим идет один00:08:33
кластер здесь второй кластер а здесь у00:08:36
нас будет 3 класс стр причем вот в этом00:08:39
кластере у нас будут объекта x 8 x 6 x 700:08:43
вот они здесь представлены на этом00:08:46
кластере у нас будут объекты x4 x5 вот00:08:49
они ну и наконец вот на этом третьем00:08:52
кластеры все остальные вот эти вот00:08:54
объекты то есть вот так вот можно00:08:56
интерпретировать этот график и так общее00:08:58
заключение который здесь можно сделать00:09:00
следующее дэн диаграмм должно иметь00:09:02
монотонный характер что из не иметь00:09:04
внутренних пересечений это за что00:09:06
расстояние между объединяемые кластерами00:09:08
постоянно должны увеличиваться и00:09:11
существует теорем великана который00:09:13
утверждает что dino гром будет00:09:14
удовлетворять вот это вот условия если00:09:16
коэффициенты будут соответствовать вот00:09:19
этим вот условиям далее если у нас00:09:21
имеется сжимающие расстояние то есть00:09:23
когда на каждой последующей ты рация00:09:25
расстояние между центрами кластеров00:09:27
уменьшаются мы будем получать внизу00:09:29
датаграммы разреженной кластеры а выше00:09:32
корью более густые обычно практике все00:09:34
же использует растягивающие расстояния00:09:37
когда наоборот внизу образовывается00:09:39
густые кластера а выше корни о более00:09:41
разреженное так что это лучше00:09:43
согласуется с представлением работы00:09:45
алгоритма кластеризация но и общие00:09:48
рекомендации который может дать по00:09:49
использование около мира тивной йерархии00:09:51
ческой кластеризации они следующие при00:09:53
выборе метрики расстояния между00:09:55
кластерами лучшая часть расстояния уорда00:09:57
а затем попробую и другие например часто00:10:00
берут расстоянию дальнего соседа потом00:10:02
строит и несколько вариантов00:10:04
кластеризации с раза метриками и патента00:10:07
грамме выбирает лучший вариант ну и00:10:09
наконец результирующий число кластеров00:10:11
определяет по уровню где максимально00:10:13
изменение минимального расстояния00:10:16
[музыка]Описание:
Виды иерархической кластеризации. Агломеративная иерархическая кластеризация. Формула Ланса-Уильямса. Реализация агломеративной иерархической кластеризации на языке Python. Понятие дендограммы. Рекомендации по использованию агломеративной иерархической кластеризации. Инфо-сайт: https://proproprogs.ru/ml Телеграм-канал: https://t.me/machine_learning_selfedu machine_learning_35.py: https://github.com/selfedu-rus/machine_learning
Готовим варианты загрузки
* — Если видео проигрывается в новой вкладке, перейдите в неё, а затем кликните по видео правой кнопкой мыши и выберите пункт "Сохранить видео как..."
** — Ссылка предназначенная для онлайн воспроизведения в специализированных плеерах
Вопросы о скачивании видео
Как можно скачать видео "#35. Агломеративная иерархическая кластеризация. Дендограмма | Машинное обучение"?
Сайт http://unidownloader.com/ — лучший способ скачать видео или отдельно аудиодорожку, если хочется обойтись без установки программ и расширений. Расширение UDL Helper — удобная кнопка, которая органично встраивается на сайты YouTube, Instagram и OK.ru для быстрого скачивания контента.
Программа UDL Client (для Windows) — самое мощное решение, поддерживающее более 900 сайтов, социальных сетей и видеохостингов, а также любое качество видео, которое доступно в источнике.
UDL Lite — представляет собой удобный доступ к сайту с мобильного устройства. С его помощью вы можете легко скачивать видео прямо на смартфон.
Какой формат видео "#35. Агломеративная иерархическая кластеризация. Дендограмма | Машинное обучение" выбрать?
Наилучшее качество имеют форматы FullHD (1080p), 2K (1440p), 4K (2160p) и 8K (4320p). Чем больше разрешение вашего экрана, тем выше должно быть качество видео. Однако следует учесть и другие факторы: скорость скачивания, количество свободного места, а также производительность устройства при воспроизведении.
Почему компьютер зависает при загрузке видео "#35. Агломеративная иерархическая кластеризация. Дендограмма | Машинное обучение"?
Полностью зависать браузер/компьютер не должен! Если это произошло, просьба сообщить об этом, указав ссылку на видео. Иногда видео нельзя скачать напрямую в подходящем формате, поэтому мы добавили возможность конвертации файла в нужный формат. В отдельных случаях этот процесс может активно использовать ресурсы компьютера.
Как скачать видео "#35. Агломеративная иерархическая кластеризация. Дендограмма | Машинное обучение" на телефон?
Вы можете скачать видео на свой смартфон с помощью сайта или pwa-приложения UDL Lite. Также есть возможность отправить ссылку на скачивание через QR-код с помощью расширения UDL Helper.
Как скачать аудиодорожку (музыку) в MP3 "#35. Агломеративная иерархическая кластеризация. Дендограмма | Машинное обучение"?
Самый удобный способ — воспользоваться программой UDL Client, которая поддерживает конвертацию видео в формат MP3. В некоторых случаях MP3 можно скачать и через расширение UDL Helper.
Как сохранить кадр из видео "#35. Агломеративная иерархическая кластеризация. Дендограмма | Машинное обучение"?
Эта функция доступна в расширении UDL Helper. Убедитесь, что в настройках отмечен пункт «Отображать кнопку сохранения скриншота из видео». В правом нижнем углу плеера левее иконки «Настройки» должна появиться иконка камеры, по нажатию на которую текущий кадр из видео будет сохранён на ваш компьютер в формате JPEG.
Сколько это всё стоит?
Нисколько. Наши сервисы абсолютно бесплатны для всех пользователей. Здесь нет PRO подписок, нет ограничений на количество или максимальную длину скачиваемого видео.