Скачать "Open Source Motion Capture for Autonomous Drones"
%3Aformat(webp)%2Fi.ytimg.com%252Fvi%252F0ql20JKrscQ%252Fmaxresdefault.jpg&w=1139&q=75)
Подождите немного, мы готовим ссылки для удобного просмотра видео без рекламы и его скачивания.
Похожие ролики из нашего каталога
%3Aformat(webp)%2Fi.ytimg.com%252Fvi_webp%252F28KMFXs7QKs%252Fmaxresdefault.webp&w=1139&q=75)
%3Aformat(webp)%2Fi.ytimg.com%252Fvi_webp%252FGklqDkgQiH4%252Fmaxresdefault.webp&w=1139&q=75)
%3Aformat(webp)%2Fi.ytimg.com%252Fvi%252FIDsENUdmJms%252Fmaxresdefault.jpg&w=1139&q=75)
%3Aformat(webp)%2Fi.ytimg.com%252Fvi%252FNDj0naPnb7I%252Fmaxresdefault.jpg&w=1139&q=75)
%3Aformat(webp)%2Fi.ytimg.com%252Fvi%252FXbmgP247HjE%252Fmaxresdefault.jpg&w=1139&q=75)
%3Aformat(webp)%2Fi.ytimg.com%252Fvi%252FaBZbnME5QxU%252Fmaxresdefault.jpg&w=1139&q=75)
%3Aformat(webp)%2Fi.ytimg.com%252Fvi%252FbfI1S3SzQDE%252Fmaxresdefault.jpg&w=1139&q=75)
%3Aformat(webp)%2Fi.ytimg.com%252Fvi%252FpX3C8K9nKtE%252Fmaxresdefault.jpg&w=1139&q=75)
%3Aformat(webp)%2Fi.ytimg.com%252Fvi_webp%252FyQvX_EDLjmc%252Fmaxresdefault.webp&w=1139&q=75)
%3Aformat(webp)%2Fi.ytimg.com%252Fvi_webp%252Fz2YLfjRsrOw%252Fmaxresdefault.webp&w=1139&q=75)
Теги видео
Субтитры
Английский
00:00:00
это демонстрация моей недорогой00:00:02
инфракрасной системы отслеживания движения, созданной00:00:04
с нуля, которая способна обеспечить00:00:05
позиционирование на уровне миллиметра в масштабе помещения00:00:07
всего за00:00:09
20 долларов. Система использует четыре специально изготовленные00:00:11
камеры по комнате, каждая из которых00:00:13
стоит всего 5 долларов, для надежного отслеживания нескольких00:00:15
инфракрасных маркеров. Здесь со всех сторон00:00:18
вы можете увидеть, как они дают прекрасный 360-градусный00:00:20
инфракрасный обзор моей комнаты в общежитии. Используя эту00:00:23
инфракрасную систему слежения, мы можем локализовать00:00:25
дроны внутри моей комнаты, чтобы поддерживать их в00:00:27
устойчивом зависании, даже позволяя им00:00:29
восстанавливаться после серьезных00:00:31
помех. Это воспроизведенный клип.00:00:33
опять же, с данными отслеживания, показанными в00:00:34
левом нижнем углу, которые были рассчитаны в00:00:36
реальном времени и отправлены по беспроводной сети на00:00:38
дрон, ПИД-регулятор дрона,00:00:40
вероятно, мог бы сделать нам некоторую настройку, но, как вы00:00:42
можете видеть, локализация очень00:00:47
точна, прежде чем мы сможем начать00:00:48
триангулировать маркеры, мы сначала мне нужно00:00:50
знать положения всех камер,00:00:52
которые моя система способна рассчитать00:00:54
автоматически. Я подробно объясню этот процесс00:00:56
во время технического глубокого погружения,00:00:57
так что подождите, вот довольно00:00:59
крутая демонстрация00:01:01
точности системы, демонстрирующая высокую точность 3D.00:01:03
отслеживание, способное00:01:07
выполнять триангуляцию системы, также00:01:09
чрезвычайно устойчиво к перекрытиям00:01:11
обзора любой камеры, как вы можете видеть здесь, каждая00:01:14
точка должна быть видна только двумя камерами, чтобы ее можно было00:01:16
отслеживать с помощью каждого дополнительного00:01:17
изображения, обеспечивая дополнительную точность, даже если00:01:20
позиционирование полностью потеряно Дрон по-00:01:22
прежнему способен беспрепятственно00:01:28
восстанавливать00:01:33
систему отслеживания движения. Система отслеживания движения способна00:01:35
отслеживать несколько точек00:01:36
одновременно. Здесь вы можете видеть, как локализуются два дрона,00:01:39
каждый из которых имеет три инфракрасных00:01:41
маркера. Глядя на необработанное изображение с камеры,00:01:43
вы можете начать понимать, насколько это сложно00:01:45
состоит в том, чтобы триангулировать эти шесть точек, когда00:01:47
они так близко друг к другу. Теперь00:01:49
мы собираемся немного00:01:51
углубиться в техническую часть этого00:01:52
проекта. Вот общая архитектурная00:01:55
схема системы, гм, их довольно00:01:57
много. взаимосвязанные части, так что,00:01:58
честно говоря, довольно удивительно, что это00:02:00
вообще работает на высоком уровне: компьютер00:02:02
вычисляет положение дрона и00:02:03
передает его микроконтроллеру на00:02:05
дроне, который затем соответствующим образом корректирует его угол,00:02:07
поэтому мы начнем сначала с00:02:09
дронов, которые, я думаю, довольно круто,00:02:11
они очень маленькие и прочные, в них используются00:02:13
легко заменяемые батареи 18350, что00:02:15
дает ему чуть менее 10 минут00:02:17
полета. Они состоят из esp32, который00:02:20
получает данные и запускает контур ПИД, чтобы00:02:22
попытаться сохранить00:02:24
положение дрона, а затем этот esp32 притворяется, что быть00:02:27
приемником RC и отправлять управление дросселем и00:02:29
джойстиком на плату контроллера полета,00:02:30
которая поддерживает стабильность дрона и00:02:32
выполняет команды джойстика, к сожалению,00:02:35
единственный способ получить этот сигнал от00:02:37
esp32 к контроллеру полета -00:02:38
через этот крошечный контакт, и поскольку все это Я00:02:41
сделал это за пределами общежития университета. У00:02:43
меня на самом деле не было подходящих инструментов для00:02:44
этой работы, но он работает достаточно хорошо, как я уже00:02:47
упоминал, esp32 запускает вложенный PID-00:02:50
контроллер, внешний цикл преобразует00:02:52
ошибку положения в заданное значение скорости, а00:02:54
внутренний цикл преобразует00:02:55
ошибку скорости в заданное значение ускорения, которое00:02:57
по сути является командой джойстика, затем00:02:59
это отправляется на00:03:00
контроллер полета, который фактически запускает еще один P-00:03:02
контур, так что в конечном итоге приходится настраивать около трех00:03:04
десятков параметров ПИД, что является00:03:06
абсолютным кошмаром, на самом деле я никогда не он00:03:09
настроен правильно, поэтому иногда вы можете видеть, как00:03:10
он колеблется,00:03:12
положение Джуна на самом деле00:03:14
очень точно триангулируется, это просто плохая00:03:16
настройка ПИД-регулятора, из-за которой он не устойчив в00:03:18
воздухе. Далее мы посмотрим на компьютерную сторону00:03:21
системы, начиная с камеры,00:03:23
очевидно, камеры являются очень важной00:03:25
частью этого проекта. Я использую камеры PS3 ey,00:03:27
которые можно купить в Интернете00:03:28
буквально всего за 1 доллар,00:03:30
и они имеют частоту кадров до 150 кадров00:03:32
в секунду, что довольно невероятно00:03:34
по цене, которую вы можете преобразовать в00:03:36
инфракрасный порт. камеры, вынув ИК-00:03:38
фильтр и заменив их ИК-00:03:40
фильтром. Правильные инфракрасные фильтры00:03:42
недешевы, поэтому я просто использовал кусок00:03:44
дискеты, на которой, очевидно, раньше00:03:46
был Doom 2, но теперь это будет00:03:48
инфракрасный фило для меня, хм, и, как00:03:50
вы можете видеть, он все равно пропускает инфракрасный свет,00:03:52
я также вынул00:03:54
камеры из оригинального корпуса,00:03:56
поместил их в поворотное крепление, напечатанное на 3D-принтере,00:03:58
и установил на него инфракрасный прожектор, чтобы00:04:00
его можно было использовать с retr. отражающие00:04:02
маркеры, поэтому далее мы поговорим о00:04:04
серверной части Python, которая должна сделать довольно много00:04:06
работы. Сначала нам нужно найти00:04:08
инфракрасные маркеры из видео, затем мы00:04:10
вычисляем положение камеры в00:04:12
пространстве, триангулируем трехмерное положение00:04:14
маркеров в пространстве, а затем Определите, где находятся00:04:16
дроны, выполните некоторую фильтрацию, а00:04:19
затем отправьте эти позиции на дрон,00:04:21
поэтому найти инфракрасные маркеры из00:04:23
R-видео довольно просто. Мы просто00:04:25
используем открытое CV, чтобы изолировать яркие точки00:04:28
в видео. Следующим шагом является00:04:30
расчет позы камеры, который по сути,00:04:32
выясняет, где расположены камеры00:04:34
в 3D-пространстве, к сожалению, мы00:04:36
не можем просто взять рулетку,00:04:38
потому что она не будет достаточно точной, но00:04:40
по сути мы работаем с00:04:42
чем-то, что называется полигеометрией эпип,00:04:44
поскольку у нас есть две или больше камер в00:04:45
произвольных положениях смотрят на один и тот же00:04:47
объект, поэтому, учитывая семь точек, просматриваемых00:04:50
двумя камерами, мы можем фактически вычислить00:04:52
относительное вращение и перемещение00:04:55
между двумя00:04:56
камерами. Нам нужно сделать это в00:04:58
парах камер, чтобы мы сначала нашли относительное00:05:01
вращение и перемещение. между камерой00:05:03
1 и второй, затем второй и третьей, 3 и четвертой и00:05:06
т. д., а затем, сделав это, мы сможем00:05:08
определить относительное положение всех четырех00:05:10
камер в пространстве.00:05:12
В этом процессе задействовано много сложных математических вычислений,00:05:14
и я настоятельно рекомендую00:05:15
посмотреть этот плейлист на YouTube с сайта00:05:17
Первые принципы компьютерного00:05:18
зрения на канале, это потрясающий ресурс, и мои00:05:21
попытки объяснить00:05:23
расчет поста камеры с полигеометрией эпипа были бы просто00:05:25
очень плохим отрыгиванием этих видео.00:05:27
Открытое резюме может помочь с некоторыми из00:05:29
этих шагов, но фундаментальное00:05:31
понимание математики это00:05:32
действительно полезно, а также просто очень00:05:34
интересно, возможно, самая крутая часть00:05:36
процесса расчета позы камеры - это00:05:38
так называемая настройка пакета, поэтому00:05:43
расчет позы камеры в эпиполярной геометрии дает вам только приблизительную00:05:44
оценку того, где находятся камеры, он00:05:46
может быть отклонен на пару сантим это00:05:48
проявляется в так называемой00:05:50
ошибке перепроецирования. По сути, две камеры00:05:52
видят точку, и вместо того, чтобы их00:05:54
массивы пересекались точно в одном и том же00:05:56
месте, они слегка промахиваются, и это00:05:58
расстояние между двумя лучами и есть00:05:59
то, что называется ошибкой перепроецирования,00:06:01
показано здесь красным, что мы можем запустить00:06:04
нелинейный оптимизатор с нашей00:06:06
ошибкой перепроецирования в качестве нашей функции стоимости00:06:07
и камерой в качестве наших параметров, это00:06:10
будет медленно перемещаться по камерам,00:06:12
находя наиболее оптимальные положения для00:06:13
них, чтобы минимизировать00:06:15
ошибку перепроецирования, это, честно говоря, такое00:06:17
изящное решение. и действительно здорово00:06:19
видеть, что решение сходится в решении: теперь, когда у00:06:21
нас есть все положения камер, мы можем00:06:23
начать триангулировать точки, найти00:06:25
местоположение одной точки легко, мы,00:06:27
по сути, просто проецируем лучи00:06:29
от каждой камеры и выясняем, где00:06:30
они пересекаются, и это можно сделать с помощью00:06:32
так называемого метода прямого линейного00:06:33
преобразования. Сложная часть заключается в том, что когда у нас00:06:36
в сцене много инфракрасных маркеров,00:06:38
как мы можем сопоставить точки в00:06:40
первой камере с точками в камере 2, чтобы00:06:42
решить эту проблему, которую мы используем то, что00:06:44
называется эпиполярными линиями, по сути, если мы00:06:46
видим точку в камере 1, мы знаем, что00:06:48
соответствующая ей точка на камере 2 должна00:06:50
быть где-то вдоль этой зеленой линии, это00:06:53
потому, что у наводящей камеры00:06:54
нет информации о глубине, маркер может быть00:06:57
здесь здесь или здесь, мы не знаю, как00:06:59
далеко это от камеры,00:07:01
поэтому маркер может находиться где угодно00:07:02
на этой линии в трехмерном пространстве, поэтому00:07:05
точка изображения, проецируемая на датчик камеры 2,00:07:07
должна находиться где-то вдоль этой зеленой линии, что00:07:08
значительно упрощает нашу жизнь, используя это00:07:11
эпиполярной линии мы находим возможные наборы00:07:13
точек изображения, которые могут соответствовать00:07:15
каждой точке слова, затем вычисляем00:07:17
ошибку перепроецирования для каждого из этих00:07:18
наборов изображений и выбираем тот, который00:07:20
имеет наименьшую общую ошибку, это позволяет00:07:22
моей системе быть устойчивой к некоторым камерам00:07:24
невозможность увидеть инфракрасный маркер00:07:26
или маркеры, перекрывающиеся друг с другом00:07:28
и сливающиеся в один блок,00:07:30
наконец, теперь, когда расположение наших маркеров00:07:32
триангулировано в трехмерном пространстве, мы00:07:34
можем определить положение каждого дрона, поэтому00:07:37
нам нужно три маркера для каждого дрона, чтобы00:07:38
вычислить его положение и направление, а00:07:40
также отличать дроны друг от00:07:42
друга. Возьмем, к примеру, этот дрон. У него00:07:44
есть три маркера в этом треугольном00:07:46
шаблоне, поэтому мы можем просто сканировать00:07:47
наши точки мира, чтобы найти этот треугольник.00:07:50
Если мы найдем несколько совпадений, мы затем можем00:07:51
использовать тот, который ближе всего к текущее00:07:53
местоположение, предсказанное нашим общим00:07:55
фильтром, эти позиции дронов затем могут быть00:07:57
отправлены каждому соответствующему дрону, в то время как00:07:59
серверная часть Python по беспроводной сети отправляет00:08:01
данные на синий такт esp32 на мою стену00:08:04
через последовательное соединение, а затем esp3200:08:07
затем отправляет данные дронам через00:08:08
протокол ESP теперь для управления00:08:11
всей системой. Я создал веб-интерфейс в00:08:13
реакции, который связывается с00:08:15
серверной частью Python через00:08:16
сокет.io. Левая панель внешнего интерфейса00:08:19
позволяет вам настроить экспозицию камеры00:08:21
и настройки усиления, запустить триангуляцию00:08:23
и включить отслеживание дронов в В этом случае00:08:25
дрон можно увидеть с помощью двух камер,00:08:27
которые обнаруживает задняя часть, поэтому передняя00:08:28
часть отображает положение и00:08:30
направление дрона на карте в виде зеленого конуса00:08:33
справа. Здесь мы можем ввести заданные00:08:35
значения для постановки или снятия с охраны дронов00:08:37
и изменить кучу параметров на00:08:38
лету, это особенно полезно для00:08:41
вложенных циклов P, работающих на дронах,00:08:43
что доставляет абсолютную боль, мелодия,00:08:45
мелодия P прямо сейчас, честно говоря, довольно00:08:47
ужасна, как я уверен, вы могли это заметить, когда00:08:49
я нажимал кнопку вокруг дроны, но00:08:50
потребовалась пара дней настройки, чтобы довести его00:08:52
до этой точки, и мне действительно не00:08:53
хочется делать больше, в середине у нас00:08:56
есть раздел планирования движения, который00:08:57
позволяет вам устанавливать максимальную скорость для00:08:59
ускорения и рывков для каждого00:09:01
Затем вы можете разместить каким-либо образом точки и нажать00:09:02
предварительный просмотр, и планировщик движений00:09:04
сгенерирует траекторию полета, удовлетворяющую этим00:09:06
ограничениям. хм, вы можете видеть здесь, что если00:09:08
мы ослабим максимальный рывок, траектория полета будет00:09:10
выглядеть00:09:11
по-другому, эта нижняя панель - самая00:09:13
интересная часть интерфейс показывает вам00:09:15
местоположение камеры в комнате,00:09:18
точки траектории и местоположение дрона.00:09:21
Диаграмма сверху показывает вам множество00:09:22
показателей в реальном времени, таких как положение и00:09:24
скорость, что очень полезно для00:09:28
настройки p, возвращаясь к общей00:09:30
архитектурной диаграмме. вы можете видеть,00:09:32
сколько движущихся частей в этом00:09:33
проекте, и все они взаимодействуют друг с другом00:09:35
с помощью разных протоколов. Это была довольно00:09:38
амбициозная цель — создать мою собственную00:09:39
систему отслеживания движения и управлять автономными00:09:41
дронами «Все за одно лето», одновременно00:09:43
работая полный рабочий день в Интернете. pener,00:09:45
но каким-то образом мне удалось это осуществить, хм,00:09:48
я, вероятно, не буду делать это снова, хотя это00:09:49
было немного неприятно, весь код и00:09:52
3D-файлы для этого проекта находятся в открытом00:09:53
исходном коде на GitHub, хм, код не очень00:09:56
чистый но это определенно хорошая00:09:57
отправная точка, если вы хотите сделать00:09:58
что-то подобное. Я также хотел бы00:10:00
выразить большую благодарность Королевскому колледжу в00:10:01
Кембридже, который помог профинансировать этот проект,00:10:04
прежде чем я закончу видео, вот00:10:05
краткая подборка всех сбоев, с которыми00:10:07
я столкнулся. было в последние несколько дней во время00:10:15
съемок,00:10:28
ой,00:10:32
охОписание:
A low cost ($20), open source motion capture system with millimeter level precision at room-scale. Used to localize autonomous drones inside a room. GitHub repo with code & 3D files: https://github.com/jyjblrd/Low-Cost-Mocap Check out my blog post for more info on the drones, cameras, etc: https://joshuabird.com/blog/post/mocap-drones
Готовим варианты загрузки
* — Если видео проигрывается в новой вкладке, перейдите в неё, а затем кликните по видео правой кнопкой мыши и выберите пункт "Сохранить видео как..."
** — Ссылка предназначенная для онлайн воспроизведения в специализированных плеерах
Вопросы о скачивании видео
Как можно скачать видео "Open Source Motion Capture for Autonomous Drones"?
Сайт http://unidownloader.com/ — лучший способ скачать видео или отдельно аудиодорожку, если хочется обойтись без установки программ и расширений. Расширение UDL Helper — удобная кнопка, которая органично встраивается на сайты YouTube, Instagram и OK.ru для быстрого скачивания контента.
Программа UDL Client (для Windows) — самое мощное решение, поддерживающее более 900 сайтов, социальных сетей и видеохостингов, а также любое качество видео, которое доступно в источнике.
UDL Lite — представляет собой удобный доступ к сайту с мобильного устройства. С его помощью вы можете легко скачивать видео прямо на смартфон.
Какой формат видео "Open Source Motion Capture for Autonomous Drones" выбрать?
Наилучшее качество имеют форматы FullHD (1080p), 2K (1440p), 4K (2160p) и 8K (4320p). Чем больше разрешение вашего экрана, тем выше должно быть качество видео. Однако следует учесть и другие факторы: скорость скачивания, количество свободного места, а также производительность устройства при воспроизведении.
Почему компьютер зависает при загрузке видео "Open Source Motion Capture for Autonomous Drones"?
Полностью зависать браузер/компьютер не должен! Если это произошло, просьба сообщить об этом, указав ссылку на видео. Иногда видео нельзя скачать напрямую в подходящем формате, поэтому мы добавили возможность конвертации файла в нужный формат. В отдельных случаях этот процесс может активно использовать ресурсы компьютера.
Как скачать видео "Open Source Motion Capture for Autonomous Drones" на телефон?
Вы можете скачать видео на свой смартфон с помощью сайта или pwa-приложения UDL Lite. Также есть возможность отправить ссылку на скачивание через QR-код с помощью расширения UDL Helper.
Как скачать аудиодорожку (музыку) в MP3 "Open Source Motion Capture for Autonomous Drones"?
Самый удобный способ — воспользоваться программой UDL Client, которая поддерживает конвертацию видео в формат MP3. В некоторых случаях MP3 можно скачать и через расширение UDL Helper.
Как сохранить кадр из видео "Open Source Motion Capture for Autonomous Drones"?
Эта функция доступна в расширении UDL Helper. Убедитесь, что в настройках отмечен пункт «Отображать кнопку сохранения скриншота из видео». В правом нижнем углу плеера левее иконки «Настройки» должна появиться иконка камеры, по нажатию на которую текущий кадр из видео будет сохранён на ваш компьютер в формате JPEG.
Сколько это всё стоит?
Нисколько. Наши сервисы абсолютно бесплатны для всех пользователей. Здесь нет PRO подписок, нет ограничений на количество или максимальную длину скачиваемого видео.