background top icon
background center wave icon
background filled rhombus icon
background two lines icon
background stroke rhombus icon
header logo icon

Скачать "How to run Ollama on Docker"

input logo icon
"videoThumbnail How to run Ollama on Docker
Похожие ролики из нашего каталога
|

Похожие ролики из нашего каталога

Теги видео
|

Теги видео

artificial intelligence
local llm
how to install ollama
docker
local chatgpt
large language models tutorial
docker tutorial
docker explained
llama 2
large language models
local llm rag
local llm for coding
local llm model
how to install llama 2
docker tutorial for beginners
artificial intelligence video
artificial intelligence explained
mistral ai
lama
dockr
olama
Субтитры
|

Субтитры

subtitles menu arrow
  • enАнглийский
Скачать
00:00:00
Основной способ установки и запуска AMA для большинства людей
00:00:02
— начать с установщика, который
00:00:04
вы можете найти на ama.com. С ним вы можете начать
00:00:07
работу очень быстро, но
00:00:10
некоторым нравится использовать Docker. Docker удобен,
00:00:12
потому что он полностью автономен для
00:00:15
программ. которые запутаны и содержат множество
00:00:16
зависимостей, может быть полезно использовать
00:00:18
Docker, потому что, когда вы удаляете
00:00:20
контейнер и образ, ничего не
00:00:23
остается. olama — это очень простая программа с
00:00:26
одним единственным исполняемым файлом, но тем не менее
00:00:28
некоторым удобно
00:00:30
запускать все в Docker.
00:00:33
производительность немного снизится, хотя в Linux она
00:00:35
довольно минимальна, но на Mac и Windows
00:00:37
она будет немного более значительной из-
00:00:39
за виртуальной машины, которая должна работать
00:00:41
под ней, а также на Mac из-за докера невозможно пройти через графический процессор
00:00:47
платформа не поддерживает его, и это
00:00:49
только на Mac. Если вы знаете, что хотите
00:00:51
запустить AMA и Docker, вам все равно нужно поместить
00:00:54
свои модели в каталог базовой
00:00:55
системы. Обычно контейнеры и
00:00:58
образы Docker предназначены для небольшого размера,
00:01:00
но модели, с которыми вы работаете, в olama
00:01:03
огромны, поэтому они разделены,
00:01:06
хотя с Docker может быть немного
00:01:08
проще разместить ваши модели где
00:01:11
угодно. Теперь я предполагаю, что Docker
00:01:13
уже установлен на вашей машине и
00:01:15
готов выполнить команду. для запуска — это
00:01:18
запуск Docker- g gpus равен
00:01:21
корню двоеточия all-v. olamaPublish поддерживает
00:01:26
11434, задайте имя AMA, а затем olama/
00:01:30
olama запустите его, и тогда мы сможем рассмотреть
00:01:33
команду более подробно.
00:01:35
Docker run — это команда для запуска нового
00:01:37
контейнера из образа, если у вас его
00:01:40
нет. образ, который он будет извлечен из
00:01:41
Docker Hub - D говорит, что контейнер следует запускать
00:01:44
от имени Damon, чтобы он работал в
00:01:46
фоновом режиме - gpus равно all, разрешает
00:01:50
прохождение графического процессора, но это не работает
00:01:53
на Mac, Linux и Windows вам
00:01:56
необходимо убедиться, что набор инструментов Nvidia
00:01:58
установлен, если у вас есть
00:02:00
карта Nvidia. Я запускаю это на экземпляре brev dodev, на
00:02:03
котором он уже
00:02:05
установлен, но вы можете найти
00:02:07
инструкции по его установке в файле readme
00:02:09
на странице Docker Hub для
00:02:11
образ Alama Я расскажу больше о brev в
00:02:14
другом видео, которое выйдет очень скоро. Следующая
00:02:16
часть команды — это том. Подключить,
00:02:19
здесь говорится: создайте том с именем AMA
00:02:21
и смонтируйте его в / root. olama внутри
00:02:26
контейнера, это немного сбивает с толку, так как
00:02:28
существуют разные способы использования
00:02:31
выходов громкости, но в основном есть две стороны
00:02:33
любой команды, в которой есть двоеточие: левая
00:02:35
сторона обычно — это то, что находится в хост-
00:02:37
системе, а правая сторона — это то, что находится в
00:02:38
контейнере, если левая часть — это слово,
00:02:41
а не путь, тогда процесс докера
00:02:43
создаст новый каталог там, где
00:02:45
он используется по умолчанию для томов в этой
00:02:48
системе, то есть тома /var li/doer, и
00:02:52
там вы можете увидеть каталог anama, но если
00:02:54
вы хотите, чтобы модели пойти куда-нибудь еще,
00:02:57
вам нужно указать полный
00:02:58
путь перед кодом, в котором
00:03:00
я сейчас нахожусь/home/obuntu, и если я
00:03:03
хочу, чтобы мои модели попадали в
00:03:05
каталог моделей myama, который я уже
00:03:07
создал, мне придется использовать -
00:03:10
vhome Ubuntu myol Lama моделирует корень толстой кишки
00:03:15
. Затем olama идет порты. Каждый раз, когда есть
00:03:19
порт, к которому вам нужен доступ
00:03:21
внутри контейнера, и вы хотите использовать его
00:03:23
снаружи, вы должны объявить его, поэтому мы
00:03:26
хотим, чтобы порт 11434 внутри контейнера
00:03:29
был доступен и вне контейнера,
00:03:31
после этого мы настраиваем имя, если вы
00:03:34
не укажете имя, оно будет
00:03:36
сгенерировано, поэтому обычно лучше назначить
00:03:38
то, которое вам нравится. Наконец, мы видим, что
00:03:41
используется изображение докера amaama, которое
00:03:44
соответствует URL-адресу на dockerhub,
00:03:46
который является
00:03:48
концентратором htps.
00:03:50
do.com
00:03:52
rol, допустим, вы действительно хотите назвать
00:03:55
контейнер как-то еще, или вы хотите
00:03:57
переместить контейнер в новое место,
00:03:59
или есть новая версия, и вам нужно
00:04:01
хорошо обновить контейнер olama во всех
00:04:03
этих случаях, если вы просто запустите команду
00:04:05
снова произойдет сбой, потому что
00:04:08
уже есть работающий контейнер, поэтому нам нужно
00:04:10
остановить его и удалить, к счастью, мы установили
00:04:13
хорошее имя, так что это довольно просто, просто
00:04:16
запустите Docker stop olama, а затем Docker RM
00:04:19
olama, теперь, если вам нужен новый образ olama,
00:04:22
вы можно запустить Docker pull amaama, чтобы получить
00:04:25
последнюю версию, затем вы можете снова запустить эту
00:04:28
команду запуска Docker с правильными
00:04:30
параметрами. Одна вещь, которая смущает новых
00:04:32
пользователей, это то, что они хотят обновить
00:04:34
программное обеспечение внутри контейнера вместо того, чтобы
00:04:36
извлекать новый образ, созданы изображения и
00:04:38
контейнеры. чтобы быть неизменяемым,
00:04:41
вы не хотите обновлять содержимое
00:04:43
контейнера, если есть обновленное
00:04:46
программное обеспечение, вы извлекаете новую версию
00:04:48
образа и запускаете ее, обновление
00:04:50
программного обеспечения внутри контейнера,
00:04:52
вероятно, значительно упростит его поломку,
00:04:55
не делайте этого конечно, вы не запускали
00:04:57
olama только для запуска сервера, вы,
00:05:00
вероятно, захотите использовать клиент, чтобы задать
00:05:02
вопрос, но olama, вероятно, не
00:05:04
установлена ​​в вашей хост-системе для запуска
00:05:07
клиента olama, который находится внутри контейнера,
00:05:09
нам нужно использовать докер точная команда
00:05:12
Docker xa-itama olama run llama 2, так
00:05:17
что это Docker точный, который будет запускать
00:05:18
команду внутри контейнера - он говорит, что нужно
00:05:21
запускать ее в интерактивном терминале, если вам
00:05:24
просто нужно запустить команду и выйти,
00:05:26
вы, вероятно, могли бы оставить это в
00:05:28
первую очередь сообщает Docker, какой именно контейнер
00:05:31
использовать, если вы не указали имя
00:05:33
при запуске образа, тогда вам
00:05:35
придется указать идентификатор контейнера, который является
00:05:37
уникальной строкой каждый раз, когда
00:05:40
контейнер Docker запускается, все, что после
00:05:43
имени контейнера, является командой для запуска. на
00:05:45
хосте, поэтому AMA запустит llama
00:05:48
2, теперь я часто использовал термины «контейнер» и «
00:05:51
образ». Если вы не знакомы, вы
00:05:54
можете подумать, что я использую их как
00:05:56
взаимозаменяемые, но они разные,
00:05:59
все вещи в dockerhub называются
00:06:01
изображениями ol/ olama — это образ, который определяет,
00:06:05
как AMA должен запускать контейнер. Это
00:06:09
упрощенный метод запуска образа. Вы
00:06:11
можете думать о контейнере как о
00:06:13
экземпляре образа, и мы можем
00:06:15
видеть это в нашей системе. Мы только что остановили и
00:06:18
удалили контейнер, но
00:06:20
образ все еще существует, и мы можем быстро
00:06:23
запустить его. Если вы запустите образы Docker, вы
00:06:26
увидите список всех загруженных вами образов для
00:06:27
запуска в качестве контейнера.
00:06:30
Если вы хотите удалить образ, то введите
00:06:31
команду Docker RMI, а затем
00:06:34
имя образа. но он будет удален только в том случае, если
00:06:36
в данный момент нет контейнеров, использующих этот образ,
00:06:38
хорошо, вернемся к запуску AMA, мы смотрели на
00:06:41
Docker xa-itama olama, запустите Lama 2, если вы
00:06:45
запустите его, вы попадете в
00:06:47
интерактивный reple для работы с olama, если
00:06:50
вы Собираетесь делать это часто, тогда,
00:06:52
вероятно, имеет смысл создать псевдоним
00:06:54
в Linux или Mac, предполагая, что вы
00:06:56
используете команду bash или zshell, и
00:06:59
псевдоним olama равен Docker точному D
00:07:03
itama olama, если вы используете fish, просто
00:07:07
замените этот знак равенства с пробелом, если
00:07:09
вы пользователь Windows, вы, вероятно, знаете
00:07:11
правильную команду для создания такого псевдонима,
00:07:13
теперь вы можете запустить AMA, запустите
00:07:17
llama 2 так же, как вы делаете в системах с
00:07:19
установленным AMA, если вы хотите использовать этот
00:07:21
псевдоним после завершения сеанса терминала
00:07:23
вы захотите добавить команду в
00:07:25
один из ваших файлов RC для вашей оболочки, это
00:07:28
будет файл типа bash RC
00:07:30
или профиль, или Zell RC, или config fish
00:07:35
config.sh, есть еще одна команда, которую вам
00:07:37
нужно знать иногда вам нужно
00:07:39
просмотреть журналы, чтобы увидеть, что
00:07:41
делает olama, поэтому Docker регистрирует olama — это
00:07:44
команда, которую нужно запустить, чтобы увидеть, что все в порядке, поэтому теперь
00:07:47
вы настроены на использование AMA в Docker на
00:07:49
хосте, но допустим, вы установили включите AMA на
00:07:52
хосте, как у меня на brev, и вы хотите
00:07:55
получить к нему доступ с удаленного компьютера,
00:07:57
отличного от хоста, на котором работает
00:07:59
Docker, ну, если хост находится в той же
00:08:02
сети, что и ваш клиентский компьютер, ну, это
00:08:04
легко, вам придется остановиться и удалите
00:08:06
контейнер Docker для AMA, помните,
00:08:09
что это была остановка Docker и Docker RM, затем
00:08:12
запустите ту же команду, но добавьте хост olama,
00:08:16
равный 0.0.0.0, порт
00:08:19
11434, прежде чем Docker запустится на той же строке,
00:08:22
и тогда все, что подключается к этому
00:08:24
хосту на этом порту, увидит ваша
00:08:27
версия Docker-контейнера Al llama, но что
00:08:29
произойдет, если этот хост не находится в вашей домашней
00:08:32
сети, а находится где-то еще в
00:08:34
Интернете, тогда все становится немного
00:08:38
сложнее, как-то вам нужно предоставить доступ
00:08:40
к вашему хосту вашему клиенту, некоторые
00:08:44
решат эту проблему открывая порты, но это
00:08:46
невероятно глупо делать, не
00:08:48
блокируя доступ с помощью какой-либо
00:08:51
аутентификации, вероятно, проще всего
00:08:53
использовать хвостовую шкалу, которая
00:08:54
бесплатна для большинства некомпаний для вас
00:08:58
дома, это просто чертовски легко, и
00:09:00
если вы делаете это для работы, тогда на вашей
00:09:02
оперативной сцене, вероятно, есть решение, которое им
00:09:04
нравится, или хвостовая шкала настолько
00:09:06
смехотворно дешева, что они, вероятно, могут
00:09:08
потратить на это деньги, и им не будет наплевать на
00:09:10
это. Примечание. Однажды я купил кое-
00:09:14
что для офиса. когда я работал в Data
00:09:15
Dog, это был единственный раз, когда финансисты обратились к нам,
00:09:17
и они сказали, что мне нужно описать
00:09:20
то, что я купил, вы действительно не хотите
00:09:22
знать, я сказал, но мне пришлось передать это новым
00:09:25
людям, новые системы, не волнуйтесь, они сказал
00:09:28
хорошо,
00:09:29
поэтому я положил то, что
00:09:31
купил на сумму около 200 долларов, пистолеты Nerf и
00:09:34
эти маленькие желтые шарики в качестве боеприпасов.
00:09:43
неделю
00:09:44
или около того все боеприпасы закончились,
00:09:47
это то, что вам нужно знать, чтобы
00:09:49
понять, как работать с Docker и
00:09:50
AMA. В большинстве случаев вы захотите запустить
00:09:53
olama как встроенную установку, но если вы
00:09:56
настаиваете на запуске Docker сейчас, все готово
00:10:00
Если у вас есть какие-либо вопросы, дайте мне знать
00:10:01
в чате ниже. Мне нравятся
00:10:04
вопросы, которые я вижу, особенно когда вы
00:10:05
даете мне предложения о том, что сделать
00:10:07
видео о многих из этих видео,
00:10:10
включая это, взяты из этих
00:10:12
предложений, продолжайте их получать, спасибо.
00:10:15
очень много за то, что ты здесь,
00:10:26
прощай, пытливые умы хотят знать, что
00:10:29
это вода, я обещаю, что это вода,
00:10:33
ты знаешь, что поверишь мне, но это
00:10:35
вода

Описание:

Ollama runs great on Docker, but there are just a couple things to keep in mind. This covers them all. Visit https://hub.docker.com/r/ollama/ollama for more details. Be sure to sign up to my monthly newsletter at https://www.technovangelist.com/newsletter And if interested in supporting me, sign up for my patreon at https://www.patreon.com/technovangelist

Готовим варианты загрузки

popular icon
Популярные
hd icon
HD видео
audio icon
Только звук
total icon
Все форматы
* — Если видео проигрывается в новой вкладке, перейдите в неё, а затем кликните по видео правой кнопкой мыши и выберите пункт "Сохранить видео как..."
** — Ссылка предназначенная для онлайн воспроизведения в специализированных плеерах

Вопросы о скачивании видео

mobile menu iconКак можно скачать видео "How to run Ollama on Docker"?mobile menu icon

  • Сайт http://unidownloader.com/ — лучший способ скачать видео или отдельно аудиодорожку, если хочется обойтись без установки программ и расширений. Расширение UDL Helper — удобная кнопка, которая органично встраивается на сайты YouTube, Instagram и OK.ru для быстрого скачивания контента.

  • Программа UDL Client (для Windows) — самое мощное решение, поддерживающее более 900 сайтов, социальных сетей и видеохостингов, а также любое качество видео, которое доступно в источнике.

  • UDL Lite — представляет собой удобный доступ к сайту с мобильного устройства. С его помощью вы можете легко скачивать видео прямо на смартфон.

mobile menu iconКакой формат видео "How to run Ollama on Docker" выбрать?mobile menu icon

  • Наилучшее качество имеют форматы FullHD (1080p), 2K (1440p), 4K (2160p) и 8K (4320p). Чем больше разрешение вашего экрана, тем выше должно быть качество видео. Однако следует учесть и другие факторы: скорость скачивания, количество свободного места, а также производительность устройства при воспроизведении.

mobile menu iconПочему компьютер зависает при загрузке видео "How to run Ollama on Docker"?mobile menu icon

  • Полностью зависать браузер/компьютер не должен! Если это произошло, просьба сообщить об этом, указав ссылку на видео. Иногда видео нельзя скачать напрямую в подходящем формате, поэтому мы добавили возможность конвертации файла в нужный формат. В отдельных случаях этот процесс может активно использовать ресурсы компьютера.

mobile menu iconКак скачать видео "How to run Ollama on Docker" на телефон?mobile menu icon

  • Вы можете скачать видео на свой смартфон с помощью сайта или pwa-приложения UDL Lite. Также есть возможность отправить ссылку на скачивание через QR-код с помощью расширения UDL Helper.

mobile menu iconКак скачать аудиодорожку (музыку) в MP3 "How to run Ollama on Docker"?mobile menu icon

  • Самый удобный способ — воспользоваться программой UDL Client, которая поддерживает конвертацию видео в формат MP3. В некоторых случаях MP3 можно скачать и через расширение UDL Helper.

mobile menu iconКак сохранить кадр из видео "How to run Ollama on Docker"?mobile menu icon

  • Эта функция доступна в расширении UDL Helper. Убедитесь, что в настройках отмечен пункт «Отображать кнопку сохранения скриншота из видео». В правом нижнем углу плеера левее иконки «Настройки» должна появиться иконка камеры, по нажатию на которую текущий кадр из видео будет сохранён на ваш компьютер в формате JPEG.

mobile menu iconСколько это всё стоит?mobile menu icon

  • Нисколько. Наши сервисы абсолютно бесплатны для всех пользователей. Здесь нет PRO подписок, нет ограничений на количество или максимальную длину скачиваемого видео.