Скачать "Добавляем и редактируем файл robots.txt"

Обложка аудиозаписи

Подождите немного, мы готовим ссылки для удобного просмотра видео без рекламы и его скачивания.

Предыдущее видео: Формируем заголовки H1-H6 на страницах сайта Следующее видео: C++ Разработчик учит Python

C++ Разработчик учит Python

C++ Разработчик учит Python

Канал: Winderton

Формируем заголовки H1-H6 на страницах сайта

Формируем заголовки H1-H6 на страницах сайта

Канал: loftblog

Как улучшить поведенческие факторы(ПФ) на сайте?

Как улучшить поведенческие факторы(ПФ) на сайте?

Канал: loftblog

Химия 43. Растительные смолы. Сосновая канифоль — Академия занимательных наук

Химия 43. Растительные смолы. Сосновая канифоль — Академия занимательных наук

Канал: Академия Занимательных Наук

CSS3 #20 Таблицы и курсор (Tables & Cursor)

CSS3 #20 Таблицы и курсор (Tables & Cursor)

Канал: webDev

Современная Backend Архитектура. Масштабируемые и высоконагруженные приложения

Современная Backend Архитектура. Масштабируемые и высоконагруженные приложения

Канал: Артём Шумейко

robots

стандарт исключения для роботов

loft blog

лофтблог

лофт блог

урок

курс

образование

обучение

видеоурок

верстка

программирование

вебинар

интервью

новости web

web

веб

frontend

backend

фронтенд

бэкенд

html

css

js

php

lesson

programming

training

courses

сайт

верстка сайта

администрирование

сделать сайт

приложения на телефон

свое приложение

как сделать сайт

интернетмаркетолог

seo

00:00:00

здравствуйте друзья вы смотрите лофтблог

00:00:03

и это 8 рук курс вести его простым

00:00:05

языком меня зовут трафик решат и сегодня

00:00:08

речь пойдёт о файле robots.txt

00:00:14

robots.txt этот файл который содержит

00:00:17

параметры для роботов поисковых систем о

00:00:19

том как смотреть ваш сайт так

00:00:21

называемого стандартно исключения для

00:00:23

роботов проще говоря в этом файле нам

00:00:25

нужно прописать определенные директивы

00:00:27

которые будут указывать какие файлы или

00:00:30

папки нужно видеть поисковым роботам а

00:00:32

какие совершенным будут неинтересны

00:00:34

например такой неинтересной папка будет

00:00:37

раздел с административной панели где

00:00:39

содержатся файлы которые мы бы не хотели

00:00:41

показывать роботу соответственно робот

00:00:44

не заходит в эти файлы и они появляются

00:00:45

в индексе поисковых систем и наверняка

00:00:48

вам пока непонятно для чего нужно

00:00:49

все-таки скрывать какие-то там файлы и

00:00:51

папки

00:00:52

давайте перечислим что в основном

00:00:54

скрывает поисковых роботов через файл

00:00:56

robots.txt как я уже сказал это административная

00:00:59

панель сайта делать там пользователя

00:01:01

линчеван это ваша территория также нужно

00:01:04

скрывать пустые страницы пустые страницы

00:01:06

не очень хорошо влияют на продвижение

00:01:08

так как по разным причинам они не даются

00:01:10

это продвигаться в поиске страницы с

00:01:13

формами регистрации пользователя и тоже

00:01:15

считаются пустыми и мы вскрываем

00:01:17

различные папки компонентов сайта и файл

00:01:21

служебной информации

00:01:22

скрывать нужно все что не должна попасть

00:01:25

поиски все куда не должен попасть

00:01:26

пользователи с поиском чтобы увидеть

00:01:28

файл robots.txt на любом сайте в конце

00:01:31

доменного имени напишите слэш robots.txt

00:01:34

если он есть вы его обязательно видите

00:01:36

давайте попробуем это сделать на примере

00:01:38

сайта ветру

00:01:41

вот я набрала метан в конце набираю

00:01:45

слышь и ровности xi и у меня вышел вот

00:01:50

такой список непонятных слов давайте их

00:01:52

разберем я сейчас скопирую

00:01:55

чтобы было удобнее весь этот файл в

00:01:59

блокнот

00:02:11

и сейчас мы подробно разберем начнем с

00:02:14

директивы хост директива хвост служит

00:02:17

для указания робота яндекса главного

00:02:19

зеркала вашего сайта дело в том что один

00:02:22

и тот же сайт может быть доступен по

00:02:23

несколько недель

00:02:24

например с www

00:02:27

или без него в данном случае о авито

00:02:32

идет за w

00:02:34

главное зеркало также есть дубли страниц

00:02:39

а на них по моему я уже говорил в

00:02:41

прошлых уроках вот и поэтому важно

00:02:46

указывать именно главное зеркало

00:02:47

далее идет пустая строка это важно

00:02:52

сделать для того чтобы мы видели переход

00:02:54

вот идет директиву host потом идет

00:02:57

главное зеркало то есть то что прописано

00:02:59

директиве потом идет пустая строка и

00:03:02

потом идет директивы user-agent

00:03:05

директиву user-agent определяет для

00:03:08

какого робота написаны директивы которые

00:03:11

расположены ниже

00:03:12

то есть в данном случае для робота

00:03:14

яндекса написано следующий дирекцию вот

00:03:16

лог с его директива вы для робота google

00:03:20

а работают вот такие директивы для

00:03:24

робота яндекс директ работают следующие

00:03:27

люси вы для googlebot а следующая

00:03:29

директива

00:03:30

для всех остальных роботов работают

00:03:32

следующий гептил и сейчас разберем какие

00:03:34

директивы прописаны для каких роботов

00:03:36

вот директивы user agent она определяет

00:03:39

для кого робота прописаны правила

00:03:41

которые расположены ниже

00:03:43

данном случае это для робота яндекса

00:03:45

чтобы вы понимали подробными имеется

00:03:48

ввиду программы которые по разным

00:03:50

индексирует ваш сайт то есть это что

00:03:53

роботы что пауки их ещё называют это

00:03:56

программа которая именно проходит по

00:03:59

вашему сайту пробегают по всем страницы

00:04:01

вашего сайта и для них прописаны эти

00:04:04

правила эти правила или рекомендательные

00:04:07

но не носят обязательный характер то

00:04:09

есть роботы могут учесть то что вы здесь

00:04:12

написали о могут не учесть это тоже

00:04:14

важно знать чтобы запретить

00:04:17

роботу доступ каким-то разделам или

00:04:20

отдельным файлом используется директивы

00:04:22

disallow

00:04:23

вот вот эта директива

00:04:27

здесь конкретно написано что у нас для

00:04:32

сайта avito.ru

00:04:34

для конкретных папок items и абьюз

00:04:37

используется то есть она запрещена для

00:04:41

поискового робота то есть все файлы

00:04:44

которые находятся в этой папке например

00:04:47

там будет может быть вот такой файл

00:04:52

находиться он запрещен для индексации

00:04:56

поисковыми роботами может находиться

00:05:00

например такой файл к примеру то есть

00:05:05

любой другой файл он будет запрещен для

00:05:08

индексация есть директива а у

00:05:11

то есть она наоборот разрешает например

00:05:14

вот мы можно увидеть сверху интересный

00:05:16

пример

00:05:17

disallow запрещает папку с но при этом

00:05:22

он разрешает

00:05:23

вложенную в нее папку сиси

00:05:26

то есть с у нас запрещен а вложенная в с

00:05:30

папка с сиси на разрешено

00:05:36

также в директивах иногда используются

00:05:38

комментарии комментарии здесь

00:05:40

обозначаются решеткой например все что

00:05:43

за решеткой в одну строку

00:05:45

например вот это это будет

00:05:52

комментарии вот этому писали комментарии

00:05:58

он игнорируются поисковыми роботами то

00:06:01

есть его как будто бы нет так же в

00:06:04

работе используются спецсимволы есть

00:06:08

спецсимволы а звёздочка и знак доллара в активе

00:06:13

используя звездочка спят символ

00:06:16

звездочка означает любую

00:06:18

последовательность символов например у

00:06:21

нас здесь может быть запрещен к примеру

00:06:25

вот такой файл может быть какая-то

00:06:36

другая здесь папка вложено например она

00:06:38

будет называться вход либо может

00:06:43

называться

00:06:45

как-то иначе вот так то есть все что

00:06:49

находится после адреса основного

00:06:55

допустим avito.ru

00:06:57

еда ? нижний бачок его instat будет

00:07:04

запрещено в данном случае

00:07:05

далее вернемся к спецсимволы знак

00:07:08

доллара

00:07:09

например если мы поставим вот сюда знак

00:07:13

доллара то не будут запрещены вложенные

00:07:18

в него файла будет запрещен только будет

00:07:21

запрещено только папка с то есть

00:07:23

например мы запретили в данном случае

00:07:26

сейчас поставлю комментарий

00:07:29

мы

00:07:33

мы запретили

00:07:38

папку с получается

00:07:49

но при этом мы не запретили файл

00:08:00

вложенный вложенный файл

00:08:09

но любой вложенный файл например пусть

00:08:13

будет индекс печкой то есть мы запретили

00:08:25

эту папку но при этом вложенные файлы мы

00:08:28

не запретили то есть здесь может быть

00:08:30

естественно вместо индекс печки любой

00:08:32

файл вот такой к примеру

00:08:35

все что угодно то есть когда идет

00:08:39

директива звездочка означает что вот это

00:08:41

правило можно применять ко всей папки то

00:08:44

есть то что вложена когда идет директива

00:08:48

знак доллара в конце то есть

00:08:51

использование спецсимволы горные знак

00:08:54

доллара то это означает что это касается

00:08:56

только конкретных папок далее нокдауна

00:09:00

встречаются вот такой вот такая пустая

00:09:03

директива

00:09:04

как в этом крыле это пустая директива

00:09:07

без всяких значения означает равна тому

00:09:11

что будут разрешены все файлы вот так то

00:09:17

есть вот это означает разрешены все

00:09:19

файлы также если мы встретим пустую

00:09:22

директиву allow здесь вот так будет например

00:09:27

то это будет означать что запрещены все

00:09:34

файлы вот то есть это равно вот этому

00:09:54

есть у нас также

00:09:56

директива sitemaps от лап эта карта

00:09:59

сайта

00:10:00

вот оно обозначает где конкретно

00:10:03

находится карта сайта формате xml карта

00:10:07

сайта мы на похоже поговорим с вами вот

00:10:12

прописывается обычно полный адрес от

00:10:16

начала и до конца

00:10:17

также как и в директиве host

00:10:25

еще одна директива которая здесь не

00:10:27

упоминается поливе там хотя думал что

00:10:31

здесь все будет так как сайт давай

00:10:33

большой вот эта директива клинтоном

00:10:43

выглядит она вот так сейчас я расскажу

00:10:45

что на себя представляет очень хорошо

00:10:49

проклеим парам написана в помощь и

00:10:54

яндекса

00:10:55

давайте откроем и посмотрим давайте

00:11:01

прочитаем если адреса страниц сайта

00:11:03

содержит динамические параметры которые

00:11:05

не влияют на их содержимое например

00:11:07

идентификаторы сессии пользователи

00:11:09

гриферов и дам подобное вы можете

00:11:14

описать их с помощью директивы клин

00:11:15

парам а то есть у нас есть на сайте

00:11:19

много различных страниц и очень похожих

00:11:22

содержащие одинаковый контент например

00:11:25

вот у нас есть www.example.com так далее

00:11:33

так далее так далее

00:11:34

продолжают сервис отличается вот эти

00:11:36

страницы 1 2 3 только тем что здесь

00:11:39

написано 1 здесь написано 2 здесь

00:11:42

написано 3 по различным причинам такие

00:11:44

страницы возникают на сайт и получается

00:11:46

дублированный контент как мы записываем

00:11:51

нам нужно чтобы контент шел на какую-то

00:11:55

одну страницу то есть не было двойников

00:11:58

не было дублей страниц

00:12:00

вот либо у нас допустим бывают что

00:12:04

просто

00:12:05

есть пустые страницы нам как-то нужно

00:12:10

если мы их от них не можем избавиться

00:12:11

закрыть ну давайте в данном случае

00:12:14

рассмотрим то что когда у нас разные

00:12:18

страницы нужно сделать из нее одну

00:12:22

читаем дальше параметр грех используется

00:12:25

только для того чтобы отследить какого

00:12:27

ресурса был сделан запрос не меняется

00:12:30

дешевая по всем трем адресам будет

00:12:32

показана одна и та же странице с книгой

00:12:34

бук и d равно 120

00:12:36

тогда если указать директиву следующим

00:12:39

образом то есть у нас показана здесь

00:12:43

user-agent и яндекс disallow

00:12:48

значение не проставлена то есть означает

00:12:51

что все страницы индексируем и

00:12:54

и печат клиента ран робот индекса все

00:12:59

сведет к этому адресу странице то есть у

00:13:01

нас здесь указываются то что есть

00:13:05

страницы которая содержит rift далее

00:13:08

идет пробел и далее идет путь по которым

00:13:12

нужно пройти роботом и понять в этом

00:13:15

случае робот яндекс и сидет сведет все

00:13:17

адреса страницы самым первым

00:13:20

далее указывается синтаксис директивы то

00:13:23

есть что оно означает вот клин парам

00:13:24

идет сначала в первом поле через symbol

00:13:31

and

00:13:32

перечисляются параметры которые нужно не

00:13:34

учитывать то есть мы здесь перечисляем

00:13:37

начали все параметры которые нужно не

00:13:39

учитывать как случае с рф то есть мы

00:13:42

перечислили во втором поле указывается

00:13:45

префикс пути страниц для которых нужно

00:13:47

применить правило здесь мы указываем

00:13:48

путь пав это путь также сделали мы то

00:13:53

есть указали путь идет получается клин

00:13:56

парам пробел потом параметр который не

00:14:01

нужно учитывать

00:14:02

рф потом идет снова пробел и путь до

00:14:06

этого параметра тогда все сводится к

00:14:08

одному

00:14:09

далее еще забыл упомянуть про спид

00:14:12

символ звездочка вот здесь юзера ген

00:14:15

звездочка это означает что правила

00:14:18

действуют для всех роботов

00:14:20

то есть здесь указано у нас

00:14:22

конкретные роботы а блок снизу вот этот

00:14:30

вот этот блок для него действует

00:14:35

эти директивы действуют на все остальные

00:14:37

роботы в некоторых случаях пишут вот как

00:14:41

на моем сайте сайте

00:14:43

сейчас я покажу я здесь пишу директиву

00:14:47

для всех роботов

00:14:56

вот мне идет здесь комментарий потом

00:15:00

идет директивы для всех роботов

00:15:04

user-agent

00:15:05

звездочка обычно все роботы выглядит вот

00:15:08

так коротко

00:15:11

обычно просто вида довольно таки большой

00:15:13

сайт в принципе

00:15:15

robots.txt можно написать самостоятельно

00:15:19

очень просто так идет user agent для

00:15:24

всех получается и закрыты папки

00:15:29

администратор bing кэш компоненты и так

00:15:32

далее указывать хост главное зеркало

00:15:35

лежебок в ком без в

00:15:38

классным где находится карта сайта тоже

00:15:41

полный адрес и здесь идет комментарии

00:15:44

просто как бы для скажем так прикол а

00:15:48

далее дин должен находиться сайт

00:15:50

robots.txt вот я зашёл на свой хостинг у

00:15:53

меня здесь расположены сайты я захожу на

00:15:56

свой получается сайт набираю вижу public

00:16:02

html и вот здесь я находятся все папки и

00:16:06

файлы моего сайта и здесь вижу файл

00:16:12

robots.txt что смогу посмотреть вот

00:16:16

пожалуйста вы также можете добавить в

00:16:18

корень вашего сайта все данные просто

00:16:24

перенести ну все хостингов делается это

00:16:27

по разному

00:16:28

как правило есть вот такая панель где вы

00:16:33

можете загрузить какие-то файлы

00:16:38

найти их браузере и загрузить вот сам

00:16:44

файл robots.txt делается в простом

00:16:47

блокноте сможете написать директивы

00:16:52

которые посчитают нужным

00:16:54

вот и сохранить их назвав

00:16:59

robots.txt кодировка должна быть кстати

00:17:07

ansi имейте ввиду не unicode неуют f8 а

00:17:13

именно ansi

00:17:15

все делается просто платам просто

00:17:17

закачиваете у вас будет на сайте

00:17:20

robots.txt

00:17:21

либо редактируйте существующие как

00:17:23

правило системные управления в

00:17:25

robots.txt уже бывает иметь это ввиду но

00:17:29

пожалуй на этом все спасибо до новых

00:17:32

встреч ставьте лайки подписывайтесь на

00:17:34

loftblog всего вам доброго

Описание:

В этом видеоролике я расскажу, что такое файл robots.txt, для чего он нужен при продвижении сайта и как правильно его настроить. Robots.txt — это стандарт исключения для роботов. Он используется для того, чтобы ограничить доступ роботам к некоторым файлам и папкам на сайте. "SEO простым языком", урок 8 Автор: Рафиков Ришат Сайт автора https://lezhebokov.com/ Сайты в видео: http://www.lezhebokov.com, https://www.avito.ru/, https://yandex.ru/support/webmaster/controlling-robot/robots-txt.html Школа онлайн-образования: https://loftschool.com/ Telegram: https://telegram.me/loftblog Slack: http://slack.loftblog.ru/ Сайт: https://loftschool.com/ Instagram: https://www.facebook.com/unsupportedbrowser Группа вконтакте: http://vk.com/loftblog Facebook: https://www.facebook.com/unsupportedbrowser Twitter: http://twitter.com/loft_blog Больше уроков от lofblog: #loftblog Все уроки по хештегу: #loftblogSEO Полезные уроки для веб-программиста: Поставь лайк - смотивируй автора писать еще :)

Готовим варианты загрузки

Популярные

HD видео

Только звук

Все форматы

* — Если видео проигрывается в новой вкладке, перейдите в неё, а затем кликните по видео правой кнопкой мыши и выберите пункт "Сохранить видео как..."

** — Ссылка предназначенная для онлайн воспроизведения в специализированных плеерах

Вопросы о скачивании видео

Как можно скачать видео "Добавляем и редактируем файл robots.txt"?

Сайт http://unidownloader.com/ — лучший способ скачать видео или отдельно аудиодорожку, если хочется обойтись без установки программ и расширений. Расширение UDL Helper — удобная кнопка, которая органично встраивается на сайты YouTube, Instagram и OK.ru для быстрого скачивания контента.
Программа UDL Client (для Windows) — самое мощное решение, поддерживающее более 900 сайтов, социальных сетей и видеохостингов, а также любое качество видео, которое доступно в источнике.
UDL Lite — представляет собой удобный доступ к сайту с мобильного устройства. С его помощью вы можете легко скачивать видео прямо на смартфон.

Какой формат видео "Добавляем и редактируем файл robots.txt" выбрать?

Наилучшее качество имеют форматы FullHD (1080p), 2K (1440p), 4K (2160p) и 8K (4320p). Чем больше разрешение вашего экрана, тем выше должно быть качество видео. Однако следует учесть и другие факторы: скорость скачивания, количество свободного места, а также производительность устройства при воспроизведении.

Почему компьютер зависает при загрузке видео "Добавляем и редактируем файл robots.txt"?

Полностью зависать браузер/компьютер не должен! Если это произошло, просьба сообщить об этом, указав ссылку на видео. Иногда видео нельзя скачать напрямую в подходящем формате, поэтому мы добавили возможность конвертации файла в нужный формат. В отдельных случаях этот процесс может активно использовать ресурсы компьютера.

Как скачать видео "Добавляем и редактируем файл robots.txt" на телефон?

Вы можете скачать видео на свой смартфон с помощью сайта или pwa-приложения UDL Lite. Также есть возможность отправить ссылку на скачивание через QR-код с помощью расширения UDL Helper.

Как скачать аудиодорожку (музыку) в MP3 "Добавляем и редактируем файл robots.txt"?

Самый удобный способ — воспользоваться программой UDL Client, которая поддерживает конвертацию видео в формат MP3. В некоторых случаях MP3 можно скачать и через расширение UDL Helper.

Как сохранить кадр из видео "Добавляем и редактируем файл robots.txt"?

Эта функция доступна в расширении UDL Helper. Убедитесь, что в настройках отмечен пункт «Отображать кнопку сохранения скриншота из видео». В правом нижнем углу плеера левее иконки «Настройки» должна появиться иконка камеры, по нажатию на которую текущий кадр из видео будет сохранён на ваш компьютер в формате JPEG.

Сколько это всё стоит?

Нисколько. Наши сервисы абсолютно бесплатны для всех пользователей. Здесь нет PRO подписок, нет ограничений на количество или максимальную длину скачиваемого видео.