.

Как создать Robot.txt и работа с ним

0
Как создать Robot.txt и работа с ним


Давайте поговорим о том, как же работать и создать файл robot.txt. Сложного в этом ничего нет, когда я начал создавать сайт я даже не задумывался по этим вопросам,но в тот момент когда ты начинаешь сталкиваться сними и возникает желание подробнее изучить какой-либо момент.

Начнет с того, что файл robot.txt служит неким проводником для роботов поисковых систем, и если Вам хочется, чтобы сайт быстрее проиндексировали, особое внимание уделите именно ему.

Давайте сразу начнем с конкретных примеров.

1. В корневой папке ваше сайта просто создайте файл robots.txt

User-agent: *
Disallow: /


Указывая какие-либо значение в юзер агент мы ограничиваем индексацию в одной поисковой системе, либо же нескольких, можно сразу во всех, для этого ставим *. Вместо нее можно прописать yandex, Googlebot, Slurp (сайт яху), MSNBot, SputnikBot и так далее.
Слеш означает что нам необходимо ограничить именно все страницы на сайте.

Указав после Disallow любую другуй страницу, например: /dleshablony/ то индексации не будет подвержана именно эта категория.

Если мы хотит закрыть индексацию папки, но отдельный файл оставить, то пишем такой код
User-agent: *
Аllow: /folder/file.php
Disallow: /folder/

Где Disallow закрывает доступ к папке, а Аllow открывает один файл из этой папки.

Чтобы закрыть картинки просто указываем их расширение

Disallow: *.png


Обязательно советую всем сделать зеркало своего сайта, так как индексация совершенно разная у www и dlefree.ru

Host: www.dlefree.ru


И не забудьте прописать адрес для вашей карты сайта, чтобы бот поисковых систем знал на какие страницы переходить:

 Sitemap: https://dlefree.ru/sitemap.xml



Думаю для начинающих вебмастеров вполне достаточно будет той информации что я изложил, хотя повторюсь, что многие даже не оценbвают истинное значение файла robots.txtскачать dle 11.0фильмы бесплатно