.
Что такое DataLife Engine?

Это универсальный движок на основе которого Вы сможете создать свой личный сайт. Движок на столько универсальный, что Вы можете создать себе сайт под любую тематику, начиная от одно страничного сайта визитки, до самого крупного портала. DataLife Engine на столько прост, что сейчас им могут овладеть даже 5 классники. На этой CMS Вы можете создать: кино сайт, игровой, музыкальный, веб сайт и многое другое. Для него существуют разного рода дополнения, а именно: шаблоны, модули, хаки.
Как создать Robot.txt и работа с ним


Давайте поговорим о том, как же работать и создать файл robot.txt. Сложного в этом ничего нет, когда я начал создавать сайт я даже не задумывался по этим вопросам,но в тот момент когда ты начинаешь сталкиваться сними и возникает желание подробнее изучить какой-либо момент.

Начнет с того, что файл robot.txt служит неким проводником для роботов поисковых систем, и если Вам хочется, чтобы сайт быстрее проиндексировали, особое внимание уделите именно ему.

Давайте сразу начнем с конкретных примеров.

1. В корневой папке ваше сайта просто создайте файл robots.txt

User-agent: *
Disallow: /


Указывая какие-либо значение в юзер агент мы ограничиваем индексацию в одной поисковой системе, либо же нескольких, можно сразу во всех, для этого ставим *. Вместо нее можно прописать yandex, Googlebot, Slurp (сайт яху), MSNBot, SputnikBot и так далее.
Слеш означает что нам необходимо ограничить именно все страницы на сайте.

Указав после Disallow любую другуй страницу, например: /dleshablony/ то индексации не будет подвержана именно эта категория.

Если мы хотит закрыть индексацию папки, но отдельный файл оставить, то пишем такой код
User-agent: *
Аllow: /folder/file.php
Disallow: /folder/

Где Disallow закрывает доступ к папке, а Аllow открывает один файл из этой папки.

Чтобы закрыть картинки просто указываем их расширение

Disallow: *.png


Обязательно советую всем сделать зеркало своего сайта, так как индексация совершенно разная у www и dlefree.ru

Host: www.dlefree.ru


И не забудьте прописать адрес для вашей карты сайта, чтобы бот поисковых систем знал на какие страницы переходить:

 Sitemap: https://dlefree.ru/sitemap.xml



Думаю для начинающих вебмастеров вполне достаточно будет той информации что я изложил, хотя повторюсь, что многие даже не оценbвают истинное значение файла robots.txtскачать dle 11.0фильмы бесплатно