.
Как создать Robot.txt и работа с ним


Только что мы рассмотрели статью про то, почему не индексируется сайт в поисковых системах, одним из пунктов было то,что в файле робота стоит ограничение для поисковых систем и индексация просто невозможна. В статье я изложил основные атрибуты данного файла, а также некоторые советы начинающим вебмастерам.