

Здравствуйте, уважаемые начинающие вебмастера. Речь в сегодняшней
статье пойдет от том, как составить правильный Robots.txt на своем Dle
сайте, так что бы поисковые машины индексировали именно те страницы
сайта, которые Вы хотели видеть в индексе поисковых системах. Robots.txt
позволяет правильно направлять поисковые машины по заданному курс, что
улучшить индексацию сайта и запретит к индексации те страницы Dle сайта,
которые не должны оказываться в публичном доступе. Поисковые машины
индексируют все, что предоставляет ему веб - мастер и выдает их в
индекс. Только веб - мастер вправе, что то запретить индексировать
поисковым системам. Как раз о том, что запретить, а что разрешить
индексировать поисковым системам и пойдёт речь в данной статье.

Данная статья повествует о файле .htaccess, с помощью которого возможно управление вашим веб-сервером. Этот полезный файл способен устанавливать пароль на целую папку или определенный файл, устанавливать страницу, к которой будет обращаться сервер при запросе к каталогу, создавать редиректы, использовать ЧПУ (Человеку Понятный URL), устанавливать страницы ошибок, запрещать доступ к файлу по определенному IP, и много других полезностей. Я вам расскажу на примерах, быстро и понятно, про этот файл, а так же научу создавать ЧПУ для определенной ссылки, сделаем добавление для DLE.


