Качественный хостинг

Составляем правильный робот (robots.txt) для управления индексацией сайта

Составляем правильный робот (robots.txt) для управления индексацией сайтаВ предыдущей теме вы установили и настроили важный плагин Platinum Seo Pack, который желательно установить заранее сразу перед тем, как только ваш сайт будет размещен во всемирной паутине. Так же заранее составляем правильный Robots.txt файл для управления индексацией сайта.   Моментально устанавливаем его в корневую папку, после размещения блога в интернет, так как  поисковый робот начинает свою работу с файла robot.txt. Можно его установить без особой спешки до того момента, пока сайт еще находится на локальном сервере. Поэтому лучше написать его и вставить прямо сейчас, не откладывая на потом.

Правильный робот (robots.txt)

Наш файл-робот задает тон в индексации сайта. Если его не прописать сразу, то ваш проект будет полностью проиндексирован всеми поисковиками, в том числе самыми популярными Яндекс и Гогл. Проиндексируются страницы, которые не имеют никакого отношения к вашему блогу. Появится множество дубликатов, что очень не нравится поисковым системам. Происходит большая затрата времени на загрузку дублирующих страниц. Поэтому правильным решением является, соблюдение правил индексации.

Текстовый  файл вы можете создать в любом редакторе, в том числе и в Notepad++, в дальнейшем вам удобнее редактировать в нем.

Если, вы хотите подсмотреть, как выглядит такой файл на любом сайте, то ищите его по адресу http://mуblog.ru/robots.txt в умной строке. Прописываете адрес сайта, прибавляете название текстового файла к главному адресу, после нажимаете клавишу «Ввод».

Теперь рассмотрим, что такое robots.txt- это технический индивидуальный файл в текстовом формате, который нужно установить в корневую папку сайта. Он производит команды для роботов-поисковиков, которые занимаются анализом и индексацией страниц.

Теперь посмотрим, какие директивы прописываются в файле для бота поисковой системы.

  • User agent: *- обозначает обращение ко всем ботам, для которых будут установлены правила работы.
  • Disallow:- запрещает посещать написанный  полный или не полный путь к статье. Если он не заполнен, то индексация разрешена.
  • User-agent*                                                                                                                            Disallow: / — такая комбинация не разрешает индексировать
  • User-agent: Yandex                                                                                                                                   Disallow: /- запрещает только Яндексу индексацию
  •  «*» — этот знак обозначает любые символы в последовательности
  • Host: Myblog.ru – эта команда устанавливается для робота Яндекс, она говорит о том, что сайт является главным зеркалом
  • Sitemap – обозначает, где  находиться карта Sitemap xml, будет  показывать полный путь к файлу. Устанавливать такую карту будем попозже.

Теперь, пора написать правильный стандартный Robot.txt. Строго соблюдаем все интервалы и символы. Скачать можно готовый робот здесь.

Составляем правильный робот (robots.txt) для управления индексацией сайта

Только вместо «myblog.ru» вписываете название своего сайта во всех строках, где видите такие слова.

Вставляем текст робота в поле открытого редактора NotePad++

  1. Открываем «Файл > Сохранить как…»
  2. Находим корневой каталог, в моем случае Wb
  3.  В поле «Имя файла» пишем его название robots
  4.  В поле «Тип файла» производим в формате txt. Нажимаем кнопку сохранить.
  5.  Полное название папки «robots.txt» в нашем случае, находиться по адресу: server/home/localhost/www/wb/robots.txt

Составляем правильный робот (robots.txt) для управления индексацией сайта

Теперь заглянем в корневую папку, все наш текстовый файлик на своем месте

 Составляем правильный робот (robots.txt) для управления индексацией сайта

Вывод: Мы составили правильные директивы текстового файла robots.txt, который устанавливает индивидуальные правила индексации для ботов поисковых систем. Загрузили его в корневую папку нашего сайта. Мы еще вернемся к этой теме, для того чтобы проверить его в работе, когда блог будет находиться в интернете.

На сегодня все. Если понравились статьи, подписывайтесь на рассылку почты. До встречи.

Запись опубликована в рубрике Создать блог с метками Составить робот. Добавьте в закладки постоянную ссылку.
Качественный хостинг

Подпишитесь на новые статьи↓↓↓сайта. Введи свой e-mail:

Читать еще интересные статьи:

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

*