Брянск

8 (920) 809-36-69

Прошу перезвонить

Прошу перезвонить

Создание Robots.txt

Составить правильный Robots.txt для сайта - это первый шаг на пути SEO продвижения вашего проекта. С помощью этого инструмента, вы сможете создать файл соблюдая все правила поисковых систем. Основным плюсом данного инструмента является то, что здесь вы сможете сразу настроить правила индексации для всех известных поисковых роботов.

Основные данные для файла


Запретить/Разрешить роботу индексировать сайт

Ваш Robots.txt

выделить код

Инструкция по использованию инструмента

Для начала создания файла вам необходимо заполнить данные Host и Sitemap.xml Эти данные позволят роботу ускорить индексацию сайта.

  • Host - основной домен вашего сайта без http:// или https://. Например, для моего сайта это - c-wd.ru
  • Sitemap.xml - Карта сайта. Должна содержать список всех страниц вашего сайта. Поможет роботу в индексации. Пример - http://c-wd.ru/sitemap.xml

Если вы хотите запретить поисковым системам индексировать определённые разделы вашего сайта, вам необходимо прописать их в строке «Запретить индексировать»

После того, как вы указали все необходимые данные, вам останется указать галочками те поисковые системы, доступ к сайту которым вы хотите разрешить. По умолчанию разрешён доступ для всех.

Завершающим этапом будет создать файл Robots.txt с кодировкой UTF-8 и вставить в него получившийся код. Файл необходимо загрузить в корень сайта, что бы получилось - http://c-wd.ru/robots.txt