Брянск

8 (920) 809-36-69

Прошу перезвонить
Прошу перезвонить

Генерация файла robots.txt

Составить правильный Robots.txt для сайта - это первый шаг на пути SEO продвижения вашего проекта. С помощью этого инструмента, вы сможете создать файл, соблюдая все правила поисковых систем. Основным плюсом данного инструмента является то, что здесь вы сможете сразу настроить правила индексации для всех известных поисковых роботов.

Поделитесь со своими друзьями

Основные данные для файла
Укажите основные данные файла robots.txt, чтобы помочь поисковым машинам индексировать ваш сайт.


Запретить/Разрешить роботу индексировать сайт
Установите или уберите галочку в поле, чтобы разрешить или запретить индексацию вашего сайта определённым роботом.

Ваш Robots.txt
Скопируйте полученный код или скачайте файл и загрузите его в корневую папку сайта. Файл должен открываться по адресу https://вашсайт.ru/robots.txt.
выделить код

Как создать правильный Robots.txt

Что бы правильно составить настройки для поисковых систем, рекомендую вам воспользоваться данным инструментом.

Robots.txt (Роботс) — это текстовый файл (.txt) с кодировкой UTF-8, который находится в корне (корневой директории) сайта и служит для обозначения разрешений и запретов индексации для поисковых роботов.

Для создания файла Robots.txt вам необходимо заполнить все строчки в «основные данные для файла».

Каждое из этих полей отвечает за свою функцию:

  • задержка обхода - скорость перехода (в секундах) на другу страницу;
  • host - домен вашего сайта без http:// или https://;
  • sitemap - обычно это sitemap.xml файл который содержит древо сайта (Адрес файла с указание домена и https://);
  • запрещённые страницы - страницы, которые запрещено посещать роботам. (Без указания домена и https://).

После того, как вы указали все необходимые данные, вам останется указать галочками те поисковые системы, доступ к сайту которым вы хотите разрешить. По умолчанию разрешён доступ для всех.

Завершающим этапом будет загрузить полученный файл robots.txt в корень сайта. Если данный файл уже создан, просто скопируйте получившийся код и замените старые настройки на него.

Для проверки корректной работы файла роботс.txt, рекомендую пользоваться букмарклетом ниже.


Перетащите букмарклет себе в закладки и пользуйтесь инструментом проще!