Создать robots.txt

Главная » Инструменты »

Составить правильный Robots.txt для сайта - это первый шаг на пути SEO продвижения вашего проекта. С помощью этого инструмента, вы сможете создать файл, соблюдая все правила поисковых систем. Основным плюсом данного инструмента является то, что здесь вы сможете сразу настроить правила индексации для всех известных поисковых роботов.

Если у вас возникнут проблемы, наведите мышку на значок

Сохраните, чтобы не потерять инструмент

Основные данные
Укажите основные данные файла robots.txt, чтобы помочь поисковым машинам индексировать ваш сайт.


Запретить/Разрешить роботу индексировать сайт
Установите или уберите галочку в поле, чтобы разрешить или запретить индексацию вашего сайта определённым роботом.

Роботс под определённую CMS
Для каждой CMS есть определёные настройки CMS. Если вы знаете вашу системы выбирите её из списка.

Код для установки на сайт
Скропируйте настройки в файл robots.txt, если он у вас уже есть. Если нет, скачайте и загрузите файл в корень сайта.

выделить код

Как создать правильный Robots.txt

Что бы правильно составить настройки для поисковых систем, рекомендую вам воспользоваться данным инструментом.

Robots.txt (Роботс) — это текстовый файл (.txt) с кодировкой UTF-8, который находится в корне (корневой директории) сайта и служит для обозначения разрешений и запретов индексации для поисковых роботов.

Для создания Robots.txt вам необходимо заполнить все строчки в «основные данные».

Каждое из этих полей отвечает за свою функцию:

  • задержка обхода - скорость перехода (в секундах) на другу страницу;
  • host - домен вашего сайта без http:// или https://;
  • sitemap - укажите адрес карты сайта (Адрес файла с указание домена и https://);
  • запретить индексировать - страницы, которые запрещено посещать роботам. (Без указания домена и https://).

После того, как вы указали все необходимые данные, вам останется указать галочками те поисковые системы, доступ которым вы хотите разрешить. По умолчанию разрешён доступ для всех.

Обновление инструмента 2.0

В новом обновление вы сможете создать Robots для вашей CMS. Настройки для каждой системы были взяты с официальных источников, в них указаны все рекомендованные настройки.

В данный момент вы можете выбрать одну из следующих CMS: WordPress, 1С-Bitrix, MODx Evo, MODx Revo, Joomla, uCoz, Opencart, Drupal, Blogger, Magento, TYPO3. Если вы не нашли нужной вам системы, напишите о ней в комментариях. Комментарии с большим количеством лайков, будут реализованы.

Завершающим этапом будет загрузить полученный файл robots.txt в корневую папку. Если данный файл уже создан, просто скопируйте получившийся код и замените старые настройки на него.

Используйте удобный букмарклет для быстрой проверки файлов Роботс на сайтах.


Перетащите букмарклет себе в закладки и пользуйтесь инструментом проще!