Генератор robots.txt
Войдите или зарегистрируйтесь, чтобы сохранять инструменты в избранное
Создание файла robots.txt для управления индексацией сайта
robots.txt — файл в корне сайта, который указывает поисковым роботам, какие страницы можно и нельзя сканировать.
User-agent — имя бота, к которому относятся правила. Символ * означает «все роботы».
Disallow — запрещает сканирование указанного пути. Пустое значение означает «всё разрешено».
Allow — разрешает сканирование пути (используется как исключение из Disallow).
Crawl-delay — задержка между запросами робота в секундах. Поддерживается Yandex и Bing, Google игнорирует.
Sitemap — URL карты сайта в формате XML. Помогает роботам найти все страницы.
Генератор robots.txt: создание файла для управления индексацией
Онлайн-генератор robots.txt помогает быстро создать правильный файл для управления поисковыми роботами без знания синтаксиса. Выбирайте готовые пресеты для WordPress, интернет-магазинов и Laravel, настраивайте директивы Allow/Disallow и Sitemap для Googlebot, Yandexbot и других краулеров.
Что такое robots.txt
Robots.txt — текстовый файл в корне сайта, который инструктирует поисковых роботов о том, какие страницы и разделы можно или нельзя сканировать. Это первый файл, который проверяет поисковый бот при визите на сайт.
Важно: robots.txt управляет сканированием, а не индексированием. Закрытая от сканирования страница может всё равно попасть в индекс через внешние ссылки. Для полного исключения из индекса используйте тег noindex.
Синтаксис директив robots.txt
| Директива | Описание | Пример |
|---|---|---|
| User-agent | Указывает робота, к которому применяются правила | User-agent: Googlebot |
| User-agent: * | Применяется ко всем роботам | User-agent: * |
| Disallow | Запрещает сканирование URL или раздела | Disallow: /admin/ |
| Allow | Разрешает сканирование (переопределяет Disallow) | Allow: /public/ |
| Sitemap | Указывает URL карты сайта | Sitemap: https://site.ru/sitemap.xml |
| Crawl-delay | Задержка между запросами (секунды). Не поддерживается Google. | Crawl-delay: 1 |
Синтаксис путей
Disallow: /— запрещает весь сайтDisallow: /admin/— запрещает раздел (слеш в конце обязателен для точного совпадения)Disallow: /*.pdf$— запрещает все PDF-файлы (поддерживается Google)Disallow:(пустое значение) — разрешает всё
Типичные примеры
Разрешить всё
User-agent: *
Disallow:
Sitemap: https://site.ru/sitemap.xmlЗакрыть служебные разделы
User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /search/
Allow: /
Sitemap: https://site.ru/sitemap.xmlРазрешить только Googlebot
User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /Частые ошибки
- Закрыт весь сайт —
Disallow: /для всех роботов. Случайно происходит при разработке и остаётся после деплоя. - Закрыты CSS/JS — роботы не могут отрисовать страницу, что ухудшает оценку качества.
- Закрыты URL из sitemap — противоречие: вы одновременно запрещаете и рекомендуете страницу.
- Конфликт Disallow/Allow — более специфичное правило имеет приоритет у Google; у Яндекса — последнее совпадающее правило.
Частые вопросы
Можно ли полностью скрыть страницу через robots.txt?
Нет. Robots.txt запрещает сканирование, но Google может проиндексировать URL, узнав о нём из внешней ссылки, не посещая саму страницу. Для полного скрытия — мета-тег <meta name="robots" content="noindex"> или HTTP-заголовок X-Robots-Tag: noindex.
Влияет ли robots.txt на позиции?
Косвенно — да. Закрытие от сканирования мусорных страниц (дубли, фильтры, пагинация) экономит краулинговый бюджет для важных страниц. Но закрытие нужных страниц напрямую выбивает их из индекса.
Нужен ли sitemap в robots.txt?
Не обязательно, но рекомендуется. Google и Яндекс автоматически находят sitemap.xml через robots.txt. Это ускоряет обнаружение новых страниц.
Смотрите также: генератор мета-тегов, генератор Schema.org, анализатор SEO-текста.