# Генератор robots.txt онлайн Создание файла robots.txt для управления индексацией сайта Быстрые пресеты Sitemap URL Результат **robots.txt** — файл в корне сайта, который указывает поисковым роботам, какие страницы можно и нельзя сканировать. **User-agent** — имя бота, к которому относятся правила. Символ * означает «все роботы». **Disallow** — запрещает сканирование указанного пути. Пустое значение означает «всё разрешено». **Allow** — разрешает сканирование пути (используется как исключение из Disallow). **Crawl-delay** — задержка между запросами робота в секундах. Поддерживается Yandex и Bing, Google игнорирует. **Sitemap** — URL карты сайта в формате XML. Помогает роботам найти все страницы. ### Собрать рекламу, пост и картинку за один раз? Опишите ваш товар или услугу — ИИ сам напишет цепляющий текст, подготовит ссылки и нарисует баннер. \[ Объявления + UTM-ссылки + баннер \](https://usetoolz.ru?q=%D0%9D%D0%B0%D0%BF%D0%B8%D1%88%D0%B8%205%20%D0%BF%D1%80%D0%BE%D0%B4%D0%B0%D1%8E%D1%89%D0%B8%D1%85%20%D0%BE%D0%B1%D1%8A%D1%8F%D0%B2%D0%BB%D0%B5%D0%BD%D0%B8%D0%B9%20%D0%B4%D0%BB%D1%8F%20%D1%80%D0%B5%D0%BA%D0%BB%D0%B0%D0%BC%D1%8B%2C%20%D1%81%D0%BE%D0%B1%D0%B5%D1%80%D0%B8%20UTM-%D1%81%D1%81%D1%8B%D0%BB%D0%BA%D0%B8%20%D0%B8%20%D0%BD%D0%B0%D1%80%D0%B8%D1%81%D1%83%D0%B9%20%D1%80%D0%B5%D0%BA%D0%BB%D0%B0%D0%BC%D0%BD%D1%8B%D0%B9%20%D0%B1%D0%B0%D0%BD%D0%BD%D0%B5%D1%80) \[ Статья для сайта + обложка \](https://usetoolz.ru?q=%D0%9D%D0%B0%D0%BF%D0%B8%D1%88%D0%B8%20%D0%BF%D0%BE%D0%BB%D0%B5%D0%B7%D0%BD%D1%83%D1%8E%20%D1%81%D1%82%D0%B0%D1%82%D1%8C%D1%8E%20%D1%81%20%D0%B7%D0%B0%D0%B3%D0%BE%D0%BB%D0%BE%D0%B2%D0%BA%D0%B0%D0%BC%D0%B8%2C%20%D0%BC%D0%B5%D1%82%D0%B0-%D1%82%D0%B5%D0%B3%D0%B0%D0%BC%D0%B8%20%D0%B8%20%D1%81%D0%B3%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D1%80%D1%83%D0%B9%20%D0%BA%20%D0%BD%D0%B5%D0%B9%20%D0%BE%D0%B1%D0%BB%D0%BE%D0%B6%D0%BA%D1%83) \[ Пост для Telegram + картинка \](https://usetoolz.ru?q=%D0%9D%D0%B0%D0%BF%D0%B8%D1%88%D0%B8%20%D0%B2%D0%BE%D0%B2%D0%BB%D0%B5%D0%BA%D0%B0%D1%8E%D1%89%D0%B8%D0%B9%20%D0%BF%D0%BE%D1%81%D1%82%20%D0%B4%D0%BB%D1%8F%20Telegram-%D0%BA%D0%B0%D0%BD%D0%B0%D0%BB%D0%B0%20%D0%B8%20%D1%81%D0%B3%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D1%80%D1%83%D0%B9%20%D0%BA%20%D0%BD%D0%B5%D0%BC%D1%83%20%D1%8F%D1%80%D0%BA%D1%83%D1%8E%20%D0%B8%D0%BB%D0%BB%D1%8E%D1%81%D1%82%D1%80%D0%B0%D1%86%D0%B8%D1%8E) ## Генератор robots.txt: создание файла для управления индексацией Онлайн-генератор robots.txt помогает быстро создать правильный файл для управления поисковыми роботами без знания синтаксиса. Выбирайте готовые пресеты для WordPress, интернет-магазинов и Laravel, настраивайте директивы Allow/Disallow и Sitemap для Googlebot, Yandexbot и других краулеров. ### Что такое robots.txt Robots.txt — текстовый файл в корне сайта, который инструктирует поисковых роботов о том, какие страницы и разделы можно или нельзя сканировать. Это первый файл, который проверяет поисковый бот при визите на сайт. Важно: robots.txt управляет *сканированием*, а не *индексированием*. Закрытая от сканирования страница может всё равно попасть в индекс через внешние ссылки. Для полного исключения из индекса используйте тег `noindex`. ### Синтаксис директив robots.txt | Директива | Описание | Пример | | --- | --- | --- | | User-agent | Указывает робота, к которому применяются правила | User-agent: Googlebot | | User-agent: * | Применяется ко всем роботам | User-agent: * | | Disallow | Запрещает сканирование URL или раздела | Disallow: /admin/ | | Allow | Разрешает сканирование (переопределяет Disallow) | Allow: /public/ | | Sitemap | Указывает URL карты сайта | Sitemap: https://site.ru/sitemap.xml | | Crawl-delay | Задержка между запросами (секунды). Не поддерживается Google. | Crawl-delay: 1 | ### Синтаксис путей - `Disallow: /` — запрещает весь сайт - `Disallow: /admin/` — запрещает раздел (слеш в конце обязателен для точного совпадения) - `Disallow: /*.pdf$` — запрещает все PDF-файлы (поддерживается Google) - `Disallow:` (пустое значение) — разрешает всё ### Типичные примеры ### Разрешить всё ``` User-agent: * Disallow: Sitemap: https://site.ru/sitemap.xml ``` ### Закрыть служебные разделы ``` User-agent: * Disallow: /admin/ Disallow: /cart/ Disallow: /checkout/ Disallow: /search/ Allow: / Sitemap: https://site.ru/sitemap.xml ``` ### Разрешить только Googlebot ``` User-agent: * Disallow: / User-agent: Googlebot Allow: / ``` ### Частые ошибки - **Закрыт весь сайт** — `Disallow: /` для всех роботов. Случайно происходит при разработке и остаётся после деплоя. - **Закрыты CSS/JS** — роботы не могут отрисовать страницу, что ухудшает оценку качества. - **Закрыты URL из sitemap** — противоречие: вы одновременно запрещаете и рекомендуете страницу. - **Конфликт Disallow/Allow** — более специфичное правило имеет приоритет у Google; у Яндекса — последнее совпадающее правило. Смотрите также: \[генератор мета-тегов\](https://usetoolz.ru/seo/meta-tag-generator), \[генератор Schema.org\](https://usetoolz.ru/seo/schema-generator), \[анализатор SEO-текста\](https://usetoolz.ru/seo/seo-text-analyzer). ## Частые вопросы Ответы на популярные вопросы о работе инструмента **01 Можно ли полностью скрыть страницу через robots.txt?** Нет. Robots.txt запрещает сканирование, но Google может проиндексировать URL, узнав о нём из внешней ссылки, не посещая саму страницу. Для полного скрытия — мета-тег <meta name="robots" content="noindex"> или HTTP-заголовок X-Robots-Tag: noindex. **02 Влияет ли robots.txt на позиции?** Косвенно — да. Закрытие от сканирования мусорных страниц (дубли, фильтры, пагинация) экономит краулинговый бюджет для важных страниц. Но закрытие нужных страниц напрямую выбивает их из индекса. **03 Нужен ли sitemap в robots.txt?** Не обязательно, но рекомендуется. Google и Яндекс автоматически находят sitemap.xml через robots.txt. Это ускоряет обнаружение новых страниц. ### [Robots.txt: настройка индексации сайта](https://usetoolz.ru/blog/robots-txt-nastrojka-indeksacii) Как правильно настроить robots.txt: директивы, синтаксис, частые ошибки и лучшие практики для SEO. Читать полностью → ### Похожие инструменты [JS Минификатор](https://usetoolz.ru/dev/minify-js) Минификация JavaScript кода онлайн — сжатие JS-файлов, удаление пробелов и комментариев [HTTP заголовки](https://usetoolz.ru/dev/http-headers) Просмотр HTTP-заголовков ответа любого URL [Regex Тестер](https://usetoolz.ru/dev/regex-tester) Тестирование регулярных выражений онлайн с подсветкой совпадений. Проверка regex-паттернов на тестовой строке [LTV Калькулятор](https://usetoolz.ru/marketing/ltv-calculator) Расчёт пожизненной ценности клиента (LTV)