Генератор robots.txt
robots.txt — файл в корне сайта, который указывает поисковым роботам, какие страницы можно и нельзя сканировать.
User-agent — имя бота, к которому относятся правила. Символ * означает «все роботы».
Disallow — запрещает сканирование указанного пути. Пустое значение означает «всё разрешено».
Allow — разрешает сканирование пути (используется как исключение из Disallow).
Crawl-delay — задержка между запросами робота в секундах. Поддерживается Yandex и Bing, Google игнорирует.
Sitemap — URL карты сайта в формате XML. Помогает роботам найти все страницы.
Файл robots.txt
Robots.txt — текстовый файл в корне сайта, который указывает поисковым роботам, какие страницы можно индексировать, а какие нет. Правильная настройка robots.txt помогает оптимизировать краулинговый бюджет и защитить служебные страницы от попадания в поисковую выдачу.
Основные директивы
- User-agent — указывает, для какого робота предназначены правила
- Disallow — запрещает индексацию указанного пути
- Allow — разрешает индексацию (переопределяет Disallow)
- Sitemap — указывает путь к XML-карте сайта
Для полной SEO-оптимизации добавьте Schema.org-разметку с помощью генератора Schema.org.