Robots.txt: настройка индексации сайта
20.03.2025
1 мин. чтения
Файл robots.txt — первое, что проверяет поисковый робот при посещении сайта. Этот текстовый файл, расположенный в корне домена, содержит инструкции для краулеров: какие страницы можно индексировать, а какие — нет.
Синтаксис robots.txt
Файл состоит из блоков правил. Каждый блок начинается с директивы User-agent, за которой следуют правила Disallow и Allow:
- User-agent: * — правила для всех роботов
- User-agent: Googlebot — правила только для Google
- Disallow: /admin/ — запретить индексацию раздела /admin/
- Allow: /admin/public/ — разрешить подраздел (исключение из Disallow)
- Sitemap: https://example.com/sitemap.xml — путь к карте сайта
Частые ошибки
- Блокировка CSS/JS файлов — Google не сможет отрендерить страницу
- Disallow: / — полностью блокирует индексацию сайта
- Забытый Sitemap — робот может не найти все страницы
Заключение
Создайте корректный robots.txt в нашем генераторе. Добавьте Schema.org-разметку с помощью генератора Schema.org.