!\[Robots.txt: настройка индексации сайта\](https://usetoolz.ru/article-covers/images/robots-txt-nastrojka-indeksacii.webp)

Утилиты

# Robots.txt: настройка индексации сайта

!\[Александр Михеев\](https://api.dicebear.com/7.x/initials/svg?seed=AM&backgroundColor=3b82f6&textColor=ffffff&fontSize=42)

Александр Михеев

20 марта 2025 · 1 мин. чтения

Файл robots.txt — первое, что проверяет поисковый робот при посещении сайта. Этот текстовый файл, расположенный в корне домена, содержит инструкции для краулеров: какие страницы можно индексировать, а какие — нет.

## Синтаксис robots.txt

Файл состоит из блоков правил. Каждый блок начинается с директивы User-agent, за которой следуют правила Disallow и Allow:

- **User-agent: *** — правила для всех роботов
- **User-agent: Googlebot** — правила только для Google
- **Disallow: /admin/** — запретить индексацию раздела /admin/
- **Allow: /admin/public/** — разрешить подраздел (исключение из Disallow)
- **Sitemap: https://example.com/sitemap.xml** — путь к карте сайта

## Частые ошибки

- Блокировка CSS/JS файлов — Google не сможет отрендерить страницу
- Disallow: / — полностью блокирует индексацию сайта
- Забытый Sitemap — робот может не найти все страницы

## Заключение

Создайте корректный robots.txt в нашем \[генераторе\](https://usetoolz.ru/seo/robots-txt-generator). Добавьте Schema.org-разметку с помощью \[генератора Schema.org\](https://usetoolz.ru/seo/schema-generator).

Понравилась статья?

Оцените — это помогает нам делать контент лучше

## Комментарии

Войдите, чтобы оставить комментарий

## Читайте также

!\[УСН: выбор режима и расчёт налога\](https://usetoolz.ru/article-covers/thumbnails/usn-uproshchyonnaya-sistema-nalogooblozheniya.webp) Утилиты

### [УСН: выбор режима и расчёт налога](https://usetoolz.ru/blog/usn-uproshchyonnaya-sistema-nalogooblozheniya)

25.01.2025 · 1 мин. чтения

!\[Конвертер регистра текста: все способы преобразования\](https://usetoolz.ru/article-covers/thumbnails/konverter-registra-teksta.webp) Утилиты

### [Конвертер регистра текста: все способы преобразования](https://usetoolz.ru/blog/konverter-registra-teksta)

22.01.2025 · 2 мин. чтения

!\[DNS-записи: типы, назначение и проверка\](https://usetoolz.ru/article-covers/thumbnails/dns-zapisi-domaina-tipy.webp) Утилиты

### [DNS-записи: типы, назначение и проверка](https://usetoolz.ru/blog/dns-zapisi-domaina-tipy)

25.03.2025 · 1 мин. чтения

triggerFly($event.detail || {}), 180)" @fly-to-works.window="triggerFly($event.detail || {})" class="pointer-events-none fixed inset-0 z-\[90\]">