Robots.txt — это текстовый файл в корне вашего сайта, который говорит поисковым роботам Яндекса и Google, какие страницы можно смотреть, а какие — нельзя. Думайте о нём как о табличке «Вход» и «Служебное помещение» в магазине: покупатели (пользователи) ходят везде, а инспектор (поисковой робот) заглядывает только туда, куда вы разрешили.

Если этого файла нет или он настроен неправильно — поисковик может проиндексировать лишнее (страницы админки, корзину, результаты поиска) или, наоборот, не увидеть важные страницы.

Как выглядит robots.txt

Файл находится по адресу вашсайт.ru/robots.txt. Откройте — если видите текст с командами User-agent, Allow, Disallow — файл есть. Если ошибка 404 — файла нет, нужно создать.

Минимальный рабочий robots.txt:

User-agent: *
Allow: /
Sitemap: https://вашсайт.ru/sitemap.xml

Это значит: всем роботам разрешено индексировать весь сайт, карта сайта находится по указанному адресу.

Типичные ошибки

Самая страшная ошибка — случайно закрыть весь сайт от индексации:

User-agent: *
Disallow: /

Эти две строки полностью блокируют сайт для поисковиков. Такое часто случается, когда разработчик закрыл сайт на время разработки и забыл открыть. Сайт работает, посетители его видят — а Яндекс нет.

Другие частые ошибки: блокировка CSS и JS файлов (мешает поисковику правильно отрисовать страницу), блокировка страниц каталога или услуг, отсутствие ссылки на sitemap.xml.

Примеры для популярных CMS

Для WordPress:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /?s=
Disallow: /author/
Sitemap: https://вашсайт.ru/sitemap.xml

Для Тильды robots.txt генерируется автоматически. Проверьте, что он не содержит лишних Disallow.

Для Битрикс:

User-agent: *
Disallow: /bitrix/
Disallow: /auth/
Disallow: /personal/
Sitemap: https://вашсайт.ru/sitemap.xml

Как проверить robots.txt

Яндекс.Вебмастер → Инструменты → Анализ robots.txt. Вставьте содержимое файла и URL страницы — сервис покажет, разрешена ли индексация.

А чтобы проверить robots.txt вместе со всеми остальными техническими параметрами, запустите технический аудит сайта — за 3 минуты получите полный отчёт о техническом состоянии.