Привет, я Максим, веб-разработчик. Вопрос «закрывать или не закрывать» страницу от индексации — один из самых частых в моей практике. И один из самых опасных при неправильном решении: закроете лишнее — потеряете трафик, не закроете ненужное — засорите индекс мусором. Разбираю подробно: как работают noindex и nofollow, чем они отличаются от robots.txt, когда использовать каждый инструмент и какие ошибки я встречаю постоянно.

Noindex: убираем страницу из поисковой выдачи

Мета-тег `<meta name="robots" content="noindex">` в секции head HTML-страницы говорит поисковому роботу: «Ты можешь прийти на эту страницу, прочитать её, перейти по ссылкам на ней — но не добавляй её в индекс поиска». Страница существует, доступна по URL, но не появляется в результатах поиска Яндекса и Google.

Это ключевой инструмент управления тем, что видит пользователь в поисковой выдаче. Не каждая страница сайта должна быть в поиске. Служебные страницы, дубли, тонкий контент — всё это засоряет индекс, размывает качество сайта в глазах поисковика и может приводить к каннибализации запросов (когда две ваши страницы конкурируют друг с другом за один запрос).

Вот конкретные ситуации, в которых я ставлю noindex на каждом проекте.

Служебные страницы. Авторизация, регистрация, личный кабинет, корзина, страница оформления заказа, страница «Спасибо за заказ». Этим страницам нечего делать в поисковой выдаче — они предназначены для авторизованных пользователей или для конкретных действий.

Страницы фильтрации в интернет-магазине. Каждая комбинация фильтров (бренд + размер + цвет + ценовой диапазон) генерирует уникальный URL. Без noindex всё это попадает в индекс — и вы получаете тысячи тонких страниц с почти одинаковым контентом. На одном проекте интернет-магазин электроники имел 45 000 проиндексированных страниц, из которых 38 000 — комбинации фильтров. После закрытия их через noindex и фокусировки на категориях и товарных карточках, качество индекса резко улучшилось, и позиции по коммерческим запросам выросли на 5–10 позиций за два месяца.

Страницы пагинации (выборочно). Если на страницах /page/2/, /page/3/ нет уникального текстового контента — только список карточек товаров — их можно закрыть от индексации. Но при этом обязательно оставить доступными для обхода роботом (не блокировать в robots.txt), чтобы робот мог добраться до товаров на глубоких страницах.

Тестовые и черновые страницы. Всё, что ещё не готово к показу пользователям: стейджинг-версии, демо-страницы, тестовые макеты.

Юридические и типовые страницы. Политика конфиденциальности, пользовательское соглашение, оферта — они нужны на сайте для соблюдения закона, но в поиске по ним никто не ищет ваш бизнес.

Страницы с дублированным контентом. Если один и тот же товар доступен по нескольким URL (через разные категории, через тегирование) — noindex на дублях плюс canonical на основную версию.

Nofollow: управляем передачей ссылочного веса

Атрибут rel="nofollow" у HTML-ссылки говорит поисковику: «Не передавай ссылочный вес по этой ссылке, не считай её рекомендацией». Робот может перейти по ссылке и проиндексировать целевую страницу, но ссылка не будет учитываться как «голос» в пользу целевого ресурса.

Google расширил систему атрибутов: помимо nofollow есть sponsored (для платных и рекламных ссылок) и ugc (для ссылок в пользовательском контенте: комментариях, отзывах, форумах). Яндекс пока не объявлял о поддержке sponsored и ugc, но nofollow понимает и учитывает.

Когда я ставлю nofollow. На ссылках в пользовательском контенте — комментарии на блоге, отзывы, форумные посты. Вы не контролируете, куда ведут эти ссылки, и не ручаетесь за качество внешних ресурсов. На платных и рекламных ссылках — если вы размещаете ссылку за деньги (спонсорский контент, баннер, партнёрская ссылка), по правилам поисковиков она должна быть nofollow. Нарушение этого правила может привести к санкциям. На ссылках к нефункциональным страницам — авторизация, регистрация, RSS-фид, печатная версия страницы. Незачем передавать им ссылочный вес.

Важный нюанс: nofollow на внутренних ссылках сайта — спорная практика. Раньше её использовали для «скульптурирования» PageRank внутри сайта. Сегодня Google официально не рекомендует этот подход: ссылочный вес, «заблокированный» через nofollow, просто теряется, а не перераспределяется. Для управления приоритетами внутренних страниц лучше использовать структуру навигации и количество ссылок, а не nofollow.

Noindex в Яндексе — специальный тег для фрагментов текста

У Яндекса есть уникальный тег, который не поддерживается Google: `<noindex>текст</noindex>`. Он закрывает от индексации не всю страницу, а конкретный фрагмент текста. Яндекс видит страницу, индексирует её, но содержимое внутри тегов noindex игнорирует.

Это полезно для шаблонных блоков, которые повторяются на многих страницах сайта: юридическая информация в подвале, стандартное описание условий доставки, типовой блок «Почему мы». Без noindex Яндекс может воспринять повторяющийся текст как дублированный контент и понизить страницы за неуникальность. С noindex повторяющиеся блоки просто исключаются из оценки.

Для валидного HTML я оборачиваю тег в комментарии: `<!--noindex-->текст<!--/noindex-->` — это работает так же, но не нарушает HTML-валидацию.

Robots.txt vs мета-тег noindex: принципиальная разница

Это разные инструменты, и путать их — распространённая ошибка.

Robots.txt запрещает роботу заходить на страницу. Робот видит запрет в robots.txt и не сканирует URL. Но если на эту страницу ссылаются другие сайты — поисковик может проиндексировать URL, даже не зная содержания страницы. Вы увидите в индексе страницу без описания: «Описание отсутствует, так как страница закрыта в robots.txt». Это не тот результат, которого вы хотели.

Мета-тег noindex работает иначе: робот приходит на страницу, читает содержимое, находит мета-тег noindex — и принимает решение не добавлять страницу в индекс. Это более надёжный способ удаления страницы из выдачи.

Моя рекомендация: для страниц, которые не должны быть в поиске, — используйте noindex. Для экономии краулингового бюджета (чтобы робот не тратил время на массовые параметрические URL, админку, файлы) — используйте robots.txt. Для критичных страниц можно использовать оба инструмента, но помните о ловушке.

Ловушка: noindex + disallow одновременно

Самая коварная ошибка, которую я нахожу на аудитах. Если в robots.txt страница заблокирована (Disallow), а на самой странице стоит мета-тег noindex — робот просто не доберётся до мета-тега, потому что robots.txt не пустит его на страницу. Результат — робот не узнает про noindex, и страница может остаться в индексе.

Решение: либо откройте сканирование в robots.txt (уберите Disallow) и положитесь на noindex, либо используйте только robots.txt и примите его ограничения. Для максимально надёжного результата: откройте страницу для сканирования и поставьте noindex.

X-Robots-Tag: noindex через HTTP-заголовок

Если нужно закрыть от индексации файл (PDF, изображение) или массив страниц без возможности вставить мета-тег в HTML, используйте HTTP-заголовок X-Robots-Tag: noindex. Настраивается на уровне веб-сервера. В Nginx: `add_header X-Robots-Tag "noindex" always;` в нужном location-блоке. Удобно для массового закрытия: например, все PDF-файлы или все страницы определённой директории.

Управление индексацией — это цифровая гигиена сайта. Не самая яркая тема в SEO, но без неё индекс засоряется мусорными страницами, которые размывают качество сайта в глазах поисковика и мешают ранжированию действительно важных страниц.