Как запретить лишние страницы для индексации в Яндексе: полное руководство для владельцев сайтов

Когда сайт разрастается, в поисковой выдаче неизбежно появляются страницы, которые не нужны пользователям: технические разделы, страницы пагинации, версии для печати, черновики и дубли.

Если Яндекс их проиндексирует, это размывает вес основных страниц, ухудшает видимость полезного контента и может привести к санкциям за дублированный контент.

В этой статье разберём, какие страницы стоит закрывать от индексации и какими способами это сделать именно для Яндекса.

Какие страницы чаще всего стоит запретить к индексации

Не все страницы сайта должны попадать в поисковую выдачу. К «лишним» чаще всего относят:

• Страницы пагинации (?page=2, /page/2/) — они дублируют основной контент категории.
• Версии для печати (/print/) — это тот же материал, только без шапки и меню.
• Технические и служебные разделы — формы авторизации, личный кабинет (если не нужен в поиске), корзина, фильтры с динамическими параметрами.
• Черновики и тестовые страницы — контент в работе не должен индексироваться.
• Дубли с разными URL — например, одна и та же статья доступна по разным адресам из-за UTM-меток или редиректов.
• Административные и файловые разделы — папки загрузок, логи, бэкапы, конфиги.

Основные способы запрета индексации

1. Файл robots.txt — главный инструмент для роботов

Файл robots.txt в корне сайта говорит поисковым роботам, какие разделы можно сканировать, а какие — нет. Для Яндекса это приоритетный источник правил.

Пример фрагмента robots.txt:

User-agent: Yandex
Disallow: /admin/
Disallow: /print/
Disallow: */page/
Disallow: */?sort=
Disallow: */?filter=

User-agent: *
Disallow: /admin/

Важные нюансы:

• Disallow запрещает обход, но не гарантирует, что страница не попадёт в индекс, если на неё есть внешние ссылки.
• Для Яндекса лучше явно указывать директивы именно для User-agent: Yandex.
• Избегайте слишком широких запретов (например, Disallow: /), иначе можно случайно закрыть весь сайт.

2. Метатег robots — запрет конкретно для страницы

На отдельных страницах можно использовать метатег:

<meta name="robots" content="noindex, nofollow">

или, если страница уже в индексе и её нужно убрать:

<meta name="robots" content="noindex">

Когда это удобно:

• На страницах пагинации (кроме первой).
• На версиях для печати.
• На черновиках и временных разделах.

3. HTTP-заголовок X-Robots-Tag — для не-HTML ресурсов и серверной логики

Если нужно закрыть от индексации PDF, картинки или динамические страницы, используют HTTP-заголовок:

X-Robots-Tag: noindex

Это можно настроить на уровне веб-сервера (Nginx/Apache) или в PHP-скрипте:

header('X-Robots-Tag: noindex', true);

Плюсы: работает даже если нет HTML-разметки; подходит для API, PDF, архивов.

4. Удаление из поиска через Яндекс Вебмастер

Если страница уже проиндексирована и её нужно срочно убрать, используйте инструмент «Удалить страницы» в Яндекс Вебмастере. Это временное решение: если страница снова станет доступна и не будет закрыта, робот может её снова проиндексировать. Поэтому сначала настройте robots.txt или метатег, а потом отправляйте на удаление.

Практические рекомендации для разных ситуаций

Частые ошибки, которых стоит избегать

• Закрывать весь сайт в robots.txt. Одна опечатка может вывести из поиска все страницы.
• Использовать noindex без понимания последствий. Если страница нужна для внутренней перелинковки, но не для поиска, лучше оставить её доступной для обхода, но не индексируемой.
• Забывать про канонические ссылки. Если есть несколько версий одной страницы, укажите основную через rel="canonical", чтобы Яндекс не воспринимал их как дубли.
• Не проверять результат. После настройки обязательно проверьте статус страниц в Яндекс Вебмастере и через оператор site:ваш-сайт.ru.

Как проверить, работает ли запрет

1. Яндекс Вебмастер — раздел «Страницы в поиске» покажет, какие URL проиндексированы.
2. Оператор site: введите в поиске Яндекса site:ваш-сайт.ru и посмотрите, какие страницы отображаются.
3. Инструменты разработчика в браузере — проверьте HTTP-заголовки и наличие метатегов.
4. Сервисы для анализа robots.txt — помогут убедиться, что правила применяются корректно.

Особенности для CMS DLE

DLE автоматически генерирует много страниц, поэтому важно:

• Закрыть в robots.txt служебные папки и параметры фильтрации.
• В шаблонах категорий добавить проверку на номер страницы и выводить meta name="robots" для страниц пагинации.
• Использовать rel="canonical" в заголовке статьи, чтобы избежать дублей из-за разных URL.
• Следить за UTM-метками: лучше не допускать их попадания в индекс (можно закрывать в robots.txt либо использовать канонические ссылки).