Настройка Google Search Console для CMS DLE 21: пошаговое руководство

User-agent: *
Disallow: /engine/
Allow: /engine/classes/js/
Allow: /engine/classes/min/index.php
Allow: /engine/data/emoticons/

Sitemap: https://site.ru/sitemap.xml

Директива закрывает служебный каталог engine/, но оставляет роботу доступ к скриптам, необходимым для корректного рендеринга. Строку Sitemap: замените на свой домен.

Файл правится напрямую в корне — через FTP или файловый менеджер хостинга, а не через шаблоны движка. После правки откройте раздел «Файлы robots.txt» в Search Console: консоль покажет итоговый файл и подсветит, не заблокировали ли вы случайно важные разделы.

Шаг 4. Генерируем sitemap.xml средствами DLE

DLE умеет создавать карту сайта без сторонних модулей. В админпанели откройте «Другие разделы» → «Карта сайта для Google и Yandex».

Порядок действий:

1. Задайте приоритеты для категорий, новостей и статических страниц — по ним робот понимает, какие разделы сканировать в первую очередь. Категориям обычно ставят приоритет выше, чем отдельным новостям.
2. Запустите генерацию.
3. Убедитесь, что файл открывается в браузере по адресу https://site.ru/sitemap.xml.

Шаг 5. Отправляем карту и просим индексацию

Когда sitemap.xml стабильно открывается:

1. В Search Console откройте раздел «Файлы Sitemap».
2. Введите sitemap.xml и нажмите «Отправить».
3. Дождитесь статуса «Успешно» — обычно это занимает от нескольких минут до пары суток.

Затем через инструмент «Проверка URL» отправьте на индексацию главную страницу и 2–3 ключевые категории. Это не гарантирует мгновенный обход, но заметно ускоряет первое знакомство Google с сайтом.

Шаг 6. SEO-настройки самого DLE 21

Search Console показывает картину, но базу задаёт движок. Проверьте в админпанели:

• ЧПУ и HTTPS. В «Настройки системы → Общие» должны быть включены человекопонятные URL, а сайт — открываться по HTTPS с единым вариантом домена (с www или без). Редирект настраивается в .htaccess или на уровне хостинга.
• Шаблоны метатегов. В разделе «Настройки системы → Оптимизация SEO» пропишите шаблоны title и description. Без них Google подбирает сниппеты из текста сам, и в выдаче появляются непредсказуемые заголовки.
• Дубли страниц. Пагинация категорий и страницы без уникальных описаний — типичная слабость DLE-сайтов. Массовые дубли отвлекают робота от основного контента и могут привести к понижению позиций.

Что смотреть в консоли после настройки

Первые две недели данные будут поступать скудно — это нормально для нового ресурса. Дальше следите за тремя отчётами:

• «Страницы» — сколько URL проиндексировано и с какими причинами выброшено из индекса.
• «Эффективность» — запросы, показы и клики; отсюда берутся темы для нового контента.
• «Проверка URL» — точечный диагноз проблемных страниц.

Частые вопросы

Сколько ждать индексации после отправки sitemap? Первые страницы обычно попадают в индекс за 2–7 дней, полная индексация крупного сайта занимает 2–4 недели.

Нужен ли отдельный robots.txt для Яндекса? Нет — общие директивы для всех роботов прописываются в блоке User-agent: *. Если Яндексу нужны особые правила, добавьте отдельный блок User-agent: Yandex после основного.

GSC показывает 0 страниц в индексе. Что делать? Проверьте, не стоит ли запрет индексации в настройках DLE, не отдаёт ли сервер код 404/500 на страницы и совпадает ли адрес в консоли с реальным протоколом сайта.

Итог. Настройка Search Console для DLE 21 занимает около часа: подтверждение прав, проверка robots.txt, генерация карты и отправка на индексацию. Зато после этого вы получаете прямой канал обратной связи от Google — и дальше работаете с индексацией на основе данных, а не догадок.