Если в индексе поисковиков появились архивы по месяцам и годам, это обычно не приносит пользы: такие страницы дублируют записи, собирают мало контента и размывают качество индекса. В WordPress эту проблему можно решить без удаления самих архивов с сайта: достаточно запретить их индексацию и проверить, что поисковые системы действительно перестали их учитывать.
Ниже разберём, какие именно архивы дат стоит закрывать, чем отличаются robots.txt и мета-тег robots, и как убедиться, что настройка сработала.
Какие архивы дат обычно нужно закрывать
В WordPress архивы дат — это страницы, которые группируют записи по времени публикации. Чаще всего речь идёт о страницах вида /2024/, /2024/05/ или похожих URL, если структура постоянных ссылок и тема их выводят.
Закрывать имеет смысл:
- архивы по месяцам и годам, если они не несут самостоятельной ценности для пользователя;
- страницы с очень малым количеством записей, где контент почти полностью повторяет ленту блога;
- архивы, которые уже попали в поиск и создают лишние дубли.
Не стоит путать это с полезными архивами рубрик, тегов или авторов. У них логика может быть другой: иногда их оставляют открытыми, если они реально помогают навигации и содержат уникальный текст. Для дат чаще всего такой пользы нет.
Что лучше использовать: robots.txt или мета-тег robots
Для закрытия архивов дат от индексации есть два рабочих подхода, и они решают разные задачи.
| Способ | Что делает | Когда подходит |
|---|---|---|
robots.txt | Запрещает поисковому роботу заходить на URL | Когда нужно ограничить обход, но этого недостаточно для удаления уже известных страниц из индекса |
<meta name="robots" content="noindex,follow"> | Разрешает обход страницы, но запрещает её индексацию | Когда нужно именно убрать архивы из поиска |
Если задача звучит как «не показывать архивы дат в поиске», основной инструмент — noindex. Один только robots.txt для этого обычно слабее: поисковик может знать URL и продолжать хранить его в индексе, если страница уже была обнаружена раньше.
Поэтому на практике лучше закрывать архивы дат через мета-тег robots, а robots.txt использовать только как дополнительную меру, если нужно сократить обход.
Как закрыть архивы дат через мета-тег robots
Самый надёжный вариант — добавить для архивов дат директиву noindex,follow. Она говорит поисковому роботу: страницу не индексировать, но ссылки на ней можно обходить дальше. Для архивов это обычно разумнее, чем полностью обрывать обход.
Как именно это сделать, зависит от темы и набора плагинов. Если у вас есть SEO-плагин, в нём часто можно отключить индексацию архивов без кода. Если такой настройки нет, можно добавить условие в тему или дочернюю тему.
Пример для functions.php дочерней темы: выводим мета-тег только на архивных страницах дат.
add_action('wp_head', function () {
if (is_date()) {
echo "<meta name=\"robots\" content=\"noindex,follow\" />\n";
}
});Этот вариант рабочий, если тема не выводит собственный конфликтующий robots-тег. Важно, чтобы на странице не оказалось сразу двух разных директив, например index и noindex одновременно. Поисковик обычно ориентируется на более жёсткое ограничение, но лучше не создавать двусмысленность.
Если вы редактируете код темы, делайте это в дочерней теме или через отдельный мини-плагин. Иначе обновление темы может затереть изменения.
Когда имеет смысл добавить правило в robots.txt
robots.txt полезен, если вы хотите снизить нагрузку на обход и не пускать роботов на архивы дат вообще. Но использовать его как единственный способ закрытия от индексации не стоит.
Пример правила для стандартных архивов по годам и месяцам:
User-agent: *
Disallow: /2024/
Disallow: /2024/05/Такой вариант подходит только если структура URL у вас действительно совпадает с этими путями. В WordPress адреса архивов зависят от настроек постоянных ссылок и языка сайта, поэтому перед добавлением правил нужно посмотреть реальные URL архивов в браузере.
Есть ещё важный момент: если вы запретили обход в robots.txt, поисковик может не увидеть мета-тег noindex на странице. Поэтому для уже проиндексированных архивов сначала лучше поставить noindex, дождаться переобхода и только потом при необходимости усиливать ограничение через robots.txt.
Что делать, если архивы уже в индексе
Если страницы дат уже попали в поиск, одного изменения настроек недостаточно. Поисковику нужно время, чтобы переобойти сайт и увидеть новую директиву.
Практический порядок такой:
- Добавьте
noindex,followна архивы дат. - Проверьте, что на странице действительно появился мета-тег.
- Отправьте URL на переобход в инструментах для вебмастеров, если они у вас подключены.
- Подождите обновления индекса.
Если архивы были в индексе давно, они не исчезнут мгновенно. Это нормальная ситуация: поисковик должен сначала заново посетить страницу и увидеть запрет на индексацию.
Как проверить, что закрытие сработало
Проверка нужна обязательно, потому что на практике чаще всего ошибаются не в самой идее, а в реализации: правило не срабатывает на нужный тип архива, тема выводит другой тег, а robots.txt написан не под те URL.
Проверьте три вещи.
- Откройте архив даты в браузере и посмотрите исходный код страницы. В секции
<head>должен быть<meta name="robots" content="noindex,follow">. - Убедитесь, что страница не закрыта случайно от всех роботов через
Disallow, если вы рассчитываете именно наnoindex. - Проверьте выдачу поисковика по точному URL архива: со временем он должен исчезнуть из результатов или перестать показывать сниппет как обычную индексируемую страницу.
Если используете инструменты для вебмастеров, там обычно видно, как робот воспринимает страницу: разрешена ли индексация, доступен ли обход и какой тег найден в HTML. Это самый надёжный способ проверить настройку, особенно если сайт работает на нестандартной теме или с несколькими SEO-плагинами.
Типичные ошибки, из-за которых архивы всё равно попадают в поиск
На практике проблема чаще всего не в WordPress, а в деталях настройки.
- Закрыли только в
robots.txt. Если архив уже был в индексе, этого может быть недостаточно. - Поставили
noindexне на тот шаблон. Например, на рубрики, но не на архивы дат. - Тема или плагин выводят конфликтующие директивы. В коде страницы одновременно встречаются разные значения
robots. - Проверяли не реальный URL. На сайте может быть несколько форматов архивов, а закрыт только один.
- Сразу запретили обход в
robots.txt. Тогда поисковик может дольше удерживать старую версию страницы в индексе.
Если у вас установлен SEO-плагин, сначала проверьте его настройки архивов. Во многих случаях это проще и безопаснее, чем править шаблоны вручную. Если же плагин не даёт нужного контроля, точечный код в дочерней теме остаётся самым предсказуемым вариантом.
Когда архивы дат лучше не закрывать
Иногда архивы по датам действительно полезны. Например, если сайт — новостной, у него сильная хронологическая структура и пользователи реально переходят по месяцам. В таком случае закрытие может ухудшить навигацию и убрать из поиска страницы, которые приносят трафик.
Но если это обычный корпоративный сайт, блог с редкими публикациями или проект, где архивы дат почти пустые, закрытие обычно оправдано. Логика простая: если страница не даёт самостоятельной ценности и просто повторяет список записей, ей не место в индексе.
Самый практичный ориентир такой: если архив даты не отвечает на отдельный пользовательский запрос и не содержит уникального контента, его лучше закрыть от индексации, а не пытаться «прокачивать» как полноценную посадочную страницу.