Как настроить robots.txt в WordPress для SEO

Если сайт в WordPress плохо индексируется или, наоборот, в поиск попадают служебные страницы, первым делом стоит проверить robots.txt. Этот файл не управляет индексацией напрямую, но подсказывает поисковым роботам, какие разделы сайта не нужно обходить. Ошибка в нём легко приводит к лишним страницам в индексе или к тому, что робот не видит важные URL.

Для WordPress задача обычно сводится не к сложной настройке, а к аккуратной правке: оставить открытыми нужные страницы, закрыть технические разделы и не мешать поисковикам обходить контент.

Что делает robots.txt и чего от него не стоит ждать

robots.txt лежит в корне сайта, например по адресу https://site.ru/robots.txt. Его читают поисковые роботы перед обходом страниц. Если в файле есть запрет на раздел, робот старается не заходить туда и не тратить на него краулинговый бюджет.

Но есть важное ограничение: robots.txt не гарантирует удаление страницы из индекса. Если на URL уже есть внешние ссылки или он известен поисковику, страница может остаться в выдаче без описания. Чтобы убрать её из индекса, обычно используют noindex, удаление страницы, редирект или корректную настройку CMS, а не только запрет в robots.txt.

Поэтому файл полезен для управления обходом, но не заменяет настройку индексации в WordPress и на стороне поисковых систем.

Что обычно стоит закрыть в WordPress

В типовом сайте WordPress в robots.txt имеет смысл закрывать только технические и бесполезные для поиска разделы. Это не про «спрятать всё подряд», а про то, чтобы не тратить обход на мусор и дубли.

Чаще всего закрывают:

• /wp-admin/ — административную часть сайта;
• /wp-login.php — страницу входа;
• /wp-json/ — если у вас есть конкретная причина ограничить обход REST API, но в обычной ситуации его лучше не закрывать без необходимости;
• служебные или временные каталоги, если они действительно доступны по URL и не должны попадать в поиск;
• параметры и страницы, которые создают дубли, если вы точно понимаете, что они не нужны в выдаче.

Для большинства сайтов достаточно не трогать публичный контент и закрыть только админскую часть. Остальное зависит от структуры темы, плагинов и того, как именно сайт генерирует URL.

Что лучше не закрывать

Самая частая ошибка — закрыть в robots.txt то, что должно индексироваться. После этого поисковик может перестать нормально обходить важные страницы, а вы получите просадку в видимости.

Обычно не стоит закрывать:

• страницы записей и страниц WordPress;
• категории и теги, если они нужны в поиске;
• изображения, если они дают трафик из поиска по картинкам;
• CSS и JavaScript-файлы темы и плагинов, если сайт должен корректно рендериться у поискового робота;
• служебные файлы, которые участвуют в отображении сайта и не мешают индексации.

Особенно осторожно относитесь к запретам на ресурсы темы. Если робот не может загрузить CSS и JS, он хуже понимает страницу, а это уже влияет на качество обхода и иногда на оценку страницы в поиске.

Базовый robots.txt для WordPress

Если у сайта нет нестандартной структуры, можно начать с простого и безопасного варианта. Он закрывает админскую часть и не мешает обходу публичных страниц.

Такой файл обычно выглядит так:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Здесь правило Disallow: /wp-admin/ закрывает административный раздел, а Allow: /wp-admin/admin-ajax.php оставляет доступ к AJAX-обработчику, который часто нужен теме и плагинам на фронтенде.

Это хороший старт для большинства сайтов на WordPress. Дальше файл можно дополнять только по реальной необходимости, а не по шаблону из интернета.

Как добавить или изменить robots.txt в WordPress

Есть два рабочих сценария: через файл на сервере и через плагин. Выбор зависит от того, есть ли у вас доступ к файловой системе и нужен ли удобный интерфейс.

Вариант 1. Отредактировать файл на сервере

Если у вас есть доступ по FTP, SFTP или через файловый менеджер хостинга, это самый прямой способ. Нужно создать или открыть файл robots.txt в корне сайта, рядом с wp-config.php, и записать нужные правила.

После сохранения проверьте, что файл открывается по адресу https://site.ru/robots.txt. Если вместо вашего содержимого WordPress показывает стандартный виртуальный файл, значит реальный файл в корне не создан или лежит не там, где нужно.

Вариант 2. Использовать плагин SEO-настроек

Если вы не хотите работать с файлами вручную, многие SEO-плагины позволяют редактировать robots.txt из админки. Это удобно, но принцип тот же: вы всё равно должны понимать, что именно закрываете.

Плагин полезен, когда доступ к серверу ограничен или когда настройку ведёт не разработчик, а контент-менеджер. Но для сложных случаев я бы всё равно проверял итоговый файл на сервере, чтобы исключить конфликт между плагином и реальным файлом.

Как проверить, что настройка работает

После правки не ограничивайтесь тем, что файл просто сохранился. Нужно убедиться, что поисковик видит именно ту версию, которую вы ожидаете.

Проверьте три вещи:

1. Откройте /robots.txt в браузере и убедитесь, что там актуальное содержимое.
2. Проверьте, что важные страницы сайта не закрыты случайно.
3. Если вы закрывали разделы, убедитесь, что они действительно не нужны в поиске и не содержат страниц, которые должны приносить трафик.

Для быстрой проверки можно использовать инструменты для вебмастеров в поисковых системах: они показывают, как робот читает файл и нет ли в нём синтаксических ошибок. Это особенно полезно, если сайт уже индексируется странно и нужно понять, не мешает ли обход именно robots.txt.

Типичные ошибки при настройке

В WordPress чаще всего вредят не сами правила, а их неправильное применение.

• Закрывают весь сайт через Disallow: / и потом удивляются падению индексации.
• Закрывают CSS и JS, после чего робот видит страницу не так, как пользователь.
• Пытаются убрать страницы из индекса только через robots.txt, хотя нужен noindex или удаление URL.
• Добавляют слишком много правил без понимания, какие из них реально нужны.
• Редактируют файл, но забывают проверить, не перезаписывает ли его плагин или хостинг.

Если у сайта уже есть проблемы с индексацией, сначала проверьте, не закрыт ли важный раздел случайно. Затем смотрите, нет ли дублей, лишних параметров в URL и конфликтов с настройками SEO-плагина.

Практическая схема настройки для обычного сайта

Если нужен короткий и рабочий порядок действий, я бы делал так:

1. Открыть текущий robots.txt и посмотреть, что уже прописано.
2. Убрать сомнительные запреты, если они закрывают важные публичные страницы или ресурсы.
3. Оставить базовое правило для /wp-admin/ и admin-ajax.php.
4. Не добавлять лишние запреты на контент, пока нет конкретной причины.
5. Проверить файл в браузере и в инструментах для вебмастеров.

Такой подход обычно безопаснее, чем копировать «универсальные» robots.txt из чужих статей. Для WordPress это особенно важно: структура сайта зависит от темы, плагинов и того, как именно настроены архивы, таксономии и служебные страницы.

Если вам нужен не просто шаблон, а более чистая SEO-настройка сайта в целом, иногда удобнее сначала убрать дубли и технический шум на уровне WordPress, а уже потом править robots.txt. Но сам файл всё равно должен быть аккуратным и не мешать обходу нужных страниц.