Как добавить и оптимизировать файл robots.txt для WordPress

Не все подстраницы и не все каталоги на вашем сайте настолько важны, что их должны просматривать поисковые системы. С помощью robots.txt вы можете определить, какие подстраницы WordPress должны учитываться поисковыми системами, а какие нет. Таким образом, вы сможете более эффективно позиционировать свой сайт в онлайн-поиске. Читайте дальше, чтобы узнать, как работает robots.txt в WordPress и как оптимизировать этот файл.

Так называемые краулеры круглосуточно ищут сайты в Интернете. Эти боты рассылаются поисковыми системами, чтобы просмотреть как можно больше страниц и подстраниц, проиндексировать их и сделать доступными для поиска. Для того чтобы краулеры могли читать сайт, их необходимо направлять. Владельцы сайтов могут избежать индексирования содержимого, которое не имеет отношения к поисковым системам, и обеспечить, чтобы краулер читал только то содержимое, которое он должен найти.

Чтобы исключить разделы вашего сайта, вы можете использовать robots.txt в WordPress и других CMS. По сути, этот текст определяет, какие разделы вашего сайта могут быть обнаружены краулерами, а какие — нет. Поскольку каждый домен имеет ограниченный «бюджет на краулинг», тем более важно продвигать свои главные страницы и удалять из поисковой выдачи несущественные подстраницы.

Добавление robots.txt в WordPress определяет, какой контент будет индексироваться, а какой нет. Например, хотя ваш сайт должен иметь хороший рейтинг в поисковой выдаче, то же самое, вероятно, не относится к отпечатку вашего сайта. Комментарии или архивы не дают никакой дополнительной ценности при поиске и даже могут плохо сказаться на вашем рейтинге — в частности, когда поисковая система обнаружит дублированный контент. С помощью файла robots.txt в WordPress вы можете исключить такие случаи и направить различные краулеры на те страницы вашего сайта, которые должны быть найдены.

WordPress автоматически создает файл robots.txt, закладывая некоторую основу. Однако это дополнение не является обширным и должно рассматриваться как отправная точка. Текст выглядит следующим образом:

«user-agent» в первой строке относится к краулерам. Символ «*» указывает на то, что всем поисковым системам разрешено направлять своих ботов на вашу страницу. Обычно это рекомендуется, так как таким образом ваш сайт будут находить чаще. Команда «Disallow» блокирует для краулеров следующие директории — в данном случае административную и директорию всех файлов на WordPress. robots.txt блокирует их для поисковых систем, поскольку они не актуальны для ваших посетителей. Чтобы они были доступны только для вас, следует защитить их надежным паролем.

Поисковые системы, такие как Google, должны иметь возможность найти ваш сайт. Однако довольно вредные или сомнительные сервисы, такие как DuggMirror, не должны; вы можете исключить их с помощью robots.txt в WordPress. Кроме того, вы должны исключить темы, которые вы использовали, ваш отпечаток и другие страницы, которые имеют мало или вообще не имеют отношения к индексации. Плагины также не должны индексироваться — не только потому, что они не актуальны для публики, но и по соображениям безопасности. Если плагин представляет угрозу безопасности, ваш сайт может быть обнаружен и поврежден злоумышленниками.

В большинстве случаев двух вышеупомянутых команд будет достаточно, чтобы вы могли эффективно использовать robots.txt в WordPress: «User-agent» определяет, к каким ботам следует обращаться. Таким образом вы можете определить исключения для определенных поисковых систем или установить основные правила. «Disallow» запрещает ботам доступ к соответствующей странице или подстранице. Третья команда «Allow» в большинстве случаев не имеет значения, поскольку доступ разрешен по умолчанию. Эта команда необходима только в том случае, если вы хотите заблокировать страницу, но разблокировать ее подстраницу.

Для внесения индивидуальных настроек вы можете расширить robots.txt в WordPress. Просто выполните следующие шаги:

Шаг 1: Сначала создайте пустой файл под названием «robots.txt» в любом текстовом редакторе.

Шаг 2: Затем загрузите его в корневой каталог вашего домена.

Шаг 3: Теперь вы можете либо отредактировать файл через SFTP, либо загрузить новый текстовый файл.

Используя приведенные выше команды, вы контролируете, какие правила и исключения применяются к вашему сайту. Чтобы заблокировать доступ к определенной папке:

А вот как вы запрещаете определенному боту доступ к вашему сайту:

Вы также можете создать и изменить файл robots.txt в WordPress с помощью SEO-плагина. Этот процесс использует приборную панель, что делает его удобным и безопасным. Популярным плагином для этой цели является Yoast SEO.

Шаг 1: Сначала установите и активируйте плагин.

Шаг 2: Включите плагин для внесения расширенных изменений. Для этого перейдите в раздел «SEO» > «Dashboard» >, «Features» и нажмите «Enabled» в пункте «Advanced settings pages».

Шаг 3: После активации внесите изменения в приборную панель в разделе «SEO» > «Инструменты» > «Редактор файлов». Здесь вы можете создать и отредактировать новый файл robots.txt в WordPress. После этого изменения будут внедрены напрямую.

Теперь, когда вы настроили свой сайт, установили правила и, по крайней мере теоретически, заблокировали краулеров, как вы можете убедиться, что ваши изменения были сделаны? В этом вам поможет Google Search Console. Здесь вы найдете «тестер robots.txt» слева в разделе «Crawl». Введите свои страницы и подстраницы, а затем посмотрите, могут ли они быть найдены или заблокированы. Зеленое «разрешено» внизу справа означает, что краулеры находят страницу и учитывают ее, красное «запрещено» означает, что страница не индексируется.

Файл robots.txt прост и эффективен, поскольку позволяет определить, какие области вашего WordPress сайта должны быть найдены и кем. Если вы уже используете SEO-плагин, такой как Yoast, то проще всего применить изменения. В противном случае файл можно создать и настроить вручную.