Дублированный контент: как его обнаружить и избежать

Одним из важнейших принципов поисковой оптимизации является уникальный контент. Это обеспечивает лучшее ранжирование сайта в результатах поиска и создает более позитивный пользовательский опыт. Это основа успешной контент-стратегии.

Противоположность уникального контента известна как дублированный контент. Этот термин описывает текстовые блоки или целые веб-страницы, которые дублируются на нескольких URL. Отказ от такого типа контента в пользу уникального контента важен для успешной поисковой оптимизации. Дублированный контент негативно влияет на рейтинг и удобство использования сайта.

Термин «дублированный контент» относится к веб-страницам или текстовым фрагментам, которые дублируются более чем в одном URL.

Обычно различают два типа:

• Внутренний дублированный контент относится к контенту, дублирующемуся в одном домене.
• Внешний дублированный контент встречается во всех доменах.

Оба термина относятся к страницам или текстовым блокам, которые используются совместно без изменений. Если контент не идентичен на 100%, но почти идентичен, его называют почти дубликатом.

Большинство владельцев сайтов знают о негативных последствиях дублированного контента и поэтому избегают его. Однако внутреннее дублирование контента встречается гораздо чаще. Часто это связано с техническими причинами. Более подробную информацию об этом вы найдете в разделе «Технические причины дублирования контента».

Часто один и тот же контент можно встретить несколько раз на нескольких подстраницах домена. Особенно с этой проблемой сталкиваются интернет-магазины. Когда продукт относится к нескольким категориям или доступен в различных вариантах, описание продукта часто совпадает на нескольких страницах. Это считается дублирующим контентом. PDF-файлы, содержащие информацию о продукте, обычно недооцениваются. Если их содержание совпадает с содержанием целевой страницы продукта, они считаются дублирующим контентом. Другой пример — философское заявление компании, которое может быть размещено на нескольких подстраницах.

Интернет-магазины также часто страдают от случаев внешнего дублирования контента. Когда вы приобретаете продукцию у оптового продавца, другие розничные продавцы могут использовать те же описания товаров на своих сайтах. В этом случае идентичный контент негативно влияет не только на рейтинг в поисковых системах, но и на решение потенциальных клиентов о покупке. Если презентация товара у разных дилеров не отличается, то все решает цена. Лучше всего использовать уникальные описания товаров и регулярно проверять, не скопировали ли их другие продавцы.

Внешний дублированный контент также создается, когда вы копируете контент третьих лиц даже в рамках сотрудничества и с согласия автора. Различные страновые и языковые версии вашего сайта на разных доменных именах также представляют риск появления внешнего дублированного контента.

Поисковые системы, такие как Google, используют алгоритм для оценки всех потенциально релевантных веб-сайтов и применяют определенные критерии для определения порядка отображения результатов поиска. Цель этой оценки — представить пользователю наиболее релевантный контент в верхней части рейтинга.

Если один и тот же контент появляется на нескольких сайтах, поисковые системы не могут провести правильную оценку. Это затрудняет присвоение доверия, релевантности и авторитетности и, как следствие, создание рейтинга. Поэтому поисковые системы обычно избегают индексировать один и тот же контент несколько раз и отображать его в результатах поиска, поскольку это не дает пользователям никакой дополнительной ценности. Поэтому рейтинг страниц, содержащих дублированный контент, будет снижаться.

В связи с негативными последствиями дублированного контента опасаются так называемых веб-скреперов. Этот тип программного обеспечения копирует веб-сайты один к одному. Поисковые системы, такие как Google, теперь могут распознавать сайты-скреперы по различным параметрам и отличать их от «настоящих» сайтов.

Около 25-35 процентов содержимого всех веб-сайтов — это дублированный контент. Дублированный контент — это не всегда плохо. В этом видео объясняется, как Google относится к дублированному контенту и чего следует избегать в любом случае:

В целях защиты вашей конфиденциальности видео не будет загружаться, пока вы не нажмете на него.

Рекомендуется регулярно проверять свой сайт на наличие дублированного контента. Во многих случаях это происходит без ведома оператора сайта, например, при создании новых страниц или несоответствии внутренних ссылок. Ниже мы расскажем вам о наиболее распространенных методах, которые можно использовать для поиска дублированного контента.

Если ваш сайт состоит из ограниченного числа подстраниц, то их лучше проверить вручную. Обратите особое внимание на текстовые разделы, которые вы используете несколько раз на своем сайте. Как правило, это заявления/презентации компании или призыв к действию.

Подозреваете, что какой-то текстовый модуль встречается более одного раза? В этом случае может помочь поиск в Google. Введите текст в кавычках в поисковую строку и посмотрите, появляются ли в результатах поиска разные URL-адреса вашего сайта.

В случае большого количества подстраниц или в электронной коммерции ручной поиск отнимает много времени. Поскольку многие операторы сайтов сталкиваются с этой проблемой, существуют различные инструменты для автоматического поиска дублирующего контента.

Google Search Console — это бесплатный и полезный инструмент анализа, который поддерживает поисковую оптимизацию и поиск внутреннего дублированного контента. Он находит доминирующие ключевые слова, по которым ваш сайт находят и просматривают. Затем вы можете отфильтровать точные запросы. Если инструмент указывает несколько подстраниц, вы проверяете их на наличие дублирующегося контента. В отчете «Охват индекса», в разделе «Исключенные страницы», вы можете просмотреть подстраницы, которые были определены как дубликаты и, соответственно, исключены.

Теперь вы знаете, как обнаружить дублированный контент. Но лучше всего избегать его в первую очередь. Эти советы должны вам помочь:

• Создавайте подстраницы, которые четко различаются тематически, и используйте разные главные ключевые слова на каждой странице. Лучший способ уследить за этим — заранее разработать стратегию использования ключевых слов.
• Избегайте размещения обобщенных абзацев на нескольких подстраницах.
• Избегайте копирования заранее написанных текстов (если только это не специально выделенная цитата или юридическая цитата).
• Обращайте внимание на согласованность внутренних ссылок и избегайте различных записей для одного и того же URL. Обычно они создаются путем добавления index.htm к URL домашней страницы или с помощью вариантов с косой чертой (/) или без нее.
• Используйте домены верхнего уровня для нескольких языковых и страновых версий вашего сайта, например «www.example.com» в отличие от субдоменов, таких как «www.example.org/en».

Как правило, вы не можете повлиять на создание внешнего дублирующего контента, если другие веб-мастера копируют ваш контент. Поэтому после создания новой страницы рекомендуется запускать сканирование вручную. Если ваш сайт индексируется с соответствующим контентом в качестве первой страницы, он классифицируется как оригинальный.

Технические причины часто приводят к созданию внутренних дубликатов контента без ведома оператора сайта. Рекомендуется проверить свой сайт на наличие следующих моментов:

При переходе на шифрованный протокол HTTPS (Hypertext Transfer Protocol Secure) важно настроить переадресацию со старого веб-адреса. Если ваш старый веб-сайт остается доступным через http://, создается 100-процентное дублирование контента!

Обязательно проверьте, можно ли получить доступ к вашему сайту, используя различные варианты написания. Типичные примеры:

• Ваша домашняя страница доступна по адресу index.php, а также с косой чертой и без нее.
• Ваш сайт доступен с www и без www как части URL.
• Ваш URL чувствителен к регистру.

Если вы обнаружили два или более URL, которые ведут на одну и ту же подстраницу, установите 301 перенаправление на главную страницу для всех вариантов.

• Если ваш сайт имеет версии для разных языков или стран, пометьте их с помощью hreflang, чтобы избежать дублирования контента.
• Проверьте параметры URL. Часто создается множество уникальных URL, которые ведут на один и тот же контент. Это распространенная причина дублирования контента, особенно при использовании функций фильтрации в интернет-магазинах.
• Обращайте внимание на идентификаторы сессий, которые являются частью URL. В результате краулеры могут получать новый идентификатор при каждом обращении к подстранице и таким образом достигать нового URL.
• Исключите из индексации версии веб-сайтов, удобные для печати.

Манипулятивное и намеренное копирование стороннего контента запрещено по соображениям авторского права и в соответствии с рекомендациями Google. Однако появление дублированного контента в Интернете является нормальным явлением и не наказывается напрямую. Тем не менее, рекомендуется избегать дублированного контента, когда это возможно.

Если сайт содержит две или более подстраниц с похожим или идентичным содержанием, вы можете объединить их на одной странице или расширить соответствующие подстраницы, добавив уникальный контент и отдельные ключевые слова для оптимизации их SEO-контента. Выбор оптимального варианта зависит от релевантности страниц и наличия возможности усилить ключевые слова.

Выбирайте сильные ключевые слова для заголовков, метаописания и метазаголовка. Это позволит избежать их классификации как дублирующего контента и повысит ваш рейтинг в поисковых системах. Чтобы изменить существующие тексты и выделить их, используйте маркированные точки, списки и таблицы, а также интегрируйте мультимедийные материалы, такие как изображения и видео.

Если вы хотите поделиться существующим контентом, например, статьей из блога или пресс-релизом на других сайтах, используйте в заголовке тег canonical tagrel=»canonical». Тем самым вы объявляете выбранный URL в качестве стандартного ресурса или оригинального URL. Этот тег невидим для пользователей, но при этом поисковым системам ясно, как страницы связаны друг с другом.