Внутренние дубли страниц: что это такое, как найти и избавится от дублей

Внутренние дубли страниц: что это такое, как найти и избавится от дублей

Что будет, если у сайта вроде бы разные url страниц, но при этом контент тот же? Вроде бы пара одинаковых страниц и что плохого может случится. Однако дублирующийся контент способен завести ваш сайт под фильтр поисковых систем Google и Yandex. Такие нюансы необходимо держать под контролем и знать, как с ними бороться в случае незапланированного появления.

Опасность дублей страниц доказана эмпирическим путем. Не раз поисковые алгоритмы наказывали сайты за дубликаты и понижали их в поисковой выдаче. Чтобы избежать таких проблем, предлагаем узнать варианты нахождения страниц-дубликатов и какими способами можно с ними бороться.

Как дубли страниц влияют на продвижение сайта?

Проблема появления на сайте страниц-дублей объясняется тем, что поисковая система не может определить какая из этих страниц наиболее релевантна запросу и какую именно показать в результатах выдачи. 

Появление такой проблемы может привести к нескольким результатам:

  • Поисковики пессимизируют посадочную страницу, падает ее релевантность и позиции;
  • Позиции по запросу могут постоянно меняться, проверка позиций покажет, что приоритет отдается то одной странице, то другой;
  • Проблема нескольких страниц может затронуть позиции всего сайта и привести к понижению сайта в выдаче;
  • Нерационально используется краулинговый бюджет, индексируются лишние и ненужные страницы.

Типы страниц-дубликатов

Перед началом работы по поиску дублирующих страниц, надо определиться, какие типы дублей существуют и чем отличаются друг от друга.

  • Полные дубликаты - имеет один контент и разные y. Например, если сайт доступен по https и http.
  • Частичные дубликаты - часть содержания страницы дублируется, но не везде и не в полной мере. Например, описание на продуктовой карточке может быть одинаковым, а модели, фото и пр. - разным.

Откуда появляются полные дубли страниц?

  • Ваша CMS сайта может автоматически генерировать четкие дубликаты страниц, например:
http://site.com/wp-content/view/identifier/novosti/ 
http://site.com/wp-content/novosti/ 

Или дубли одного и того же url с расширениями
http://primersite.com/index
http://primersite.com/index/
http://primersite.com/index.php 
http://primersite.com/index.php/
http://primersite.com/index.html
http://primersite.com/index.html/

  • Оплошности seo-специалистов, когда, например, один и тот же продукт можно найти в нескольких категориях и этот продукт имеет не один урл, а несколько.
  • Ошибочная настройка 404 страниц.

Откуда появляются частичные дубли страниц?


Более распространенные варианты частичных дублей страниц:

  • Страницы с get-параметрами: пагинация, фильтры и сортировки;
  • При смене динамических параметров контент, мета-описания, H1 остаются неизменными;
  • Страницы с комментариями, характеристиками товаров и отзывы.

Как искать внутренние дубли сайта?

Различают несколько инструментов, с помощью которых необходимо производить мониторинг на постоянной основе раз в месяц.

Анализ поисковой выдачи сайта через команду site:вашсайт.ком

Визуальный анализ выдачи позволит увидеть повторения одних и тех же страниц, которые находятся в индексе и предотвратить серьезную проблему. 

С помощью программ, которые устанавливаются на компьютер


Google Search Console

Для проверки дублей через веб-мастер, зайдите во вкладку "Оптимизация Html". Возможно там вы увидите список из повторяющихся мета-тегов. И, устранив эти проблемы, вы сможете повысить качество и эффективность сайта.

При поиске дублей вручную


SEO-специалисты с опытом могут просканировать сайт и определить дубликаты страниц и как они генерируются.

Как бороться с дубликатами страниц сайта?


Исходя из типа дубликата можно найти рациональное решение:

  • удаление - если дубликат является статическим;
  • 301 редирект - является основным методом борьбы с дублями, используется при возникновении полных дублей, типа www и без www, ошибок в иерархии урлов;
  • настройка тега  в robots.txt - закрывают административные страницы, личные папки и пр;
  • настройка атрибута «rel=canonical» - применяются для страниц фильтрации, различных сортировок, пагинации, страниц с utm-метками.
Мониторить сайт на дубли необходимо на постоянной основе. Чаще всего проблема кроется в движке - CMS-сайта. Помните,что вовремя выявленная проблема может предотвратить проседание позиций, сохранить краулинговый бюджет и уберечь сайт от попадания под фильтр поисковиков.

 13.12.2018