Внутрішні дублі сторінок: що це таке, як знайти і позбудеться від дублів

Що буде, якщо у сайту начебто різні url сторінок, але при цьому контент той же? Начебто пара однакових сторінок і що поганого може статися. Однак дублюючийся контент здатний завести ваш сайт під фільтр пошукових систем Google і Yandex. Такі нюанси необхідно тримати під контролем і знати, як з ними боротися в разі незапланованого появи.

Небезпека дублів сторінок доведена емпіричним шляхом. Не раз пошукові алгоритми карали сайти за дублікати і знижували їх в пошуковій видачі. Щоб уникнути таких проблем, пропонуємо дізнатися варіанти знаходження сторінок-дублікатів і якими способами можна з ними боротися.

Як дублі сторінок впливають на просування сайту?

Проблема появи на сайті сторінок-дублів пояснюється тим, що пошукова система не може визначити яка з цих сторінок найбільш релевантна запиту і яку саме показати в результатах видачі.

Поява такої проблеми може призвести до кількох результатами:

Пошуковики пессімізіруют посадкову сторінку, падає її релевантність і позиції;
Позиції по запиту можуть постійно змінюватися, перевірка позицій покаже, що пріоритет віддається одній сторінці, то інший;
Проблема декількох сторінок може торкнутися позиції всього сайту і привести до зниження сайту у видачі;
Нераціонально використовується краулінговий бюджет, індексуються зайві та непотрібні сторінки.

Типи сторінок-дублікатів

Перед початком роботи з пошуку дублюючих сторінок, треба визначитися, які типи дублів існують і чим відрізняються один від одного.

Повні дублікати – має один контент і різні y. Наприклад, якщо сайт доступний за https і http.
Часткові дублікати – частина змісту сторінки дублюється, але не скрізь і не в повній мірі. Наприклад, опис на продуктовій картці може бути однаковим, а моделі, фото та ін. – різним.

Звідки з’являються повні дублі сторінок?

Ваша CMS сайту може автоматично генерувати чіткі дублікати сторінок, наприклад:

http://site.com/wp-content/view/identifier/novosti/

http://site.com/wp-content/novosti/

Або дублі одного і того ж url з розширеннями:

http://primersite.com/index

http://primersite.com/index/

http://primersite.com/index.php

http://primersite.com/index.php/

http://primersite.com/index.html

http://primersite.com/index.html/

Помилки seo-фахівців, коли, наприклад, один і той же продукт можна знайти в декількох категоріях і цей продукт має не один урл, а кілька.
Помилкова настройка 404 сторінок.

Звідки з’являються часткові дублі сторінок?

Більш поширені варіанти часткових дублів сторінок:

сторінки з get-параметрами: пагінація, фільтри і сортування;
при зміні динамічних параметрів контент, мета-опису, H1 залишаються незмінними;
сторінки з коментарями, характеристиками товарів та відгуки.

дубли

Як шукати внутрішні дублі сайту?

Розрізняють декілька інструментів, за допомогою яких необхідно проводити моніторинг на постійній основі раз на місяць.

Аналіз пошукової видачі сайту через команду site: вашсайт.ком

Візуальний аналіз видачі дозволить побачити повторення одних і тих же сторінок, які знаходяться в індексі й запобігти серйозну проблему.

За допомогою програм, які встановлюються на комп’ютер

Такі сервіси як:

screaming frog
seo spider netpeak
xenu

сканують весь сайт і завантажують в таблицю всі url. За ним ви можете перевірити змісту title, description. Можливо якісь сторінки будуть збігатися зрозумієте з чим потрібно працювати.

Google Search Console

Для перевірки дублів через веб-майстер, зайдіть у вкладку “Оптимізація Html”. Можливо там ви побачите список з повторюваних мета-тегів. І, усунувши ці проблеми, ви зможете підвищити якість і ефективність сайту.

При пошуку дублів вручну

SEO-фахівці з досвідом можуть просканувати сайт і визначити дублікати сторінок і як вони генеруються.

Як боротися з дублікатами сторінок сайту?

Виходячи з типу дубліката можна знайти раціональне рішення:

видалення – якщо дублікат є статичним;
301 редирект – є основним методом боротьби з дублями, використовується при виникненні повних дублів, типу www і без www, помилок в ієрархії урлів;
настройка тегуа в robots.txt – закривають адміністративні сторінки, особисті папки тощо;
настройка атрибута «rel = canonical» – застосовуються для сторінок фільтрації, різних угруповань, пагінацію, сторінок з utm-мітками.

Моніторити сайт на дублі необхідно на постійній основі. Найчастіше проблема криється в движку – CMS-сайту. Пам’ятайте, що вчасно виявлена проблема може запобігти просідання позицій, зберегти краулінговий бюджет і уберегти сайт від попадання під фільтр пошукових систем.

Блог