Шукаємо дублі за допомогою нового яндекс вебмастера

Зовсім недавно Яндекс запустив бета тестування оновленого сервісу для веб-майстрів.

В Яндекс Вебмайстер були додані нові звіти, істотно поліпшено візуалізація даних, змінився інтерфейс і багато іншого.

Нововведень досить багато, але сьогодні хотілося б зупинитися на звіті «Статистика індексування», і як з його допомогою можна виявити дублі і сміттєві сторінки.

На багатьох сайтах є неінформативні сторінки, які сканують пошукові системи, але не додають в свій індекс, тому що розуміють що вони з'явилися в результаті технічних помилок. Робота seo фахівця як раз таки полягає в тому, щоб усунути всі проблеми в скануванні та індексування ресурсу.

Якщо ми усунемо десятки, а то і сотні сміттєвих сторінок, на сканування яких витрачають час пошукові системи, ми зможемо збільшити частоту сканування та індексування корисних сторінок сайту, а отже і поліпшити ранжування ресурсу в пошукових системах.

На сторінці звіту «Статистика індексування» ми зможемо дізнатися:

• Які сторінки сайту сканує робот;
• Які сторінки робот виключив з пошуку;
• Які сторінки проіндексовані і знаходяться в індексі пошукової системи Яндекс.

У підсумку ми отримуємо файл у форматі .tsv, відкрити який можна через Excel, Libre Office або простим блокнотом.

Файл також містить наступні дані:

• Коди відповіді сервера.
• Дату останнього сканування в форматі Unix time. перетворити можна, задавши в консолі запит виду date -r.
• Проіндексованості сторінок.
• У стовпці «Double» знаходяться посилання на дублікати сторінки, якщо вони є.

Приклади знайдених помилок на сайтах завдяки даним про завантажених сторінках роботами Яндекса:

Сайт asteria.ua:

Були виявлені наступні сторінки:

Це повні дублікати сторінок сайту, вони не проіндексовані, але регулярно скануються Яндексом, отже їх потрібно якомога швидше усунути.

Ще кілька сторінок дублікатів:

Сайт novebti.ua:

Були знайдені дублікати головної сторінки сайту:

З цих сторінок потрібно написати link rel = "canonical» на головну сторінку сайту.

Сторінки такого типу найкраще закривати за допомогою мета тегу robots = "noindex, follow».

Сайт asiamshop.com.ua:

Використовуючи інструмент «Статистика індексування» в новому Яндекс вебмайстрів можна протягом 30 хвилин проаналізувати сторінки, які відвідує робот, виявити проблеми та продумати варіанти їх вирішення.

Якщо ви знайшли помилку, виділіть фрагмент тексту і натисніть Ctrl + Enter або скористайтеся посиланням. щоб повідомити нам.