Проблеми з індексацією основні види зайвих сторінок в індексі, причини та шляхи вирішення
Коротко про основні SEO теги
Всім привіт! Давно не писав в блог, причиною тому є завершальний етап розробки сайту студії. Зовсім скоро він буде дороблений і я його всім покажу Але повернемося до теми нашої розмови, а він дуже важливий. Сьогодні ми поговоримо про сміттєвих сторінках в індексі. Сміття сильно перешкоджає активному росту позицій і відвідуваності сайту, що особливо актуально для старих сайтів, які давно просуваються. Відразу скажу, що в таких випадках чистка сміття і доведення індексації до ідеалу саме по собі дозволяє збільшити відвідуваність. Іноді на 20%, іноді в кілька разів, але в будь-якому випадку результат завжди дуже і дуже значний. Ось вам живий приклад.
Ще один цікавий випадок - тисячі сміттєвих сторінок після XSS атак, з якими стикаються багато і навіть один з моїх сайтів недавно потрапив під атаку. Особливо примітно тут, що навіть після детальної чищення Яндекс може тримати такі сторінки в індексі місяцями, а Гугл роками і це стає серйозною проблемою при просуванні.
Сьогодні ми в подробицях розберемо причини виникнення сміття і дисбалансу в індексації, а так же поговоримо про шляхи вирішення цих проблем!
Чим загрожують проблеми з індексацією сайту
Найбільш схильні до появи зайвих сторінок в індексі саме інтернет магазини і часто число непотрібних сторінок значно перевищує число унікальних і корисних, через що сайт в очах пошукової системи є відвертою смітником і ні про яке зростання відвідуваності тут і говорити не доводиться і не важливо, які якісні посилання ви купуєте, який додатковий маркетинг проводите - сайт не буде рости по сео, поки ви не наведете порядок.
Так само варто зауважити ще один найважливіший аспект - плавність індексації, коли число сторінок в індексі Yandex і Google мають близькі значення (варто відзначити той факт, що даний параметр є дуже важливим і при виборі донора для розміщення зовнішніх посилань). Найбільш часта картина, коли в Яндекс все чудово, а ось Гугл наївся сміття до відвалу і причина не ясна, адже все начебто закрито в Роботс. Але проблема тут саме в самому Роботс для Гугла. Дане питання я піднімав в статті.
На даному етапі важливо зрозуміти - якщо у сайту є проблеми з індексацією - його просування вкрай утруднено і вимагає підвищених бюджетів!
Знаходимо зайві сторінки в індексі
Перш за все необхідно визначити скільки ж у сайту реально існує сторінок. Для цього необхідно використовувати вивантаження сайту за допомогою Xenu.
Після того, як ми приблизно уявляємо реальне число сторінок сайту - необхідно звернутися до пошукової видачі Яндекс і Гугл, щоб побачити число сторінок в індексі (ВАЖЛИВО. Не варто дивитися індексацію в Яндекс Вебмастер - він завжди пише не актуальне значення). Тільки безпосередні запити до пошукової системи!
Тепер ми знаємо 3 основні показники:
- Реальне число сторінок сайту
- Число сторінок сайту в Яндексі Гугл
- Число сторінок сайту в індексі Яндекс
Читайте також: Найбільш часті проблеми розробки інтернет магазинів з точки зору SEO
На базі цього можна побачити такі сюжети:
- Реальне число сторінок більше, ніж число сторінок в індексі Яндекс і Google
Цілком невинна ситуація, на основі якої можна зробити 2 висновки - сайт ще не був повністю проіндексований (швидше за все саме так і сталося). Або ж індексацію сайту сильно ускладнює неправильна структура, що все-таки малоймовірно. Дана проблема легко лікується додаванням сайтмап html.
- Реальне число сторінок приблизно дорівнює числу сторінок в Яндекс, але в Гугл сторінок набагато більше
Класична ситуація, коли веб-майстер все зробив начебто і правильно, але не врахував, що Гугл не дивиться на robots. Всі директиви, прописані в Роботс необхідно замінити тегами, які забороняють індексацію на кшталт meta robots, canonical і т.д.
- Реальне число сторінок менше, ніж в індексі обох пошукових систем. Число сторінок в Яндекс приблизно дорівнює числу сторінок в Google
Дуже проста ситуація, яка, як правило, актуальна саме для інтернет магазинів і обумовлена відсутністю canonical. В індекс потрапляють сторінки угруповань, пагінацію, друку.
- Реальне число сторінок менше, ніж в індексі обох пошукових систем. В Google сторінок більше, ніж в Яндекс
Цілком стандартна ситуація, яка як правило обумовлена неправильним закриттям технічних сторінок і сторінок угруповань плюс все з минулого пункту.
- Реальне число сторінок менше, ніж в індексі обох пошукових систем. В Яндекс сторінок більше, ніж в Гугл
Складна ситуація - необхідно детально вивчати проблему!
На даному етапі картина починає прояснюватися і ми вже можемо робити попередні висновки і прогнозувати необхідні дії. Головним завданням наступного етапу стає безпосереднє виявлення основних джерел сміття.
Копаємо глибше
Так само не зайвим буде вручну погортати видачу пошукової системи - іноді саме так найпростіше виявити сміття.
Особливу складність представляють наслідки XSS атак, тому що сміття, яке виникло таким чином часто не має внутрішніх посилань, через що неможливо виявлення таких сторінок шляхом вивантаження Xenu. В даному випадку нам може допомогти розділ Індексація в панелі Вебмастера Яндекс і Гугл, де пошукова система будує структуру взаємозв'язків всередині сайту.
Резюмуючи варто виділити 3 основні інструменти:
Далі залишається тільки підчистити сміття і чекати
вибираємо мітлу
Найскладніше позаду. Тепер ми знаємо звідки взявся сміття і чим він викликаний. Наступним кроком необхідно вибрати правильний інструмент очищення. Безперечно, найкращим інструментом є фізичне відключення сміттєвих сторінок, але це не завжди можливо, адже часто такі сторінки дійсно потрібні, наприклад пагінація або фільтри у інтернет магазину. Якщо сторінки неможливо фізично прибрати - необхідно дати роботу заборона на індексацію таких станиць, але тут і мови не може бути про robots txt - даний файл вкрай малоефективний. Найсильніша директива, якою однаково покірні і Яндекс і Google це тег meta robots, який прописується в контейнері HEAD. Усередині цього тега ми можемо повністю заборонити індексацію сміттєвих сторінок.
Читайте також: Внутрішній SEO-аудит: як правильно оптимізувати ваш сайт
У деяких випадках варто використовувати canonical, який актуальний у всіх випадках пагінацію і угруповань. Суть канонікла - ми вказуємо материнську сторінку для всіх дочірніх, у випадку з пагінацією це перша сторінка розділу. В результаті робот буде чітко розуміти що вдають із себе такі сторінки і прибере їх з індексу.
прискорюємо переіндексацію
Причини виникнення сміття ми прибрали, але пошукові системи про це поки не знають. І без нашої допомоги можуть дізнатися тільки через кілька місяців, а у випадку з google дана процедура може розтягнутися на півроку і більше. Але ми можемо допомогти пошуковій системі, використавши такі поради:
Про підклеювання ми поговоримо трохи докладніше:
Замовте у мене створення інтернет-магазину, який ідеально заточений під сео
Підклеювання домену, як серйозний аргумент
Навіть правильно налаштовані заборони на індексацію зовсім не означають те що пошукачі швидко приведуть індексацію вашого сайту в порядок. Іноді цей процес може займати довгі місяці. А якщо у вашого сайту реальних сторінок не більше 100, а в індексі тисячі сторінок, як наприклад після XSS атаки - немає сенсу втрачати потенційний трафік і чекати кілька місяців. Набагато ефективніше буде використовувати методику підклеювання домену.
Для цього необхідно купити новий домен і перенести на нього сайт, а минулий домен посторінково підклеїти. При такому підході на протязі місяця домени будуть склеєні, а якщо головним дзеркалом зазначений новий домен - старий повністю випаде з індексу. Після цього можна провести зворотний процедуру і насолоджуватися чистим індексом без сміття
висновок
У висновку хотілося б сказати, що чистий. рівномірний індекс - запорука успішного сео просування. Правильна індексація показує пошуковим системам, що сайт як мінімум якісний. І пам'ятайте недоіндексація сайту це ще не страшно, а ось переіндексація ... Переіндексація це дуже серйозна проблема.
Ласкаво просимо на Markintalk
На сторінках мого блогу ви знайдете безліч актуальної інформації про сучасні методи просування сайту. Вся інформація перевірена на безлічі реальних проектів і довела свою ефективність.
Періодично я тестую різні гіпотези, що дозволяють поліпшити мої методики розкрутки комерційних сайтів - підписавшись на блог ви завжди будете в курсі найбільш ефективних методів современногоSEO.
В основі моїх методик лежать білі методи просування, робота з величезними нізкоконкурентним семантиками, поліпшення технічного стану сайту та текстова оптимізація. Як я повсюдно пишу на сторінках цього блогу - 3 з-вона сучасного сео: якісний сайт, об'ємна нізкоконкурентним семантика і правильні статті.
Чим сео блог Markintalk може вам допомогти?
Створення SEO магазинів