Причини випадання сторінок з
Сьогодні відповідаю на питання про випаданні сторінок з індексу пошукової системи Яндекc від Новомосковсктеля на ім'я Олександр. Він запитує:
Точний "діагноз" при випаданні сторінок СДЛ-сайту з індексу можна поставити, тільки проаналізувавши "пацієнта" і знаючи його "історію хвороби". Але, як правило, до таких проблем призводять одні і ті ж причини, список яких я наводжу нижче.
1. Технічні проблеми.
Це може бути неправильна відповідь сервера, проблеми провайдера (є широковідомі випадки, коли провайдери закривали роботам Яндекса доступ до серверів, через що з індексу вивалювалися тисячі сайтів), проблеми движка і т.д.
Що б переконатися, що причина випадання сторінок суто технічна, додайте сайт в webmaster.yandex.ru (якщо ще не зробили цього) і вивчіть розділ "Помилки". Якщо у роботів Яндекса виникають якісь проблеми при спробі зайти на сайт, інформація про це обов'язково буде відображена в "помилки" панелі вебмастера.
Рішення проблеми: 1) заборонити дублі до індексації в robots.txt (простий); 2) копирснути движок так, що б дублі більше не генерувалися (глобальний).
Рішення проблеми - додавати на кожну сторінку побільше якісного змісту, не роздувати до свавілля навігацію та інші наскрізні блоки.
Взагалі, іноді до помилок індексації сайту призводить неуважність самого вебмастера. Пригадується минулорічний випадок з особистого досвіду, коли під час моєї відпустки закордоном мені подзвонив клієнт і попросив терміново розібратися, чому його сайт повністю випав з індексу. Як потім виявилося, при перенесенні на новий движок сайт просто забули відкрити до індексації, і в robots.txt красувався рядок Disallow: /.
До речі, стежити за кількістю сторінок в індексі зручно через webmaster.yandex.ru. Якщо раптом помітите, що розрив між показниками "Завантажено роботом" та "Сторінок в пошуку" різко збільшився - шукайте проблему, вона є.
Важко в цьому плані з Яндексом. Так і норовить навіть свої інструкції ігнорувати. Заборонив на одному блозі тягти сторінки архівів по роках page з навігатора, перевірив в вебмайстрів все сходиться, підсумком рік вже а все тягне і тягне.
Зараз перевіряв в вебмайстрів ще на одному блозі Роботс, так взагалі розплакався - Яндекс при перевірці взагалі прокинув всі записи стосуються його, не подивився навіть на свій User-agent: Yandex
Дякую! У моєму випадку виявився п. 6.
Тобто я отримав відповідь саме від Яндекс, що був "глюк". Зараз з індкесірованіем справи йдуть досить непогано. Після того, як трохи "пов'язав" сайт, стали ще краще.
Спасибі за пост!
Сайт зазвичай з через це не викидають. З індексу може пропасти сторінка у якій може бути дубль. А можуть бути в індексі 2 дубля. Ні в тому, ні в іншому випадку це не призведе до хорошого!