Повільна індексація сайту яндексом
Є кілька причин по яким пошукова система Яндекс може не індексувати сайт взагалі або індексувати його занадто повільно.
Технічні причини
Індексування сайту може бути заборонено через технічні причини. Ось деякі з них:
- сторінки сайту містять помилки і їх вміст неможливо проіндексувати коректно
- індексування сайту заборонено у файлі robots.txt за допомогою директиви Disallow. З її допомогою можна заборонити індексування всього сайту або його частини
- індексування AJAX-сайтів буде вироблено коректно в разі, якщо структура сайту побудована за певними правилами
- офісні та Flash-документи також індексуються Яндексом відповідно до встановлених критеріїв
Пошуковий спам
Гарантовані проблеми з потраплянням в індекс Яндекса виникнуть в разі використання недобросовісних прийомів просування сайтів - пошуковий спам.
Згідно з визначенням Яндекса:
Пошуковий спам - це спроби обману пошукової системи і маніпулювання її результатами з метою зміни позиції того чи іншого веб-сайту в результатах пошуку.
Веб-сайти, які використовують «пошуковий спам», можуть бути знижені при ранжуванні або виключені з бази через неможливість їх коректного ранжирування.
Таким чином, використання пошукового спаму з високою часткою ймовірності гарантує лише одну річ - видалення сайту з результатів пошукової видачі Яндекса.
Як прискорити індексацію сайту Яндексом?
Є кілька рекомендацій для більш швидкого появи сторінок в індексі:
- Виключіть непотрібну інформацію з індексування (сторінки пошуку, статистики, службові розділи) - найпростіше це зробити за допомогою файлу robot.txt і директиви Disallow;
- Створіть файл sitemap. що містить інформацію про сторінки сайту підлягають індексації. З його допомогою можна повідомити Яндексу, які сторінки потрібно індексувати, як часто оновлюється інформація на сторінках, а також індексування яких сторінок найбільш важливо;
- Створіть карту сайту - сторінку або декілька сторінок, які містять посилання на всі документи сайту;
- Налаштуйте видачу коректних заголовків відповідей (сторінка не існує - помилка 404, також необхідно коректно обробляти код 304).
У разі якщо сервер не видає дату останньої модифікації документа (обробка коду 304). то ваш сайт буде проіндексований, але:
- в пошуковій видачі не буде доступний широкому дата поруч зі сторінками сайту;
- час сортування за датою сайт не буде видно більшості користувачів;
- робот не зможе отримати інформацію про те, чи оновилася сторінка сайту з моменту останнього індексування. Таким чином змінилися сторінки будуть переіндексувати рідше так як число сторінок, одержуваних роботом з сайту за один захід, обмежена.
За умови дотримання вищеописаних рекомендацій шанси на регулярний візит пошукового робота Яндекса зростуть, а ймовірність попадання під фільтр - зменшаться.