Індексація сайту

В Інтернеті більше десятка пошукових систем. Але основних пошукових систем всього два: Гугл і Яндекс. Це найпопулярніші пошукові системи, тому під них і доводиться підлаштовуватися, всіляко догоджати і намагатися завоювати прихильність, високі позиції і звичайно індексацію.

Що таке індексація сайту

У кожної пошукової системи є база даних, в якій зберігається вся інформація про відомих їй сайтах. Пошуковий робот періодично обходить ці сайти і вносить зміни в базу, додає нові сайти і видаляє старі. Ця база даних називається індекс пошукової системи. Процес сканування і додавання сайту в базу пошукової системи і називається індексацією сайту.

Навіщо потрібна індексація

Більшість відвідувачів потрапляють на сайт за якомусь запиту з пошукової системи. Так вже склалося, що люди довіряють розумним алгоритмам. І чим більше сторінок сайту проіндексовано - тим вище ймовірність того, що користувачі будуть частіше заходити на даний сайт. Фактично, завдання власника будь-якого сайту і полягає в тому, щоб залучити на свій ресурс максимальну кількість відвідувачів. Але відвідуваність залежить не тільки від індексації, а й від позиції в пошукових системах. Навіть якщо всі сторінки проіндексовані, то це ще не гарантує гарну відвідуваність. За статистикою, більшість користувачів інтернету не переходять в пошуковику далі першої сторінки видачі. Позиція пошукового запиту має ключове значення. Чим вона вища - тим більше шансів отримувати відвідувачів і клієнтів. Але індексація сайту це питання первинний.

З якою періодичністю змінюється видача пошукових систем?

В Google видача сайтів може змінюватися часто, це пов'язано з тим що позиції сайтів оновлюються не по апдейтам, а після кожної переиндексации кожного сайту. Переіндексувати ваш сайт - отримаєте позицію по заслугах в залежності від якості вашого контенту. В Яндекс ж зміна пошуку відбувається по апдейтам, і коли буде апдейт, не знає ніхто. Зазвичай Яндекс апает видачу раз в 3-10 днів.

У Яндекса і у Google є так званий бистробот, який часто відвідує «любимчиків», тобто сайти, які він вважає якісними, як правило це сайти які дуже часто оновлюються, наприклад сайти новин. Бистробот може проіндексувати сторінку навіть через 5 хвилин після розміщення на ній нового матеріалу.

Чому сторінки випадають з індексу?

Сторінки потрапляють в пошук ненадовго. Іноді вони через якийсь час випадають з індексу. Наприклад, якщо пошуковик знайшов такий же контент як у вас але на більш рейтинговому сайті ваша сторінка може випасти з індексу. Якщо сторінка з індексу, то вона може знову потрапити в базу після чергової переиндексации, в наступний апдейт, а може більше не проіндексувати ніколи.

Часто бувають такі випадки коли сторінка була проіндексована і знаходиться в індексі, тим не менш пошуковики заходять на сторінку вкрай рідко і це називається повільна індексація сайту.

Індексація сайту в Яндекс

Індексація сайту в Google

Перевірка індексації сайту

Також для перевірки можна використовувати плагін - доповнення до браузерів RDS (є версія для Firefox і Chrome).

В Яндексі можна зробити запит на показ усіх проіндексованих сторінок будь-якого сайту:

В Гуглі можна використовувати запит:

Щоб подивитися індексацію конкретної сторінки в Google можна так само використовувати запит:

Якщо сторінка проіндексована то ви побачите відразу всю інформацію про цю сторінку.

Як прискорити індексацію сайту

Для прискорення і поліпшення індексації можна додати карту сайту sitemap.xml. Для цього використовуються або програми або скрипти або ще щось або хтось, хто вміє генерувати файл sitemap.xml

Існує теорія про те що соц. мережі скануються пошуковими системами з особливих алгоритмам, значно швидше, так як контент в соц мережах оновлюється теж дуже швидко, відповідно якщо поширювати інформацію про сайт в соц мережах то і пошукові системи цю інформацію оперативно підхоплять і проїндексируют сайт, щоб бути в тренді. Але є певні нюанси.

Також можна налаштувати кросспостінг, щоб сторінки додавалися в соцмережі автоматично. Відразу як тільки сторінка з'являється на сайті вона відразу ж відправляється і в соц мережі.

Ще один, дійсно працюючий спосіб прискорити індексацію сайту - це публікувати свої посилання там де живе бистробот, наприклад на сайтах новин. В результаті чого бистробот перейде по вашому посиланню і проиндексирует контент.

Як прискорити індексацію сайту в Google описано ще і в цій статті.

переіндексація сайту

Переіндексація потрібна, наприклад, якщо ви змінили контент. Однак всі спроби змусити пошуковик заглянути на чай і примусово переіндексувати ваш сайт більше схожі на шаманські танці з бубном. Єдиний спосіб - додати сторінки, наприклад, в соцмережі. І якщо мова йде про Google то відправити на індексацію потрібні сторінки вручну через інструменти для Вебмастеров. Все інше ніякого толку не дає.

Як заборонити індексацію сайту

Іноді потрібно заборонити індексацію всього сайту, окремих папок або сторінок. Найзручніше зробити це в файлі robots.txt. Для заборони індексації використовується команда Disallow.

це заборона індексації папки wp-admin.

В robots.txt можна заборонити інформацію для всіх пошукових систем відразу. Даний robots.txt забороняє індексацію всього сайту для всіх пошукових систем:

Або персонально для кожного. Наприклад заборона індексації сайту тільки для Яндекса буде виглядати так (при цьому Google проиндексирует сайт):

Будь ласка, поділіться цією статтею в соц мережах: