Що таке краулер, глосарій інтернет-маркетингу

Краулер (бот, павук, automaticindexer, ant, webspider, webscutter, пошуковий робот) - спеціальна пошукова програма, яка є частиною пошукової системи (Яндекс. Google і ін.), І призначена для індексування веб-сайтів.

Пошуковий робот таким чином знаходить нові сайти, нові сторінки і заносить собі в індекс, а також він фіксує поновлення на раніше відомих йому сторінках. Що цікаво, пошуковий бот здатний визначити частоту оновлень інформації на вашій сторінці. Наприклад, якщо у вас новинний сайт оновлюється щодня, то пошукові боти будуть відвідувати ваш сайт частіше, а якщо у вас бізнес сторінка з описом послуг компанії, де контент не змінюється роками, то і пошуковий робот до вас буде ходити теж раз на рік.

Види пошукових роботів

У кожної пошукової системи не один Краулер, а ціле безліч ботів, де кожен заточений під певні завдання і відвідує ваш сайт з різною періодичністю в різний час.

Пошукові роботи Яндекса

Пошукові роботи Google

У Google є свої пошукові роботи.

Важливо відзначити, що сайт можна знайти через пошук (Яндекс, Google) не відразу ж після того як його проиндексирует пошуковий бот. Спочатку все записується в базу даних, а потім вже відбувається апдейт (оновлення бази).

На грубому прикладі це виглядає так:

Пошукові роботи також спотворюють дані в веб-аналітиці в таких системах як Яндекс.Метрика і Google Analytics. Там пошукові роботи розуміються як звичайні відвідувачі. Однак пошукових роботів можна відфільтрувати, якщо зробити певні настройки в системах веб-аналітики.