Що таке «пошуковий робот» (павук, бот)

Форум просування сайтів «Питання від новачків в SEO« Словник SEO термінів (FAQ)

Що таке «Пошуковий робот» (Павук, Бот)

Пошуковий робот (бот, павук) - спеціальне програмне забезпечення будь-якої пошукової системи, браузерного типу, в завдання якого входить вносити в базу (пошуковий індекс) нові та оновлені документи. Пошукових роботів так-же називають: краулер, павук, бот, робот, spider, automaticindexer, ant, webcrawler, bot, webscutter, webrobots, webspider.

Принцип роботи пошукового робота

По мимо нових сайтів і сторінок, робот так-же індексує оновлений сторінки і сайти, періодичність оновлення яких фіксується. Робиться це для того, що б визначити, як часто роботу необхідно відвідувати сайт. Якщо зафіксовано, що ваш сайт в середньому оновлюється раз на тиждень - то і пошуковий робот буде відвідувати вас приблизно раз в тиждень. Якщо контент додається і оновлюється щодня, по кілька разів на день, то такий робот може заходити до вас так-же часто. Часом такі роботи практично «живуть» у вас на сайті. Їх так-же називають «бистророботамі». Так як вони відправляють нові сторінки в пошуковий індекс за лічені хвилини.

Інші пошукові системи так-же мають своїх пошукових робот, функціонали і призначення яких розрізняються.

Управління пошуковим роботом

Управляти пошуковим роботом неможливо, це прерогатива пошукових систем, які ними керують. Та й алгоритми сканування цих роботів простим смертним невідомі. Але ми можемо давати роботам вказівки і рекомендації по скануванню сайту. Направити його в правильне русло, повідомити про оновлення сторінки, повідомити дату цього оновлення, або навпаки, заборонити індексацію. Все це описувати досить довго, з цього хотілося б дати вам посилання, на статтю, які розкажуть вам детальніше, як можна управляти пошуковим роботом і що йому повідомляти.

Складаємо правильний файл robots.txt - файл Robots.txt є найважливішим документом для пошукового робота на вашому сайті. Спочатку, він звертається до нього, враховує ваші вказівки на заборони окремих сторінок і директорій, або сайту цілком, бере до уваги інші директиви цього файлу, і тільки після цього приступає до сканування. Я настійно рекомендую вам ознайомитися з цією статтею.

META-теги - Які бувають і навіщо потрібні - META-теги найважливіших інструмент в оптимізації вашого сайту, і вказівки пошуковому роботу тієї чи іншої інформації про вашому сайті. Хто власник сайту, які ключові слова на них є, як використовується кодування, коли контент оновлювався, яке опис сторінки бажано виводити в пошуковій видачі, і багато іншого. Загалом, так-же рекомендую до прочитання тим, хто ще не знає про META-тегах або знає, але досить мало.