Як відбувалася індексація мого сайту пошуковими системами, про розкручування сайту простою мовою

З моменту створення мого сайту пройшло певну кількість часу перед тим, як мій сайт помітили пошукові системи, почавши його активно індексувати.

Сьогодні мені б хотілося вам розповісти про поведінку різних пошукових систем на моєму сайті. Вивчати їх повадки, зізнаюся, досить цікаво, особливо коли багато про пошукових системах Новомосковскешь.

Виходить свого роду практика, яка постійно зіставляється теорії, що дозволяє робити нові цікаві висновки про те, як же проходить сам процес індексування і ранжирування власних документів в різних пошукових системах.

Я думаю, логічно розповідати поява пошукових систем в хронологічному порядку.

Першим мій сайт відвідав Google. проиндексировав всі сторінки сайту. Це мене, власне, не дуже-то і здивувало, т. К. Я на той час уже знав про швидкої індексації нових сайтів цією пошуковою системою.

Ось що можна сказати про особливості індексації мого сайту цією пошуковою системою:

Робот відвідує мій сайт рідше. ніж це роблять наші "вітчизняні" пошукові роботи. Я помічав, що Googlebot приходить до мене не частіше, ніж раз на 3 дні (на перевірку файлу robots.txt приходить частіше), що, власне, і відображається в інтерфейсі веб-майстрів Google.

Причому, кожен візит робота супроводжується кешуванням інформації в хронологічному порядку. Цей хронологічний порядок зберігається при апдейтах пошукової видачі системи.

Також була помічена ще одна особливість Google. один раз я забув з якоїсь причини згадати заборону індексації однієї з директорій сайту, що призвело до її індексації. Скільки б я не міняв текст в robots.txt дана директорія не зникала з результатів пошуку. Єдиний дієвий метод видалення непотрібних проіндексованих сторінок знаходиться в центрі веб-майстрів Google. чим я і скористався.

З індексацією в пошуковій системі "Яндекс" було набагато складніше. Форма додавання ресурсу на сайті "Яндекса" була заповнена в той же день, що і форма Google. однак сайт в індексі не з'являвся (навіть незважаючи на наявність зовнішніх посилань на сайт).

Можливо, повільної індексації сайту сприяло і те, що домен знаходиться в зоні .info. В Інтернеті ходять чутки, що ця зона індексується рідше пошуковою системою.

Проблему вирішила проста і в той же час ефективна річ: оскільки мій сайт собою являє щось схоже на блог. я вирішив додати RSS-стрічку в сервісі blogs.yandex.ru з надійний на те, що мій сайт, нарешті, проиндексирует хоча б один з роботів "Яндекса".

І це спрацювало: спочатку до мене прийшов робот-індексатор rss. а за ним, як по ланцюжку, прийшов і основний індексує робот Yandex / 1.01.001 (compatible; Win16; I).

Наступного апдейт пошукової видачі мій сайт вже був в індексі цієї пошукової системи. Минуло приблизно 3 тижні з моменту запуску проекту. Не знаю, скільки б індексація тривала, якби я ним не скористався.

Як поводиться "Яндекс" на моєму сайті?

Цілком непогано, робот заходить до мене кожен день в пошуках нової інформації, індексує її, надалі вона відображається в списку проіндексованих сторінок. Оновлення раннє проіндексованих сторінок сайту проходять рідше. ніж включення нових сторінок на сайті. Можливо, "Яндексу" допомагає інформація з RSS, цей факт, звичайно, я перевірити не зміг.

"Рамблер". третя за популярністю в Рунеті пошукова система, мене помітив зовсім недавно. Хоча форма додавання для індексації сайту в пошуковій системі була мною заповнена давно.

Мені була незрозуміла затримка цієї пошукової системи, тому я вирішив діяти далі, вдумливо вчитуючись в інформацію, яка була надана власникам сайтів на сайті "Рамблера".

В першу чергу, за рекомендацією самих розробників на сайті, мій проект був доданий в Рамблер-Top 100. А також було написано лист в службу підтримки Рамблера про те, що мій домен .info російськомовний.

Не знаю, що вплинуло саме на індексацію сайту в цій пошуковій системі: рейтинг, лист або ж зовнішні посилання - в будь-якому випадку, сайт мій з'явився в індексі "Рамблера" після цих заходів досить швидко. Я навіть не очікував.

Після включення мого сайту в індекс, робот "Рамблера" став з'являтися на проекті кожен день по кілька разів. Кожне оновлення сторінки або додавання нової відразу ж відбивалося в індексі на наступний день після додавання інформації на сайт (Проіндексовані сторінки знаходилися дуже добре по тегу title).

Тепер хочеться коротко розповісти про інших пошукових системах, які індексували мій сайт.

Однак індексація сайту пройшла невірно: чи то мій сайт їй видалося дивним, то вона перейшла з якоюсь посилання. В індексі пошукової системи показувалися 3 досить дивні посилання на мій ресурс. В такому стані це існувало досить довго.

Довелося вживати заходів: в файлі robots.txt було прописано поле Sitemap. яке вказувало на мій файл Sitemap, звідки пошукові системи можуть дізнатися про структуру індексованих сайтів. Як виявилося, це спрацювало. Всі сторінки були коректно проіндексовані.

Пошукова система на моєму сайті з'являється досить рідко. Раз в 2 тижні. Нові сторінки справно додаються в індекс, але з неї йде поки що дуже мало трафіку.

А як у вас відбуваються справи з індексацією вашого сайту?