Індексація сайту в Яндексі і Гуглі як перевірити і прискорити

Індексація сайту в Яндексі і Гуглі як перевірити і прискорити

Як пошук знаходить сторінку

Процес індексації відбувається в 5 етапів:

  1. Створення сайту.
  2. Робот дізнається про існування сайту.
  3. Планування.
  4. Запит контенту, додавання в базу.
  5. Як додати інформацію до пошук.

А тепер по порядку пояснення кожного етапу.

Схема: процес індексації сайту поетапно

Ви створили сайт, розмістили його на сервері, наповнили контентом і зробили його доступним для відвідувача і індексуючему робота (етап 1). Далі, для того, щоб сайт почав індексуватися, робот повинен дізнатися про його існування (етап 2). Після того як з'явилася інформація, що в інтернеті розмістили новий сайт робот планує відвідати Вашого сайту (етап 3). Далі він відправляє певні запити до Вашого сервера, отримуючи при цьому контент від нього (етап 4). І отриманий контент додає в майбутньому в пошукову базу (етап 5).

Звідки індексує робот Яндекса або Google дізнається про сторінки (пояснення до етапів 1, 2 і 3):

  • посилання на інших сторінках в інтернеті;
  • Я.Вебмастер або Google Webmaster;
  • внутрішні посилання;
  • XML карта сайту;
  • інші джерела, наприклад, Яндекс Метрика.

Від чого залежить швидкість індексування:

  • завантаженість сервера, на якому знаходиться сайт;
  • частота оновлення сторінок;
  • інтерес відвідувачів до сайту.

Тут все просто. Якщо сервер не справляється із запитами робота, то він починає відвідувати сайт рідше, отже, сторінки будуть заходити в індекс повільніше. І в той же час, якщо робот бачить, що на вашому сайті часто додається який-небудь новий контент, то він починає відвідувати такі сторінки частіше, тому що вважає, що прийшовши на сайт через якийсь час контент буде знову оновлено.

Також робот дивиться на інтерес відвідувачів сайту до матеріалу, який Ви розміщуєте на ньому. Іншими словами, якщо новини, інформаційні статті або інший контент цікаві відвідувачам, то робот також звертає на це увагу і може переглянути свої політики планування, які використовує при відвідуванні Вашого ресурсу.

Запит і отримання контенту (пояснення до етапу 4):

  1. Запит файлу robots.txt (1-2 рази на добу).
  2. Запит конкретної сторінки.

Перед початком кожного індексування робот запитує файл robots.txt. Зазвичай це відбувається 1-2 рази на добу. Робот це робить так відносно рідко з тієї причини, що даний файл рідко оновлюється. Після цього відбувається вже запит конкретної сторінки. Робот при цьому відсилає на сервер певні заголовки:

Accept-Language: ru, uk: q = 0,8, be: q = 0,8, en: q = 0,7, *: q = 0,01

User-Agent: Mozilla / 5.0 (compatible: YandexBot / 3.0; + yandex.com / bots)

Accept-Language - вказує на те, які мови підтримує індексує робот. Accept-Encoding - вказує на підтримувані формати стиснення. User-Agent - це заголовок, який показує, який саме індексує робот до Вас прийшов.

Після того як робот відправив запит на сервер, сервер повертає відповідь. Наведу приклад:

Content-Type: text / html; charset = UTF-8

Cache-Control: no-cache, no-store, max-age = 0, must-revalidate

X-XSS-Protection: 1; mode = block

HTTP / 1.1 - обов'язковий відповідь сервера, який показує в якому статусі знаходишся запитувана сторінка. Content-Type - також обов'язковий відповідь, який показує який тип документа буде передаватися роботу і його кодування. Contet-Encoding - показує тип стиснення, який використовується на сервері.

Поширені HTTP / 1.1 коди відповіді сервера:

Додавання контенту в пошукову базу (пояснення до етапу 5).

Крім HTTP відповіді повертається вашим сервером ще має передаватися і вміст сторінки. Отже робот отримує:

  • HTTP код відповіді;
  • Текстовий вміст, мета-теги;
  • Вихідні посилання на внутрішні і зовнішні сторінки.

Види індексуючему робота

Після того, як контент отриманий його потрібно включити в результати пошуку. Залежно від того який індексує робот відвідує сайт, ваші сторінки можуть з'явитися в результатах пошуку в різний час. Це залежить від типу робота, який буває швидким або основним.

Швидкий робот відвідує, як правило, сторінки новинних ресурсів і сайтів у яких інформація швидко втрачає свою актуальність. Тобто ті сторінки, які потрібно проіндексувати саме зараз і включити їх в результати пошуку. Основний індексує робот відвідує всі сторінки, які йому відомі, запитує весь контент і включає документи в результати пошукової видачі. Єдине, що це відбувається повільно в момент поновлення пошукової бази (1-2 тижні).

Перевірка індексації

Перевірка індексації кожної сторінки сайту - це важливий етап робіт, який повинен, в ідеальному випадку, проводиться автоматично. Якщо маленький проект ще можна вручну перевірити, то вже великі проекти буде трудозатратно. Звичайно, в такому випадку потрібні спеціалізовані програми або власна розробка.

Важливо розуміти, що коли в індекс потрапляють різні сміттєві сторінки, наприклад, різні дублі, сторінки без змісту, або з помилками, то це призводить до розповзання статичної ваги, як на корисні, так одночасно і на сміттєві сторінки. Також це призводить до непотрапляння або випадання важливих просуваються сторінок в індекс, що в підсумку позначиться на трафіку.

Як дізнатися, що сторінка в пошуку Яндекса:

  • Яндекс.Вебмайстер, інструмент - «перевірити URL»;
  • Результати пошуку з оператором url. наприклад, url: www.seowind.ru/baza-znanij-seo/indeksaciya-sajta/
  • Пошук всіх сторінок сайту, які знаходяться в пошуку - оператор site. наприклад, site: www.seowind.ru

Як управляти індексується роботом

Тепер потрібно зрозуміти, як можна впливати на краулер, щоб він індексував тільки те, що потрібно нам. Управляти індексацією можна через:

Важливо пам'ятати. Щоб сайти для робота були дзеркалами на них повинен знаходитися однаковий контент.

Особливості для AJAX і локалізованих версій сайтів

Залишилося розповісти про індексації деяких видів сайтів.

В першу чергу з динамічним контентом або сайти які працюють на AJAX. Тут можна виділити 2 окремих випадки, але вони зводяться до одного й того ж. Вебмайстрам необхідно створити індексуючему робота HTML копії, тобто статичні копії, де весь контент вже є і повідомити про їх існування.

В такому випадку краулер буде відвідувати ці HTML копії, які ви для нього створили і в результати пошуку будуть включатися динамічні сторінки призначені для відвідувачів.

  • site.ru/#blog -> site.ru/#blog
  • site.ru/#!blog -> site.ru/?_escaped_fragment_=blog
  • site.ru/blog ->
  • site.ru/blog -> site.ru/blog?_escaped_fragment_=

У 2 разі ми розміщуємо мета тег в вихідному коді сторінки і також додаємо HTML копію для сторінки сайту.

Деякі особливості існують і в індексації локалізованих версій сайтів на інших мовах. Наприклад, якщо у вас величезний форум або інтернет-магазин з різними мовними версіями. Щоб ці мовні версії індексувалися і знаходилися в пошуковій видачі необхідно:

  • відкрити локалізовану версію для краулер;
  • використовувати атрибут hreflang, який розміщується в вихідному коді всіх сторінок сайту у яких є перекладені на інші мови версії.

В такому випадку робот приймає рішення, що, в пошукову видачу, наприклад, в США потрібно включити відповідну (англійську) мовну версію сайту.

Як прискорити індексацію

Прискорення індексування сторінок сайту - це серйозне завдання для seo-фахівця, яка потребує вирішення. Для того щоб поліпшити індексацію сайту необхідно виконати певний комплекс робіт: