Індексація сайту - підготовка і перевірка, прискорення і заборона індексування пошуковим системам

Індексація сайту - це найважливіша, необхідна і першочергове деталь в здійсненні його оптимізації. Адже саме внаслідок наявності індексу пошукові системи гранично швидко і точно можуть відповідати на всі запити користувачів.

Що таке індексація сайту?

Виділяють 2 варіанти індексації сайту ПС:

Як підготувати сайт до індексації?

Відразу варто відзначити, що вкрай небажано викладати сайт на стадії розробки. Пошукові системи можуть проіндексувати незакінчені сторінки з некоректними даними, орфографічними помилками і т. Д. В результаті це негативно відіб'ється на рейтингу сайту і видачі інформації з даного ресурсу в пошуку.

Тепер давайте перерахуємо моменти, про які не можна забувати на етапі підготовки ресурсу до індексації:

Як часто відбувається індексація?

Індексація сайту в залежності від ряду причин може займати від декількох годин до декількох тижнів, аж до цілого місяця. Оновлення індексації, або апи пошукових систем відбуваються з різною періодичністю. За статистикою в середньому Яндекс індексує нові сторінки і сайти за період від 1 до 4 тижнів, а Google справляється за період до 7 днів.

Але при правильній попередній підготовці створеного ресурсу ці терміни можна скоротити до мінімуму. Адже по суті всі алгоритми індексації ПС і логіка їх роботи зводиться до того, щоб дати найбільш точний і актуальний відповідь на запит користувача. Відповідно, чим регулярніше на вашому ресурсі буде з'являтися якісний контент, тим швидше він буде проходити індексацію.

Методи прискорення індексації

Після того як кілька сторінок вже потрапили в індекс і сайт став розвиватися для прискорення індексації можна спробувати «підгодувати» пошукового бота. Для цього потрібно періодично публікувати новий контент приблизно через рівні проміжки часу (наприклад, кожен день по 1-2 статті). Звичайно ж, контент повинен бути унікальним, якісним, грамотним і неперенасищенним ключовими фразами. Також рекомендую створити XML карту сайту, про який піде мова нижче і додати його в панелі веб-майстра обох пошукових систем.

Файли robots.txt і Sitemap

Текстовий файл robots txt включає в себе вказівки для пошукових роботів пошукових систем. При цьому він дає можливість заборонити індексацію обраних сторінок сайту для заданої пошукової системи. Якщо будете його робити вручну, то важливо, щоб ім'я даного файлу було прописано тільки прописними буквами і знаходилося в кореневій директорії сайту, більшість CMS генеріріруют його самостійно або за допомогою плагінів.

Sitemap або карта сайту являє собою сторінку, яка містить повну модель структури сайту в допомогу «заблукали користувачам». При цьому можна переміщатися зі сторінки на сторінку без використання навігації сайту. Бажано створити таку карту і в форматі XML для пошукових систем і вписати його в файл robots.txt для поліпшення індексації.

Як заборонити сайт до індексації?

Управляти, в тому числі і забороняти сайт або окрему сторінку до індексації, можна за допомогою вже згаданого вище файлу robots.txt. Для цього створіть на своєму ПК текстовий документ з такою назвою, помістіть його в кореневій папці сайту і пропишіть у файлі від якого пошукача ви хочете приховати сайт. Крім того, приховати контент сайту від ботів Google або Яндекса можна використовуючи знак *. Ось ця інструкція в robots.txt заборонить індексацію всіх пошукових систем.

Для сайтів на WordPress заборонити індексацію сайту можна через панель управління. Для цього в настойках видимості сайту потрібно поставити галочку «Рекомендувати пошуковим машинам не індексувати сайт». При цьому Яндекс, швидше за все, прислухається до вашому побажанню, а ось з Google не обов'язково, але можуть виникнути деякі проблеми.