Розповідаємо, як закрити від індексації текст, сторінку або цілий сайт для успішного просування

Все про способи закриття від індексації всього сайту, окремої сторінки і частини тексту

Найчастіше веб-майстрам доводиться попросити пошукові системи не індексувати сайт. Причини цього різні. Наприклад, ви вирішили змінити дизайн ресурсу і не бажаєте, щоб ваші сміливі експерименти були помічені роботами Яндекса або Google. Або ж ви міняєте платформу, видаляєте дублі контенту з індексу або очищаєте його від «застрягли» сторінок.

За бажанням розробника можна встановити заборону індексації сторінки, контенту, порталу повністю. Що це дасть? Відкриті сторінки ПС знаходить і додає до себе в базу. На закриті робот просто не заходить, тому і не бере до уваги їх при видачі.

Що це і чому це важливо?

Які сторінки веб-розробнику бажано приховати від індексації, якщо він хоче, щоб просування сайтів було максимально ефективним?

Для якісного просування ресурсу веб-майстру необхідно програмним шляхом заборонити додавати в базу ПС сторінки, які відвідувачам бачити зовсім не обов'язково. До них відносяться:

• адмінчастини;
• сторінки з особистої інфо користувачів;
• форми зворотного зв'язку.

Також важливо встановити заборону відправки на індексацію сторінок сайту, контент яких можна зустріти ще на кількох сторінках. Їх називають дублюючими. Вони просто пессімізіруют сайт, збільшуючи відсоток неунікальний матеріалів. Це не залишать без уваги ПС.

З особливим негативом до контенту-дублю на порталі відноситься пошуковий робот Google. Якщо систематично він буде виявляти на сайті дублюючу інформацію, це загрожує ресурсу штрафними санкціями, які можуть привести до виключення з видачі на певний час.

Ще одним випадком, коли необхідно ввести заборону на індексацію сайту robots, можна назвати наявність на порталі сайти можуть містити матеріали неунікальне опис і фотографії. Наприклад, ви створили онлайн-аптеку. Як правило, текст про препарат неунікален, його можна зустріти на десятках інших ресурсів. Намагатися надати йому унікальності - справа невдячна. Тому найкращим рішенням у такому випадку стане закриття сторінок з неунікальні публікаціями від індексування.

Як грамотно закрити сторінку від індексації?

З robots txt заборона індексації всього сайту виконують більшість веб-майстрів. Розташований він в кореневому каталозі. З його допомогою можна встановити обмеження для роботів ПС, яким не слід брати в індекс позначені веб-майстром сторінки сайту. Robots.txt - класичний текстовий документ, який можна змінити в будь-який момент. Якщо robots.txt у вас відсутній або ви просто не користуєтесь ним, ПС будуть стандартно включати в індекс будь-які сторінки сайту.

Закрити вікно від індексації в robots txt гранично просто. Даний файл може включати один або кілька блоків, що містять пару рядків. Перша з них - User-agent. Вона і визначає, який ПС слід дотримуватися визначеної інструкції. Якщо вам хочеться ввести заборону індексації сайту для всіх ПС, в першому рядку файлу robot.txt має бути зазначено:

Якщо ви вивчаєте, як заборонити індексацію сайту robots txt, придивіться до другій сходинці, яка називається Disallow. Тут веб-розробнику слід вказати ті файли і папки, які йому хочеться приховати від роботів ПС. Наприклад,

Це базові нюанси, які дозволять закрити від індексації в robots txt конкретні сторінки проекту для його швидкого і якісного просування. Тепер вам відомо, як заборонити індексацію сторінки в robots txt, вибравши конкретні файли.

Також закрити сайт від індексації htaccess дозволяє. Для цього створюється скрипт

Робота з метатегом Robots

Не тільки robots txt заборонити індексацію під силу. Для цих же цілей деякі розробники вважають за краще застосовувати метатег Robots.

Закрити картинку від індексації, публікацію, сторінку або весь сайт вдасться, якщо вказати в HTML-верстки метатег Robots. Розташувати його потрібно в зоні HEAD, відразу перед