Файл що і як закрити від індексації, Інфобізнес для новачків

Файл robots.txt грає важливу роль при індексації сайту пошуковими роботами. Головне його завдання закрити від індексації дублікати оригіналів сторінок, чернетки та інші документи.

Як створити файл robots.txt ми розглянули тут. Що таке правильний robots.txt? Як скласти правильний robots txt? Особливо це актуально при формуванні файлу robots.txt для WordPress. Движок WordPress створює дуже багато дублів і сміття. Що слід закрити від індексації файлом robots.txt?

Щоб відповісти на це питання звернемося до сервісу Яндекс вебмастер. Робота з цим сервісом описана тут.

Я не профі області SEO оптимізації. Ключові слова і теги для мене поки це синоніми. Ключових слів в контенті я використовую багато. Це для розуміння суті викладеного матеріалу (див. Головну сторінку) і полегшення пошуку потрібної інформації на блозі. Я розумію, що для просування в ТОП пошукових систем тегів має бути менше ніж ключових слів. Але поки так. Досконалості немає меж.

Дорогий мій новачок. Тепер Вам не страшно вносити зміни в файл robots.txt. Тепер знаєте як закрити від індексаціідублі сторінок Вашого блогу. Але пам'ятайте, якщо на блозі накопичилися забруднення (чернетки Ваших записів, дублі і ін.) Його треба видаляти. Для цього потрібно теж регулярно чистити бази даних блогу. Про це ми ще поговоримо.