Файл robots txt для сайту на wordpress

Доброго времени суток, хлопці! На зв'язку Максим, з матеріалом про неймовірно важливому файлі robots txt, який повинен бути присутнім практично на кожному блозі і сайті, так як без нього, просування практично неможливо. Цього разу, ми без зайвих прелюдій почнемо розбирати основні питання поста. Навіть не стану розповідати про свої події в житті, на жаль, нічого цікавого зі мною зараз не відбувається і, взагалі, мене засмоктала рутина.
Навіщо потрібен файл robots txt на сайті вордпресс
Уявіть, ніби ваш сайт - це затишна квартирка, в якій є кілька кімнат. Хоча ні, квартири буде мало, так що представимо будинок, де повно найрізноманітніших приміщень приватного характеру (тільки для господарів): спальня, комори, горище зі складом всякої начиння, кімната з сейфом і так далі. І всі ці приміщення в будинку, повинні бути доступні тільки господарям, але не гостям.
Я вважаю, ви зрозуміли, про що я говорю. Справа в тому що, на вашому блозі є такі простору, які не повинні бачити роботи (гості), тобто, ми ховаємо все не підходящий для їх очей і відкриваємо тільки потрібні блоки, розділи. Саме це є нашим завданням, вірніше файлу robots.txt - відкрити доступ до одних розділах і закрити до інших.
Ще одна функція - усунення в пошуковій видачі Яндекс і гугл дубльованого контенту. Якщо взяти до уваги, що анонси постів в архівах і рубриках будуть однакові, то роботи можуть проіндексувати те й інше, або іноді плутатися, не знаючи який матеріал потрібно проіндексувати. Загалом, якщо ми закриємо одні сторінки і розділи і відкриємо інші, то роботи зі стовідсотковою гарантією знатимуть, що необхідно показувати в пошукових системах.
Створення та налагодження файлу robots txt для wordpress
Створення файлу robots txt і настройка для wordpress, проводиться в звичайному текстовому документі формату txt. Потім, в нього заносяться різні дані, які ми зараз і розглянемо на прикладі мого файлу. До речі, рекомендую використовувати його, так як вважаю, що він є найбільш правильним.
В цілому «Роботс» для мого блогу виглядає так:
WordPress robots txt - де лежить або куди завантажувати
Після створення правильного файлу, його необхідно завантажити на ваш хостинг в кореневу директорію сайту. На своєму прикладі покажу його місцезнаходження:


Доступ до файлу працює, значить все добре, тепер можемо приступати до роботи з блогом і публікацій своїх постів.
З повагою, Максим Бойко.