Як зробити для єм правильний для сайту на wordpress
Вітаю, друзі! У цьому уроці ми поговоримо про створення файлу robots.txt. який показує роботам пошукових систем, які розділи вашого сайту потрібно відвідувати, а які ні.
Фактично, за допомогою цього службового файлу можна вказати, які розділи будуть індексуватися в пошукових системах, а які ні.
Створення файлу robots.txt
1. Створіть звичайний текстовий файл з назвою robots в форматі .txt.
2. Додайте в нього наступну інформацію:
4. Збережіть зміни і завантажте файл robots.txt (за допомогою FTP) в кореневу папку вашого сайту.
Розбираємося в файлі robots.txt (директиви)
Давайте тепер більш детально розберемо, що саме і навіщо ми додали в файл robots.txt.
User-agent - директива, яка використовується для зазначення назви пошукового робота. За допомогою цієї директиви можна заборонити або дозволити пошуковим роботам відвідувати Ваш сайт. приклади:
Забороняємо роботу Яндекса переглядати папку з кешем:
Дозволяємо роботу Bing переглядати папку themes (з темами сайту):
Allow і Disallow - роздільна і забороняє директива. приклади:
Дозволимо боту Яндекса переглядати папку wp-admin:
Заборонимо всім роботам переглядати папку wp-content:
У нашому robots.txt ми не використовуємо директиву Allow, так як все, що не заборонено боту за допомогою Disallow - за замовчуванням буде дозволено.
Host - директива, за допомогою якої потрібно вказати головне дзеркало сайту, яке і буде індексуватися роботом.
Sitemap - використовуючи цю директиву, потрібно вказати шлях до карти сайту. Нагадаю, що карта сайту є дуже важливим інструментом при просуванні сайту! Обов'язково вказуйте її в цій директиві!