Приклади створення файлу

Файл robots.txt - це звичайний файл з розширенням .txt, який можна створити за допомогою звичайного блокнота Windows. Даний файл містить інструкції по індексації для пошукових роботів. Розміщують цей файл кореневій директорії на хостингу.

При заході на сайт пошуковий робот насамперед звертаються до файлу robots.txt для того, щоб отримати інструкції до подальшого дії і дізнатися, які файли і директорії заборонені до індексування. Файл robots.txt носить рекомендаційний характер для пошукових систем. Не можна стовідсотково сказати, що всі файли, на які виставлено заборона до індексації, не будуть в підсумку індексуватися.

Розглянемо найпростіший приклад файлу robots.txt. Даний файл містить наступні рядки:

Перший рядок вказує для яких пошукові роботи діють дані інструкції. В даному прикладі вказана зірочка - це означає, що інструкції відносяться до всіх пошукових роботів. У разі необхідності вказівки інструкції для конкретного пошукового робота, необхідно прописати його ім'я. Друга і третя рядки забороняють індексацію директорій «wp-admin» і «images».

Для пошукового робота Яндекса актуально також прописувати директорію Host для вказівки основного дзеркала сайту:

Приклади написання файлу robots.txt для конкретних завдань

1. Не забороняти роботам будь-яких пошукових систем індексувати сайт:

2. Заборонити весь сайт до індексації всіма пошуковими роботами:

3. Заборонити весь сайт до індексації одним пошуковим роботом (наприклад, googlebot):

4. Не забороняти до індексації тільки одним роботом (наприклад, googlebot) і заборонити до індексації всім іншим пошуковим роботам:

5. Заборонити до індексації всіма пошуковими роботами всіх файлів в каталогах:

7. Заборонити до індексації всіма пошуковими роботами файли:

Основні правила написання robots.txt

При написанні файлу robots.txt часто припускаються помилок. Для того, щоб їх уникнути, давайте розглянемо основні правила:

P.S. Готовий файл robots.txt для WordPress можна скачати. перейшовши за посиланням.