Що таке і для чого він потрібен сайту

robots.txt - це звичайний текстовий файл, розміщений на сайті і призначений для роботів пошукових систем. У цьому файлі можна вказати параметри індексування свого сайту для всіх роботів пошукових систем відразу або для кожної пошукової системи окремо.

Всі пошукові роботи при заході на сайт в першу чергу шукають файл robots.txt.

Як створити?

Що закривати від індексації?

Правила заповнення файлу robots.txt

Отже, в файлі robots.txt кожна команда або директива повинна прописуватися окремим рядком. Число команд не обмежена.

Перше, з чого слід почати заповнення файлу - вказати, для якого робота будуть команди, для цього пишемо в першому рядку:

якщо ваші інструкції призначені для роботів Яндекса:

для роботів Google:

для всіх роботів без винятку:

Команда Disallow забороняє роботу індексувати той чи інший файл або папку.

забороняє індексувати файли даної папки:

забороняє індексувати дане зображення:

заборона на індексацію всього сайту:

Перевірте ваш сайт - це одна з найчастіших причин неіндексірованія сайту.

Важливо! Неправильно вказувати кілька директив в одному рядку:

Disallow: / cgi-bin / / cell / / bot /

Директива Allow навпаки - знімає заборону на індексацію деяких файлів. Приклад її використання:

User-agent: Yandex
Allow: / cgi-binDisallow: /

Такий запис у файлі забороняє завантажувати роботу Яндекса все, крім сторінок, що починаються з '/ cgi-bin'.

Важливо! Якщо у файлі вказали директиву, але не вказали параметри для неї, значення будуть такі:

заборони на індексацію сайту немає:

весь сайт заборонений до індексації:

Якщо у вас є карта сайту в форматі sitemaps.xml, вкажіть шлях до неї в спеціальній директиві Sitemap (якщо файлів декілька, вкажіть всі):

Даний запис використовується роботами Яндекса. Визначте і вкажіть в директиві Host головне дзеркало вашого сайту:

Директива Host не гарантує вибір зазначеного головного дзеркала, але Яндекс враховує її з високим пріоритетом.

Приклад заповнення robots.txt

Перевірка файлу robots.txt

Для перевірки отриманого файлу можна скористатися Яндекс.Вебмайстер.