Як скласти правильний файл для яндекса і google
Файл robots - звичайний файл з розширенням txt, який створюють за допомогою блокнота. Де знаходиться robots.txt. Він розташовується в кореневій директорії сайту. і містить інструкції по індексації для пошукових роботів. Інструкції можуть бути, як і загальні, так і для конкретних роботів. [Box type = "shadow"] [starlist]
Основні правила при створенні і завантаженні файлу robots.txt:
- не плутати назву, тобто називати файл robots.txt, а не robot.txt і так далі.
- назва файлу robots.txt повинно бути обов'язково написано в нижньому регістрі, тобто robots.txt, а не Robots.txt і ROBOTS.TXT і ін.
- розміщувати файл robots.txt необхідно саме в кореневій директорії сайту, а не в якомусь іншому місці. інакше пошуковики його не побачать. [/ Checklist]
Найважливіше скласти правильний robots txt. Помилки в змісті цього файлу можуть привести до того, що сайт або окремі його директорії або файли не будуть проіндексовані.
Ось приклад файлу robots txt:
User-agent: *
Disallow: / buttons /
Disallow: / image /
Друга і третя рядок забороняють індексацію директорій buttons і image. Зверніть увагу, що кожна заборонена до індексації директорія прописана в окремому рядку. Ні в якому разі не поєднуйте їх в одному рядку. Також не можна переносити рядка в межах однієї інструкції.
Правильно написати директиву Host потрібно так:
User-agent: Yandex
Disallow: / buttons /
Host: netearn.ru
А тепер наведу конкретні приклади написання файлу robots.txt для різних завдань.
1. Як заборонити індексацію сайту усіма пошуковими роботами.
2. Не забороняти весь сайт до індексації всіма пошуковими роботами.
3. Заборонити індексацію сайту одним пошуковим роботом (наприклад, SeoBot).
User-agent: SeoBot
Disallow: /
4. Не забороняти весь сайт до індексації роботом (наприклад, SeoBot) і заборонити до індексації всім іншим пошуковим роботам.
User-agent: SeoBot
Disallow:
5. Заборонити кілька директорій до індексації всіма пошуковими роботами.
User-agent: *
Disallow: / images /
Disallow: / buttons /
Disallow: / _ themes /
6. Заборонити кілька файлів до індексації всіма пошуковими роботами.
User-agent: *
Disallow: / Square Black.gif
Disallow: /banners-page-small.htm
Основні правила при складанні файлу robots.txt
1. Писати вміст файлу потрібно тільки в нижньому регістрі.
2. У кожній інструкції Disallow вказувати тільки одну директорію або
один файл.
3. Не міняти місцями інструкцію user agent disallow.
4. Рядок u ser agent повинна бути заповнена. Якщо інструкція відноситься до всіх пошукових роботів, то писати зірочку, а якщо до конкретного пошуковому роботу, то писати його ім'я.
6. Не потрібно використовувати символи підстановки в інструкції Disallow у вигляді зірочки і інших символів.
8. Не можна пропускати інструкцію Disallow. Якщо ви не збираєтеся нічого забороняти до індексації, то залиште цю інструкцію порожній.
9. Якщо ви забороняєте до індексації директиви robots txt. то обов'язково пропишіть слеші.
10. Найголовніше правило - перш ніж залити файл robots.txt на сервер сайту потрібно сто разів його перевірити і перевірити ще раз, щоб уникнути подальших непорозумінь.
