Robots txt для сайту

Robots.txt - це текстовий файл, який створюється веб-майстрами з інструкціями для пошукових машин інтернету. яким чином обстежити і індексувати сайт.

Файл Robots.txt перебуває в кореневій директорії сайту.

Цей файл є практично обов'язковим для будь-якого сайту, тому що з його допомогою можна впливати на індексацію веб документів. Простіше кажучи, з його допомогою можна сказати пошуковим системам, щоб вони не вносили в свій індекс небажані веб сторінки, наприклад, результати пошуку на сайті, службові документи і т.д.

Його легко можна подивитися на будь-якому сайті (якщо він там є. На більш менш серйозному веб ресурсі він буде обов'язково).

Формат файлу наступний:

Запис починається з одного або декількох User-agent, яка визначає конкретний робот пошукової системи. За нею йдуть інструкції Allow (дозволити) або Disallow (заборонити). Можливо дозвіл і директиви Disallow без слеша. Кожен запис пишеться на окремому рядку. Зірочка (*) означає будь-який робот.

Приклад файлу Robots.txt

User-agent: webcrawler <- робот webcrawler

User-agent: Googlebot <- робот Googlebot

Allow: /tmp/ok.html <- разрешить смотреть папку /tmp/ok.html

Disallow: / assort <- запретить смотреть папку /assort

Disallow: / user / fid <- запретить смотреть папку /user/fid

Ще кілька прикладів: