Що таке навіщо він потрібен і як його зробити, workwebsite - створення і просування сайтів, заробіток
Здрастуйте дорогі Новомосковсктелі. Сьогодні я хочу розповісти вам про файлі robots.txt. Це один з основних етапів внутрішньої оптимізації сайту. Якщо ви до цих пір не знаєте, навіщо він потрібен взагалі або як його налаштувати, то вам обов'язково потрібно прочитати цю посаду до кінця.
Я постараюся максимально щільно розповісти вам про всі нюанси в налаштуванні цього файлу. Не хочу лити багато води, тому перейду відразу до справи.
Індексація сайту. один з важливих моментів пошукового розкручування сайту. Дуже часто на сайті є купа непотрібної для пошукових систем інформації. Зазвичай це сайти, які створені за допомогою CMS.
Закриття не потрібною інформацією дозволить зменшити навантаження на сервер, а так само допоможе позбутися від можливого дублювання інформації. Для чого це треба? Справа в тому, що абсолютно всі пошукові системи не люблять дублювання інформації.
Синтаксис файлу robots.txt
Природно для цього файлу існують свої правила написання синтаксису і директив. Для деяких пошукових систем, крім загальних правил є власні. Стандартне написання директив виглядає так:
Якщо файл порожній, тоді робот буде індексувати абсолютно весь сайт. Якщо пошукової робот знайде помилки у файлі, тоді він так само буде індексувати всі. Так що порушувати правила ні в якому разі не можна.
В кожному файлі повинна бути хоч одна запис «User-agent». Це звернення до пошуковому роботу. Якщо після цього запису варто *, значить, команди будуть для всіх пошукових роботів. Якщо написано якесь ім'я, то звернення йде до певного пошуковому роботу. Ось список декількох:
Yahoo! - Slurp (або Yahoo! Slurp)
До речі, мало не забув написати, одне з важливих правил це те, що для кожного запису «User-agent», повинна бути хоча б одна директива «Disallow».