Як правильно скласти файл, блог олександра лукьянова

Привіт друзі, покажу Вам як правильно налаштовується, составляетсяфайл robots.txt А так же зрозумієте і запам'ятайте чому і яким чином цей маленький здавалося б файл впливає на індексування сайту пошуковими системами! Складання за всіма правилами цього файлу - плюс до гарної індексації вашого сайту / блогу. І так давайте приступимо і почнемо вивчення

Що таке файл robots.txt і для чого він потрібен

Ось уявіть, коли Ви пишіть на папері ручкою і використовуєте українські слова. Ці слова складають пропозиції і так далі - є готовий текст. Що Ви використовуєте для правильного написання слів? Чи не здогадалися ще? Правила грамотного написання, всі ми в школі це проходили. Вчили - вчили ці самі правила, а потім ці всі правила сформувалися в звичку, і пишемо на автоматі грамотно! До чого це все тут про українську мову?

Поясню, навіщо власне пошукові машини приходять на сайт, переглядають файл robots.txt і починають сканувати весь сайт. А вся справа друзі в індексації сторінок, постів, називайте як хочете. А чим більше проіндексованих сторінок на сайті, тим більше їх в пошуковій видачі. А раз так, то і відвідувачів прийде більше з пошукових систем на ваш сайт.

Поставтеся до складання robots.txt з усією своєю відповідальністю. І пошукові роботи на Ваш сайт будуть приходити з посмішкою =)

Складаємо правильний robots.txt для wordpress

- Створюєте у себе на комп'ютері в «Блокноті» новий файл, даєте йому ім'я robots.txt і вставляєте код, який представлений нижче, зберігаєте файл. Готовий файл копіюєте / переміщаєте на сервер, де знаходиться ваш сайт. Ось тут я писав про хостинг. він же сервер. Файл повинен розташовуватися в корені вашого сайту наприклад. vpluce.ru/robots.txt. у кого-то може бути інше розташування, таке як vpluce.ru/public_html/robots.txt

User-agent: * - директива поширення правил. Зірочкою (*) позначено на всі пошукові машини.

User-agent: Yandex - правила для пошукача Яндекс
Disallow: / moi-katalog - директива, яка забороняє індексацію цього самого каталогу «moi-katalog».

Таким чином. якщо у Вас є каталоги, які Ви б не хочете, щоб індексувалися. то додаєте ще одну директиву Disallow: / nazvanie_kataloga

Підсумуємо, що ми зробили. створили файл robots.txt. який інформує пошукові системи про правила індексації вашого блогу, плюс в плані індексації самих сторінок, які є на блозі це буде корисно!