Як створити robots txt для всіх пошукових систем, яработаюдома
Щоб не було проблем з просуванням і індексацією статей, вам потрібно знати, як створити robots txt для всіх пошукових систем. Це займає мало часу, але після цього ви будете спокійні.
Як створити robots txt
Деякі веб-майстри і зовсім обходяться без нього (в основному, звичайно, через незнання). З одного боку це розумно для новачків - так ви точно не закриєте від пошукових роботів потрібну інформацію. Але з іншого боку, цей невеликий файл захищає особисті дані і не дає спам-ботів переглядати інформацію на сайті.
Початківцям блогерів я рекомендую використовувати шаблони. Наприклад, шаблон robots txt для WordPress Завантажити. Скачайте та виправте «ваш_сайт.ru» на назву вашого сайту (наприклад, яработаюдома.рф).
Файл помістіть в кореневу директорію сайту за допомогою Filezilla або через сайт хостера. Скидайте в головну директорію, щоб він був доступний за посиланням: ваш_сайт.ру / robots.txt
Він підійде тільки для тих, у кого стоять ЧПУ (посилання прописані словами, а не у вигляді p = 333). Досить зайти в Настройки - Постійні посилання, вибрати нижній варіант і в поле прописати /% postname%
Robots txt для всіх пошукових систем
Деякі вважають за краще створювати цей файл самостійно:
Для початку створіть блокнот на комп'ютері і назвіть його robots (не використовуйте великі букви). В кінці налаштувань його розмір не повинен бути більше 500 кб.
User-agent - назва пошукової системи (Yandex, Googlebot, StackRambler). Якщо ви хочете звернутися відразу до всіх, поставте зірочку *
А потім вкажіть сторінки або папки, які не можна індексувати цьому роботові за допомогою Disallow:
Спочатку перераховані три директорії, а потім конкретний файл.
Щоб дозволити індексувати все і всім, потрібно прописати:
Налаштування robots.txt для Яндекс і Google
Для Яндекса обов'язково потрібно додати директиву host, щоб не з'являлося дублів сторінок. Це слово розуміє тільки бот від Яндекса, так що прописуйте вказівки для нього окремо.
Для Google немає ніяких доповнень. Єдине, потрібно знати, як до нього звертатися. У розділі User-agent потрібно писати:
- Googlebot;
- Googlebot-Image - якщо обмежуєте індексацію зображень;
- Googlebot-Mobile - для мобільної версії сайту.
Як перевірити працездатність файлу robots.txt
Це можна зробити в розділі «Інструменти для веб-майстрів» від пошуковика Google або на сайті Яндекс.Вебмайстер в розділі Перевірити robots.txt.
Вкажіть посилання на ваш сайт і подивіться, чи немає помилок. Зазвичай ніяких проблем не виникає.
Якщо будуть помилки, виправте їх і перевірте ще раз. Досягніть гарного результату, потім не забудьте скопіювати правильний код в robots.txt і залити його на сайт.
Тепер ви маєте уявлення, як створити robots.txt для всіх пошукових систем. Новачкам рекомендую використовувати готовий файл, підставивши назву свого сайту.