Як зробити правильний для wordpress, блог про інтернет діяльності і трудові будні максима
Вітаю вас мої шановні Новомосковсктелі. У цій статті я вам наочно покажу, як зробити правильний robots.txt. щоб у вас не було ніяких помилок, які можуть істотно вплинути на просування в пошукових системах, таких як Яндекс і Google. Отже, почнемо по порядку, щоб всім було все зрозуміло.
robots.txt - це простий текстовий блокнот в корені вашого сайту, в якому прописані правила для пошукових роботів, які індексують, і заносять новий матеріал (сторінки) в базу пошуку. В robots.txt ви множете прописати, що можна індексувати на вашому сайті, а що не можна.
Даний файлик дуже важливо створити ще на самому початку створення блогу. так як якщо цього не зробити всі ваші зусилля можуть піти прахом і ваш сайт потрапить просто в бан пошукових систем. Якщо це трапиться, то розвивати сайт вже не буде ніякого сенсу, так як вивести сайт з бану, який, до речі, ще називають фільтром АГС, буде дуже важко. На практиці мало хто зміг вивести сайт з АГС менше ніж за рік.
Також крім дублів треба закрити від індексацій та інші сторінки, які не представляють інтересу і цінності, як для пошуковиків, так і для відвідувачів. Наприклад, сторінку адмінки блогу там, де ви вводите свій логін і пароль, щоб зайти на блог. Я думаю, ви не дуже зрадієте, якщо одного разу побачите в статисткою переходів, як хтось часто вам заходить на цю сторінки намагаючись зламати її, тим самим вкрасти у вас ваше дітище.
Ну, ладно більше не буду вас лякати, а то у вас напевно вже почав очей смикатися, від того жаху, що я тут описав ^ _ ^. Щоб краще зрозуміти, що робить цей файл, просто подивіться на картинку нижче.
Як зробити правильний robots.txt для WordPress?
1) Зробіть на робочому столі файл, який називається блокнот, і назвіть його robots.txt. Хочу помітити, що деякі роблять одну грубу помилку називаючи файл Robots.txt або robot.txt. Уважно дивіться, як ви називаєте файл, а то пошукові боти просто ігноруватимуть його, що неодмінно призведе, як я вже писав вище до фільтру АГС.
2) Тепер нам треба заповнити даний файл, тобто прописати в ньому правила для ботів їх називають директоріями.
1) Перша директорія, з якої обов'язково повинен починатися файл robots.txt це User-agent. Він відповідає, яку виконати команду роботу тієї чи іншої пошукової системи, яка буде вказана далі. Наприклад, якщо ви хочете дане правило прописати для всіх пошукових роботів, то треба додати в кінці зірочку.
Якщо ж ви хочете, щоб цим правилам дотримувався тільки пошукові боти Google, то замість зірочки треба прописати називання бота Google.
Приклад: User-agent: Googlebot
Ось вам, до речі, список назв ботів популярних пошукових систем.
Пошуковики. Пошукові роботи.
У нашому випадок ми будемо прописувати дві директорій. Одну для всіх пошукових систем і одну для Яндекса, так як він у нас моторошно примхливий і вимагає до себе особливої уваги.
2) В robots.txt є ще дві важливі директорій. Перша це Allow, яка дозволяє ботом індексувати і Disallow, яка забороняє індексувати. Який би ви не складали robots.txt в ньому обов'язково повинна бути хоча б одна директорія Disallow в відрізни від Allow, а то ваш robots.txt буде неправильним.
По суті можна взагалі не користуватися Директорією Allow, так як за допомогою директорій Disallow можна не тільки закрити, але і відкрити індексацію роботом. Ось дивіться, якщо ми так пропишемо в нашому robots.txt директорій, то ми дозволимо індексувати пошуковому роботу Яндекса весь блог.
User-agent: *
Disallow:
А ось якщо поставити риску / після Disallow: то ми заборонимо індексувати наш блог Яндексу.
User-agent: *
Disallow: /
Деякі веб-майстри закривають свій ресурс від ботів Yahoo, так як у нього є спеціальна панель, за якою можна спалити (подивитися) прямі посилання на інші сайти. Тобто по ньому можна наочно визначити, яка кількість і якість посилань треба купити, щоб домогтися таких же результатів, як сайт конкурента.
Тому багато прописують додаткову директорію для Yahoo, щоб він не індексував їх ресурс і заодно не палив їх беки (посилання) провідні на сайт. Якщо ви теж хочете закрити індексацію від Yahoo, то пропишіть в вашому robots.txt такий рядок:
3) Тепер нам треба закрити сторінки, які відносяться безпосередньо до движку WordPress.
Disallow: / wp-login.php
Disallow: /wp-register.php
Disallow: / webstat /
Disallow: / wp-content / themes
Disallow: / wp-content / plugins
Disallow: / wp-content / languages
Disallow: / wp-content / cache
Disallow: / wp-admin /
Disallow: / wp-includes /
В папці wp-content немає нічого цінного крім наших картинок, які лежать в папці uploads тому ми окремо прописали правила для всіх папок, які лежать в wp-content. Якщо ж в папці wp-content у вас є ще свій папки, в яких лежать скрипти або ще щось, що краще на вигляд не показувати, то також прописуємо в файлі robots.txt цю папку.
4) Тепер закриваємо сторінки, які роблять нам дублі.
sitemap.xml - це карта вашого сайту для пошукових роботів, яка допомагає набагато швидше проіндексувати ваш ресурс. Дану карту можна зробити за допомогою плагіна Simple Google Sitemap або на цьому сайті. Якщо будете робити на mysitemapgenerator.com, то після того, як зробіть карту sitemap.xml вам треба буде її потім закинути в корінь вашого блогу.
6) Ось вам приклад, як повинен виглядати правильний файл robots.txt для WordPress. Тільки не копіюйте його собі, так як я тут просто пояснюю, яка сторінка за що відповідає.
Як перевірити robots.txt на помилки?
4) Після того як ви прописали всі директорій в файлі robots.txt вам потрібно закачати його в ваш корінь сайту через програму FTP в папку httpdocs (або public_html. Www, domains). Потім перейти по посиланню в панель Яндекс Вебмайстер і зайти в «настройки індексування», «аналіз robots.txt». Тепер просто натисніть на кнопку «Завантажити robots.txt з сайту» а потім «перевірити». Якщо ви побачите наступні рядки, то у вас правильний robots.txt.
Ок, тепер те ж саме перевіримо у Google за цим посиланням. Заходимо в «сканування» а потім в «заблоковані URL» і натискаємо «перевірити». Тут вам Google також видасть інформацію як Яндекс, якщо в вашому файлі robots.txt будуть помилки. Ну, там наприклад, якщо ви написали Disllow замість Disallow.
Після того, як ви зміните robots.txt його налаштування не відразу вступлять в силу а тоді, коли до вас знову прийде пошукової бот і проиндексирует цей файл заново, після чого вам треба буде ще трохи почекати апдейт пошукової видачі (1-3 місяці).
На цьому все. Якщо у вас ще залишилися питання, як зробити правильний robots.txt для WordPress, то задавайте мені їх тут.