Для чого потрібен

Для чого потрібен robots.txt?

Файл robots.txt розташований в кореневій папці вашого сайту. Він необхідний для того, щоб вказувати пошуковому роботу, які сторінки сайти можна включати або не включати в індекс.

В основному це потрібно, якщо на Вашому сайті є секретна інформація користувачів, яка не повинна індексуватися в пошуку. За допомогою robots.txt можна з легкістю закрити індексацію будь-якої сторінки. Також даний файл призначений для вирішення іншої проблеми. Адже движок wordpress може створювати сторінки з архівами, тегами, рубриками, де контент зазвичай регулярно повторюється. Та й в адмінці блогу роботу нічого робити Як правило, пошукова машина допускає дубльовані сторінки, але при цьому може це зробити неправильно. Щоб виправити таку ситуацію, потрібно скористатися файлом robots.txt. Адже за допомогою нього можна заборонити індексацію повторюваних рубрик, архівів або тегів.

Якщо на Вашому сайті розміщено форум, то за допомогою даного файлу можна також заборонити індексацію профілів, щоб захистити їх від можливого спаму. Таким чином, robots.txt з легкістю може забезпечить сайт правильною індексацією пошуковими машинами і захистом секретної інформації.

Слід детально розглянути весь файл robots.txt.

У рядку User-agent має бути зазначено ім'я пошукового робота.

Зірочка говорить про те, що директиви можуть ставитися до будь-якому пошуковому роботу. А до Яндексу необхідно звертатися персонально.

Директива Disallow в свою чергу показує на розділи і сторінки, які не потрібно індексувати.

Sitemap призначений для того, щоб вказувати на файл, який має карту сайту.

Щоб створити robots.txt можна скористатися спеціальним плагіном PC Robots.txt, який спочатку необхідно встановити і активувати. В налаштуваннях плагіна розташований типовий файл. У ньому знаходяться велика кількість директив, які призначені для різних роботів. Таким чином, можна заборонити спамерським роботам займатися індексуванням Вашого сайту, але при цьому вони не будуть звертати увагу на директиви, які включені в robots.txt. Тому можна залишити в файлі тільки ті розділи, які ви хочете заборонити.

Але плагінами все-таки, краще не злоупотреблять.Вместо цього плагіна краще якийсь інший встановити. Файл robots.txt. можна встановити і вручну.

Створюється robots.txt.в звичайному блокноті. Відкриваєте блокнот, пишіть текст або копіюєте (нижче) .Сохраняете "зберегти як ...". У рядку "ім'я файлу" прописуєте: robots формат .txt підставить автоматіческі.Затем цей файл завантажуєте на сервер в кореневу папку блогу. Для тих, хто не знає, як скласти правильний robots.txt., Можете скопіювати мій robots.txt.

Не забудьте тільки змінити дві останні строчкі.Вместо rootfront.com впишіть свій домен.

Файл без жодних надмірностей і спеціальних команд. Загалом стандартний. Головне, що перевірений і працює.