Навіщо потрібно створювати файл для вашого сайту

Навіщо потрібен Вашому сайту файл robots txt?

Справа в тому, що Ваш сайт включає не тільки контент для блогу, а й безліч системних файлів. Тобто тих файлів, які допомагають створювати ваш блог, але приховані від відвідувача.

Для робота пошуковика, який приходить індексувати ваш сайт, абсолютно все одно - системний це файл або файл корисного контенту. Він буде ходити по всіх файлів, без розбору. Але! Кожному роботу (на те він і робот!) Відведено програмою певну кількість часу на кожен сайт. А це означає, що все корисне час для індексування сайту, робот може витратити на файли системні. І не встигнути добратися до корисного контенту.

А пройшовши по системних файлів і не знайшовши корисну інформацію, робот зробить висновок, що Ваш сайт буде корисний для користувача. А це тягне до зниження позицій у видачі пошукової системи. Або ще гірше, Ваш сайт може потрапити під фільтр.

Тому, Ваша задача, дати роботу конкретну інструкцію, які файли він може відвідувати, а які ні. Саме такою інструкцією і є файл robots.txt. І саме його, в першу чергу шукає робот при відвідуванні сайту.

Ну що ж, давайте займемося його створенням.

Почнемо з того, що створимо файл в будь-якому блокноті і назвемо його robots.txt. Як і куди його завантажувати - поговоримо трохи пізніше.

Тепер нам необхідно заповнити цей файл, тобто розписати команди для роботів пошукача. Ці команди називаються директиви.

Ця директива вказує для якого робота прописані команди.
Якщо ми звертаємося до Яндекс записуємо

Підведемо підсумок
Кожен сайт має свій, можна сказати - індивідуальний файл robots.txt. Що закривати від пошукачів, а що відкрити - власник сайту.
Для того, що б подивитися, як з цим справляються просунуті блогери - подивіться їх файл, проаналізуйте і зробіть висновки.

і в сусідній вкладці браузера відкриється файл robots.txt сайту.

завантаження файлу

Файл необхідно завантажувати в його кореневу папку. Зробити це можна трьома способами

1. Завантаження файлу через файловий менеджер хостингу. Ось так виглядає коренева папка після завантаження файлу.

2. Завантаження файлу через FTP - клієнт

Відкриється вікно завантаження. Копіюєте вміст свого файлу, вставляєте в вікно і зберігаєте зміни.

У будь-який момент Ви можете змінити інформацію в файлі, що дуже зручно.

Доброго дня, Ірино!
По-перше, дякую за черговий корисну пораду! По-друге, у мене питання, на який «Платон Щукін» відповів, що все в порядку, але проблема залишилася. На відміну від робота Google, Яндекс практично не індексує зображень на моєму сайті, хоча і alt і title я акуратно заповнюю до всіх картинок. Буду сподіватися на Ваш рада.
З повагою, Ваша постійна Новомосковсктельніца Ольга Карасьова

Ольга, день добрий! Запишіть у файлі для тих роботів, які вважаєте за потрібне, наступну команду
Allow: / images /
Майте на увазі, що іноді для отримання результатів - доводиться чекати кілька місяців.