І sitemap
Файл robots.txt - текстовий файл, який містить в собі вказівки для пошукових роботів. У ньому можна прописати заборону на індексацію тієї чи іншої сторінки сайту. Причому, заборона цей буде обмежений лише обраної вами пошукової системи.
Ім'я цього файлу, robots.txt. обов'язково повинно бути прописано маленькими буквами. ROBOTS.txt або Robots.txt - це неправильне написання імені файлу.
Сам файл повинен знаходитися в кореневій директорії сервера.
User - agent - це ім'я бота, для якого застосовуються правила виключення, описані у файлі robots.txt. Цілком можливо, що рядків User -agent буде кілька, прописувати їх необхідно кожен з нового рядка.
User - agent: Yandex
User - agent: Googlebot
Для опису правил індексації ботами, для яких у файлі robots.txt не зробили окремий запис, застосовують параметр "*". У файлі robots.txt може бути лише один запис з цим параметром.
User - agent: *
Disallow:
Ботам всіх пошукових систем дозволено індексувати всі файли, сторінки і т.д.
Disallow - в даному полі прописують частковий або повний шлях до того місця на сайті, відвідування якого для ботів пошукової системи заборонено.
Якщо заборон і винятків кілька, то слід кожне описати з нового рядка. У будь-якому файлі robots.txt. яким би він не був, завжди має бути присутнім хоча б один запис disallow.
Основні правила складання robots.txt
- Файл robots.txt з маленької літери. Файл текстовий, можна створити його за допомогою блокнота Windows.
- Розміщується в основний директорії сервера.
- Повинен містити мінімум одну запис User - agent і мінімум одну запис Disallow.
- Поле User - agent не повинно залишатися порожнім.
Деякі системи підтримують додаткове поле для robots.txt, таке як Host. в Yandex, для визначення основного дзеркала сайту.
Карта сайту - це форма додаткової навігації по сайту. З її допомогою користувач може пересуватися по сайту, не використовую навігацію сайту.
Карта (Sitemap) - всього лише допомога "заблукав" відвідувачеві, модель структури сайту, цілком розміщена на одній сторінці.
Як прописати sitemap в robots.txt
Тут теж дозволено ботам всіх пошукових систем індексувати всі файли, папки і сторінки. Крім цього, вказується розташування карти сайту (Sitemap) в форматі .xml.
Ставлення web-майстрів до Sitemap найрізноманітніше. Одні вважають, що без неї пошукові системи погано індексують сайт. інші впевнені, що наявність карти сайту негативно позначається на індексації.
Створити її можна або самостійно, або скористатися безкоштовним сервісом. який сам на основі існуючого сайту, створить вам Sitemap. в тому числі - і в форматі .xml.
Проектування і виготовлення флешок і запальничок на замовлення. Використовувані матеріали - мідь, латунь. Моддінг флешок виконується в Steampunk (стімпанк) стилізації.
За всіх питаннях можна звернутися до мене ВКОНТАКТЕ
Просування по низькочастотних запитах. НЧ, СЧ, ВЧ запити.
АГС 30. Алгоритм фільтрації сайтів від Яндекса.
Вірусний маркетинг. Теорія швидкої розкрутки.
Снежинськ. Робота з новим пошуковим алгоритмом Яндекса.
Поради щодо оптимізації картинок.
'Noindex' і 'nofollow'. особливості використання