Чи не видаляються сторінки з пошуку Яндекса
Досить часто вебмастера стикаються з необхідністю видалити якісь сторінки сайту або цілком весь сайт з пошуку Яндекса. Справа, по ідеї, просте, але іноді воно обертається так, що на команду «Видалити» Яндекс відповідає - «Немає підстав для видалення ...» Однак, вебмайстру видніше, що йому необхідно на сайті, а що - ні. У цій статті ми розберемо, що треба робити, щоб все-таки вилучити статтю зі свого пошуку.
Але спочатку трохи про стандартною процедурою ліквідації сторінок в пошуку. (Цей параграф спеціально для новачків).
Як видалити сторінки з пошуку Яндекса: стандартна процедура.
Для успішного видалення непотрібних сторінок з пошуку Яндекса, необхідно дотримати два неодмінних умови:
- Ви і Ваш сайт повинні бути зареєстровані в сервісі «Яндекс. Веб-майстер »,
- У Вас на сайті повинен бути файл robots.txt.
Заходьте на Яндекс. Веб-майстер у вкладку «Мої сайти» і в правому сайдбарі бачите рядок «Видалити URL»:
Клікаєте за цим посиланням і опиняєтеся на сторінці «Видалити URL»:
Що треба робити, якщо кількість таких сторінок явно більше, ніж є на сайті? Можна нічого не робити: якщо вони заборонені до індексації у файлі robots.txt, Яндекс їх і сам видалить. Але видаляє їх він вкрай повільно, може піти кілька місяців (у мене вже 10 місяців видаляє і то, видалені не всі). Якщо у Вас є причини - побоювання потрапити під песимізація Яндекса (або навіть під бан), випадково потрапила в пошук сторінка з закритими даними, та хоч з любові до мистецтва - треба видаляти вручну.
Потім відкриваєте вкладку з Яндекс. Вебмайстром, наводите курсор на віконце форми «Видалити URL», знову клацає правою мишею і вибираєте «Вставити». В кінці Ваших маніпуляцій натискаєте кнопку «Видалити». АЛЕ! Цілком ймовірно, що Ви побачите таке повідомлення:
Повідомлення написано дрібним шрифтом, тому я його продублюють: «Немає підстав для видалення. Сервер не повертає код 404, індексування не заборонено ні в robots.txt, ні метатегом noindex ».
Отримавши кілька таких повідомлень, я глибоко задумався. Як же так:
- одна сторінка прибрана взагалі, сервер явно повинен видавати помилку 404 ( «Сторінку не знайдено»), бот Google це повідомлення бачить, а - Яндекс немає?
- індексування рубрик заборонено і плагіном, і файлом robots.txt, цей файл бот Google бачить, а Яндекс - ні?
- заборона індексації сторінок стосується всіх ботів, які тільки є на світі, в тому числі і Яндекса. Про це прямо говорить найперша рядок в файлі - User-agent: * Сам Яндекс абсолютно недвозначно говорить про це свій довідці.
- Скажіть мені на милість, чим відрізняються ці дві строчки:
Перший рядок стосується заборони на індексацію рубрик (category), друга - міток (tag). Першу чомусь Яндекс враховує при виконанні команди «Видалити», а другу - повністю ігнорує. Кількість Слеш і зірочок нехай Вас не бентежить, я перепробував найрізноманітніші варіанти. Але знайшов-таки потрібне рішення. Все-таки метод «наукового тику» - велика річ!
Рекомендую зробити, щоб видалити непотрібні сторінки
Не буду Вас мучити, а відразу дам чіткі і ясні (красиво сказав!) Інструкції - що треба зробити. У файлі robots.txt треба дописати:
І ось вона, люб'язна нашому серцю, рядок - «URL доданий в чергу на видалення»:
Скільки Яндекс буде видаляти непотрібну сторінку? Про це тільки Господь Бог і Яндекс знають. У Google на видалення йде 4-6 годин, у Яндекса - невідомо. По крайней мере, так у них написано - «у міру обходу роботом». Т.е.когда робот Яндекса збереться до Вас на сайт, тоді і видалить.
І насамкінець кілька коротенько рад:
1. рядків із забороною (Disallow :) писати можна стільки, скільки потрібно. Головне - дотримати синтаксис. Особливу увагу на дрібничка: після двокрапки повинен бути пробіл.
2. Місце розташування цього блоку з двох (або більше) рядків у файлі robots.txt ролі не грає.
3. Якщо у Вас є перший рядок - User-agent: Yandex - і нижче написані ще якісь рядки (до порожнього рядка), то краще написати заборона (Disallow :) відразу після цього рядка. Робот Яндекса виконує команди файлу robots.txt по черзі, зверху вниз.
4. Врахуйте, що рядок User-agent: Yandex може зустрічатися в тексті файлу тільки один раз, друга така строчка (і все що до неї відноситься) буде проігнорована.
5. Приклади рядків:
- Disallow: / page / * (заборона на індексацію сторінок архіву), точно так же можна писати і інші заборони
треба писати все після слеша включно (слеша, який закриває назва сайту):
В результаті має вийти так:
7. Почитайте довідку Яндекса про файлі robots.txt. Не відразу, але зрозумієте.
. Повідомте про цю статтю своїм друзям: