Допоможіть з - тактикою - для видалення дублів архів - форум про інтернет-маркетингу
Вітаю! Підкажіть як краще зробити.
Поставив сьогодні Нетпак Спайдер і він мені видав наявність купи дублів на сайті. Хочу від них позбутися для цього думаю додати в роботс.тхт ось такі рядки
Disallow: / * SECTION_ID = *
Disallow: / * / search / *
Disallow: / * PAGEN_17 *
Disallow: / * back_url_admin = *
Не сильний в програмуванні, більше в тематиці сайту розбираюся. З логікою і синтаксисом тут все нормально буде якщо так прописати в Роботс, це вирішить проблему дублів? Або треба ще щось серйозніше (або більш правильніше)? Дякую за поради.
Розгляньте варіант "заборонити індексацію всього, крім.". Таке теж буває, застосовують в robots.txt :-)
По першому пункту.
Для яндекса можна застосувати директиву Clean-param до непотрібних змінним в GET
User-agent: Yandex
Clean-param: SECTION_ID / sphrase_id
У вебмайстрів google Сканування -> Параметри URL заборонити ці змінні до індексування.
Дякую за підказку, та ще з посиланням.
1). З Хелп зрозумів, що якщо прописати
User-agent: Yandex
Clean-param: SECTION_ID
Clean-param: sphrase_id
Те буде очищено (проігноровані пошуковими системами нові і виключені з бази старі) все урли додатково містять зазначені змінні, разом з їх численними значеннями.
Те, що Ви написали Clean-param: SECTION_ID / sphrase_id - це просто об'єднання двох рядків в одну або несе якийсь ще значення?
А якщо я туди ж допишу?
Clean-param: PAGEN_17
Clean-param: PAGEN_1 (цей теж іноді створюється, хоча в індексі їх не знайшов)
Clean-param: back_url_admin
3). У рекомендаціях на блогах, часто зустрічається, що директиви для Яндекса треба прописувати окремо, не в стовпці з User-agent: * а саме User-agent: Yandex, це так серйозно?