Масова перевірка індексу сторінок в Яндексі і google, додавання в індекс непроіндексованої

Вітання! Сьогодні я розповім дуже важливі речі, загубивши які можна втрачати трафік. Часто в міру роботи над сайтами, потрібно визначити: які сторінки проіндексовані, які ні. Які сторінки вимагає додаткової уваги для того, щоб вони потрапили в індекс.

Особливо це яскраво помітно при роботі з інтернет-магазинами: при роботі з величезною кількістю товарів / розділів, постійно додаються все нові і нові сторінки. Тому потрібен жорсткий контроль індексації свежедобавленних сторінок, щоб не втрачати трафік з пошуку.

У цьому невеликому уроці я розповім, як я перевіряю сторінки сайту на проіндексованості.

Як перевірити сторінки на індексацію

Як я перевіряю проіндексованості конкретної сторінки за допомогою RDS bar, я вже розповідав тут.

Ну або ж можна просто вбити в Яндекс ось цей код:

А що ж робити, якщо потрібно перевірити проіндексованості десяток / сотень, а то і більше статей? Я поступаю наступним чином:

  1. Ставимо чудову безкоштовну програму YCCY (скачати можете звідси).
  2. Запускаємо її і переходимо в Indexator:
    Масова перевірка індексу сторінок в Яндексі і google, додавання в індекс непроіндексованої
  3. У ліву частину програми завантажуємо список URL, який потрібно перевірити на індекс:
    Масова перевірка індексу сторінок в Яндексі і google, додавання в індекс непроіндексованої
  4. В налаштуваннях при роботі з Яндекс я поставив роботу через Yandex XML. Що таке Яндекс XML ліміти і з чим його їдять я вже розповідав:
    Масова перевірка індексу сторінок в Яндексі і google, додавання в індекс непроіндексованої
  5. Вибираємо цікавить нас пошукову систему, відзначаємо що нас цікавить (в нашому випадку «індексування») і натискаємо на кнопку «Почати перевірку»:
    Масова перевірка індексу сторінок в Яндексі і google, додавання в індекс непроіндексованої
  6. І вуаля, праворуч ви побачимо окремий список проіндексованих сторінок, а також того, чого поки немає в індексі:
    Масова перевірка індексу сторінок в Яндексі і google, додавання в індекс непроіндексованої
до змісту ↑

Що робити з непроіндексованої сторінками?

Сервіси для прискорення індексації

Я звичайно не проіндексовані сторінки виганяю з допомогою різних сервісів, я вважаю за краще цей getbot.guru. Так, безумовно не 100% сторінок залазять за допомогою нього в індекс але все ж в середньому близько 70-80% з прогнати URL як правило залазить (сильно залежить від адекватності сторінок теж).

Сервіс, звичайно ж, платний, потрібно платити за кожен URL. За ті сторінки, які не були в індекс піде повернення коштів, що дуже справедливо і заманливо (залежить від тарифу). А вже ці сторінки, які не були в індекс, я повторно відправляю в сервіс. Знову при наступному апдейте частина з цих сторінок входить в індекс.

Думаю, розібратися зможете самі, нічого складно немає. Реєструєтеся -> створюєте проект -> Запускаєте проект. Єдине, можуть виникнути складності при виборі тарифу. Я вважаю за краще працювати з тарифом «Абсолют апдейт» (клікніть на зображення, щоб збільшити):

Масова перевірка індексу сторінок в Яндексі і google, додавання в індекс непроіндексованої

До речі, зверніть увагу, що в сервісі теж можна перевірити сторінки на проіндексованості. Ціна питання в районі 10 копійок за 1 URL. Я ж вважаю за краще безкоштовний YCCY, про який писав вище.

Принцип роботи getbot.guru (взяв з гілки сёрча):

Прискорення індексації за допомогою Твіттера або новинних сайтів

Про це я вже писав щодо докладно в уроці «Як швидко додати сторінку в індекс«. Там крім твіттера я розбирав ще інші способи швидкої індексації.

Точно також можна купити хороші посилання з новинних сайтів (наприклад, в Sape) і загнати бистробота до себе на сайт, тим самим допомогти індексації.

Переіндексація існуючих сторінок

Аналогічно можна відправити сторінку на перееіндексацію. Перевіряючи кеш сторінки в пошукових системах, можна дізнатися проіндексувалася сторінка чи ні. Як перевірити кеш сторінки я розповідав в тому ж уроці.

Робота з індексом за допомогою програми Comparser

YCCY хоч і стара програма, але мені вона дуже подобається. Я її використовую для перевірки індексації відомих мені сторінок.

Якщо ж потрібно з'ясувати, які сторінки сайту ще не потрапили в індекс я користуюся програмою Comparser (я вже писав про неї цілий урок). Його принцип простий: він вивантажує всі URL сайту, які ви дозволили для індексування (цей пункт можна змінювати в налаштуваннях) і перевіряє кожну сторінку на індекс. Або за допомогою простого звернення вивантажує перші 1000 сторінок з індексу.

Масова перевірка індексу сторінок в Яндексі і google, додавання в індекс непроіндексованої

Якщо раптом потрібно перевірити «пачку» сторінок на переіндексацію, можна зняти дату кешування в тій же самій Компарсере:

Так ви можете зрозуміти, які сторінки переіндексувати, які ні.

Стандартні способи поліпшення індексації

Ну і звичайно, не забувайте стандартні способи поліпшення індексації:

Якщо бути чесним, звичайно ніякий він не секретний, просто не всі знають про цей спосіб. Користуйтеся. І, звичайно ж, регулярно додавайте нові сторінки на сайт, щоб робот частіше до вас заходив. Пошуковики люблять сайти, які оновлюються регулярно.

Дам ще пару посилань по темі, якщо ви раптом в ході роботи з індексом сайту виявили сміття ( «соплі») і хочете видалити їх з індексу:

Друзі, дайте відповідь, будь ласка, на мої наступні питання, для мене це дуже важливо:

  1. Як ви перевіряєте сторінки на проіндексованості?
  2. Як непроіндексовані сторінки сайту заганяєте в індекс? Який сервіс / софт для цього використовуєте?

З повагою, Петро Александров