Seo campaign як усунути помилки сканування в google search console

В останні роки вебмастера все більше покладаються на Google Search Console як джерело цінних даних. Google також створив безліч довідкових документів, покликаних полегшити користувачам сервісу пошук і усунення помилок.

Можливо, виправляти помилки не так цікаво, як займатися іншими SEO-завданнями. Проте, даний пласт робіт надзвичайно важливий.

Регулярно перевіряючи сайт на наявність помилок сканування і оперативно усуваючи недоліки, ви зможете взяти ситуацію під контроль. В іншому випадку, ресурсу можуть загрожувати серйозні проблеми.

У Search Console помилки сканування поділяються на дві основні групи: помилки сайту і помилки URL. Такий підхід дуже зручний, оскільки проблеми на рівні сайту і на рівні сторінки - це різні речі. Помилки з першої групи зазвичай більш масштабні і впливають на юзабіліті ресурсу в цілому. У свою чергу помилки URL відносяться до конкретних сторінок і, відповідно, менш термінові.

Найшвидший шлях до помилок сканування - через панель управління в Search Console. Головна панель дає загальний огляд ситуації по сайту і включає три найважливіших інструменту для управління їм: «Помилки сканування», «Аналіз пошукових запитів» і «Файли Sitemap».

1. Помилки сайту

Помилки, які містяться в цьому розділі, впливають на роботу сайту в цілому. Google надає дані за останні 90 днів.

При наявності проблем, цей розділ буде виглядати приблизно так:

При відсутності помилок - так:

Як часто перевіряти наявність помилок сайту?

В ідеалі щодня. Це завдання може здатися монотонною, оскільки в більшості випадків все буде в порядку. Однак цим потрібно займатися, щоб потім НЕ картати себе за критичні помилки в роботі сайту.

Як мінімум, перевіряти наявність помилок сайту слід кожні 90 днів. Але краще, все ж, робити це частіше.

Наявність помилок цього типу означає, що робот Googlebot не може зв'язатися з сервером DNS - або тому що він не працює, або через проблеми з маршрутизацією DNS для вашого домену.

Google стверджує, що більша частина помилок, пов'язаних з DNS, не впливає на можливість сканування сторінок роботом Googlebot. Проте, при виявленні серйозної помилки DNS слід діяти негайно.

Поява таких помилок може означати повільне завантаження, а це погіршує досвід користувачів.

Помилки DNS, які ускладнюють Google доступ до сайту, потрібно вирішувати відразу.

ISUP.me - дозволяє відразу дізнатися, чи доступний сайт іншим користувачам або ж проблема тільки з вашого боку.

Web-Sniffer.net - показує поточний HTTP-запит і заголовок відповіді. Корисно використовувати для пункту № 3, наведеного вище.

Помилки сервера зазвичай означають, що Google не може отримати доступ до сайту, тому що сервер занадто довго не відповідає. Googlebot, який намагається просканувати сайт, може почекати відповіді від сервера протягом певного проміжку часу, після чого він припиняє свої спроби.

Помилки сервера можуть мати місце при великому напливі трафіку, з яким сервер не може впоратися. Щоб уникнути таких проблем, переконайтеся, що хостинг-провайдер може забезпечити безперебійну роботу сервера навіть при різкому збільшенні аудиторії сайту. Всі хочуть, щоб їх сайт став мегапопулярним, але не всі до цього готові!

Як і помилки DNS, помилки сервера вирішувати потрібно усувати ж, як тільки інформація про них з'явилася в Search Console. Це фундаментальні помилки, які шкодять сайту в цілому.

Перший крок - перевірка можливості зв'язку з сервером DNS. При наявності проблем з підключенням до сервера, Googlebot не зможе просканувати сторінки і покине сайт через якийсь час.

Якщо сайт працює нормально, а в Search Console відображається помилка, це означає, що помилки сервера спостерігалися раніше. Хоча на даний момент проблема може бути вирішена, слід внести деякі зміни, щоб запобігти повторній появі таких помилок.

При наявності помилок сервера Google рекомендує наступне:

«Щоб з'ясувати, чи може Googlebot в даний час обробляти ваш сайт, скористайтеся Сканером Google. Якщо при відображенні змісту головної сторінки вашого сайту за допомогою цього інструменту не виникають помилки, значить сайт доступний для робота Googlebot ».

Перед тим, як приступити до усунення помилок сервера, слід визначити їх тип. В Google виділяють такі типи:

• таймаут
• усічені заголовки
• Скидання підключення
• Усіченого тіло відповіді
• У підключенні відмовлено
• Зв 'язку підключення
• ні відгуку

Як усунути всі ці помилки, можна дізнатися в Довідці Search Console.

C) Помилка доступу до файлу robots.txt

Ця помилка означає, що Googlebot не вдається отримати файл robots.txt сайту.

Файл robots.txt потрібен не завжди, а лише в тому випадку, якщо потрібно заборонити Googlebot доступ до певних сторінок сайту.

У Довідці Search Console говориться наступне:

Так, це важлива проблема. Для дрібних і щодо статичних сайтів з невеликою кількістю нових сторінок і змін вона не є дуже терміновою. Але її потрібно вирішити.

При щоденному оновленні сайту дана проблема перейде в розряд термінових. Якщо Googlebot не може завантажити файл robots.txt, сканування буде отложено.Такой підхід дозволяє Google уникнути індексування URL, які ви заборонили сканувати.

Переконайтеся, що файл robots.txt правильно налаштований. Перевірте, які сторінки ви заборонили сканувати.

Якщо файл налаштований правильно, але помилки як і раніше відображаються, використовуйте інструмент для перевірки заголовків відповіді сервера. Можливо, файл повертає помилку 202 або 404.

В цілому, краще взагалі не мати файлу robots.txt, ніж мати неправильно налаштований. Якщо у вас немає цього файлу, Google буде сканувати сайт в звичайному режимі. Якщо файл повертає помилку, Google відкладе сканування, поки вона не буде усунена.

Незважаючи на те, що файл robots.txt містить лише кілька рядків тексту, він може мати величезний вплив на сайт. Тому важливо регулярно перевіряти його.

2. Помилки URL

На відміну від помилок з попередньої групи, помилки URL зачіпають лише окремі сторінки сайту.

Сходіть з розуму від кількості помилок? Позначте все, як виправлені

Багато власників сайтів бачать велику кількість помилок URL, і це їх лякає. Важливо пам'ятати: а) в списку спочатку йдуть найважливіші помилки; б) деякі з цих помилок вже можуть бути усунені.

Якщо ви внесли якісь радикальні зміни на сайт, щоб виправити ці помилки, або ж вважаєте, що вони вже усунені, можна помітити все помилки як виправлені і повторно перевірити розділ через кілька днів.

Якщо причини помилок не були усунені, ці URL знову з'являться в списку після наступного сканування сайту. В такому випадку, потрібно буде з ними розбиратися.

«М'які» або помилкові помилки 404 з'являються, якщо неіснуючі сторінки віддають код 200 ( «знайдено») замість 404 ( «, не знайдено»).

Що це означає

Поява на сторінці повідомлення «404 Немає запису» ще не означає, що це сторінка 404.

Для користувача видимою ознакою сторінки 404 є наявність на ній контенту. З повідомлення на сторінці повинно бути зрозуміло, що запитуваний URL відсутня.

Сервер у відповідь на запит неіснуючої сторінки повинен повертати код відповіді 404 ( «, не знайдено») або 410 ( «видалено»).

На схемі нижче показано, як виглядають HTTP-запити і відповіді:

Якщо ви повертаєте сторінку 404, і вона реєструється як «м'яка» помилка 404, це означає, що код відповіді сервера різнився від 404. Згідно з рекомендаціями Google, сервер завжди повинен повертати код відповіді HTTP 404 або 410 при запиті неіснуючої сторінки.

Помилкові помилки 404 також з'являються, якщо на сторінках налаштований 301 редирект на нерелевантні URL, такі як головна сторінка.

Google говорить про помилки soft 404 наступне:

«При поверненні для неіснуючої сторінки коду, відмінного від 404 і 410, (або при перенаправлення на іншу сторінку, наприклад на головну, замість повернення коду 404), виникають додаткові проблеми».

Якщо у вас велика кількість «м'яких» помилок 404 по відношенню до загального обсягу сторінок на сайті, діяти потрібно швидко. Наявність таких помилок може з'їдати бюджет сканування вашого сайту.

• Переконайтеся, що сторінка містить достатню кількість контенту. Сторінки з неінформативним вмістом можуть розцінюватися як помилкові помилки 404.
• Переконайтеся, що контент на сторінці не означає її як сторінку 404, якщо при цьому повертається код відповіді сервера 200.

Soft 404 - це дивні помилки. Вони вносять багато плутанини, оскільки є гібридом сторінок 404 і нормальних сторінок. При цьому причини, що викликають їх появу, не завжди зрозумілі. Переконайтеся, що найважливіші сторінки на вашому сайті не повертають «м'які» помилки 404.

Помилка 404 означає, що Googlebot намагався просканувати неіснуючу сторінку. Пошуковий робот знаходить сторінки 404, коли інші сайти посилаються на відсутні сторінки.

Що це означає?

Цей вид помилок сканування найчастіше сприймається невірно. Найчастішою реакцією на них є страх.

При цьому Google стверджує, що боятися таких помилок не варто:

Тим не менш, це не зовсім так. Не можна ігнорувати помилки 404, якщо їх повертають важливі сторінки на сайті.

«Стикаючись з помилками 404, не варто робити ніяких дій до тих пір, поки ці сторінки:

• не отримують важливих посилань з зовнішніх джерел;
• не отримують значної кількості трафіку;
• не мають очевидного URL, який відвідувачі / посилання намір досягти ».

Енні Кушинг з агентства SEER Interactive також вважає за краще метод Фишкина і рекомендує наступне:

«Двома найважливішими метриками, які допомагають зрозуміти, чи не втрачаєте ви цінні посилання, є вхідні посилання і загальна кількість відвідувань цільової сторінки».

Помилки 404 потрібно терміново виправляти, якщо їх повертають важливі сторінки сайту. В іншому випадку, їх можна ігнорувати.

Бачити сотні таких помилок в Search Console неприємно. Однак поки ви не докопаєтеся до причин, якими вони викликані, вони нікуди не дінуться.

Якщо важливі сторінки повертають помилку 404, для її усунення виконайте наступні кроки:

Іншими словами, якщо сторінка застаріла, пожвавите її. Якщо вам це не потрібно, налаштуйте 301 редирект на відповідну сторінку.

Як зробити так, щоб застарілі URL з помилкою 404 не відображалися у звіті

У звіті про помилки першими показуються ті сторінки 404, на які є внутрішні або зовнішні посилання.

Щоб знайти посилання на сторінки 404, потрібно перейти в розділ «Помилки сканування» і вибрати «Помилки URL»:

Потім клікніть на URL, який ви хочете виправити.

У коді сторінки знайдіть посилання:

Щоб застарілі сторінки з помилкою 404 показувалися в звіті, потрібно видалити всі посилання на них з кожної сторінки, яка на них посилається - включаючи інші сайти.

Наявність цих помилок може означати, що Googlebot не вдалося отримати доступ до URL.

Що це означає

Помилки «Доступ заборонений» можуть виникнути з наступних причин:

Якщо заблоковані сторінки важливі, то наявність таких помилок вимагає термінових дій.

Якщо необхідності в скануванні і індексації сторінки немає, ці помилки можна ігнорувати.

Щоб усунути такі помилки, потрібно прибрати причину, по якій Googlebot не може отримати доступ до сторінки:

Хоча помилки «Доступ заборонений» не так часті, як 404, вони можуть пошкодити ранжирування сайту. Це можливо в тому випадку, якщо заблоковані важливі сторінки.

D) Помилки невиконання переходу

Що це означає

Якщо такі помилки пов'язані з важливими сторінками, вони вимагають термінових дій. Якщо ж проблеми виявлені на застарілих URL, або ж мова йде про параметри, які необов'язково індексувати, поспішати не варто. Проте, розібратися з цими проблемами потрібно.

При виникненні проблем зі скануванням параметрів перевірте, як Google їх обробляє. Якщо ви хочете, щоб Google по-іншому обробляв ваші параметри, повідомте Google про зміни за допомогою інструмента «Параметри URL».

Якщо помилки невиконання переходу пов'язані з редирект, зробіть наступне:

Більше даних про помилки можна отримати за допомогою Search Console API.

E) Помилки сервера і помилки DNS

У розділі «Помилки URL» також можуть відображатися помилки сервера і помилки DNS. Усувати їх потрібно тими ж способами, які описані для розділу «Помилки сайту».

Нижче - загальна таблиця по помилках URL, яку можна використовувати в якості пам'ятки:

висновок

Робота над усуненням помилок важлива і потрібна. Бачачи сотні недоліків, спочатку важко розібратися, які з них вимагають термінових дій. Однак з часом ви зможете досить легко відрізняти важливі проблеми від тих, які можна спокійно ігнорувати.

Search Console - це один з найбільш потужних (і безкоштовних) інструментів для діагностики помилок сайту. Усунення описаних вище проблем допоможе не тільки підвищити позиції ресурсу в пошуку Google, але і поліпшити досвід користувачів і швидше досягти намічених бізнес-цілей.