Виправлення помилок сайту в google search console

Як виправити помилки в Google Search Console

За останні роки Google Webmaster Tools істотно змінився. Змінилося навіть назва сервісу - Google Search Console. І тепер, коли Google Analytics не надає дані про ключові слова, доводиться більше покладатися на Search Console.

У старому Webmaster Tools були відсутні, зокрема, розділи «Search Analytics» і «Links to Your Site». І хоча ми ніколи не будемо повністю задоволені інструментами Google, все ж ці сервіси надають корисну інформацію (час від часу) для ефективного SEO просування сайту.

Помилки сканування сайтів (Crawl Errors)

Перші видаються більш критичними тому впливають на юзабіліті сайту в цілому. Помилки URL, з іншого боку, відносяться до окремих сторінок, тобто не вимагають настільки термінового усунення.

1) Помилки сайту

У розділі Site Errors показані загальні помилки веб-сайту за останні 90 днів.

Якщо ви виробляли певну активність за останні 90 днів, це буде виглядати так:

Якщо за останні 90 днів у вас не було помилок, ви побачите наступне:

Помилки повинні перевірятися як мінімум кожні 90 днів. Регулярні перевірки - це кращий варіант.

A) Помилки DNS

Якщо у Googlebot виникають складнощі з DNS, це означає, що немає можливості встановити зв'язок з вашим доменом через проблеми з маршрутизацією DNS або неробочого DNS-сервера.

Якщо виникає серйозна проблема з DNS, її необхідно відразу ж усунути. Бувають і непомітні складності, які заважають Google сканувати сайт.

DNS є важливим аспектом, тому що це перше, що відкриває доступ до сайту.

Google рекомендує використовувати інструмент Fetch as Google. Також можна проконсультуватися щодо можливої ​​наявності проблем у DNS-провайдера. І переконатися в тому, що сервер висвічує код помилок 404 або 500.

Б) Помилки сервера

Помилки сервера найчастіше пов'язані з тим, що сервера потрібно занадто багато часу на відповідь. Помилки DNS означають, що Googlebot не може навіть виявити ваш URL через складнощі, пов'язаних з DNS, тоді як серверні помилки не дозволяють завантажити сторінку, навіть незважаючи на те, що Googlebot може підключитися до вашого сайту.

Серверні помилки, як правило, трапляються через перевантаженість сайту великим обсягом трафіку. Щоб уникнути цього слід зайвий раз перевірити, що хостинг-провайдер справляється зі раптовим припливом веб-трафіку.

Офіційна інформація Google щодо усунення помилок: «Використовуйте Fetch as Google, щоб з'ясувати, чи може Googlebot отримати доступ до сайту. Якщо Fetch as Google повертає контент домашньої сторінки без будь-яких проблем, можна припустити, що у Google є доступ до вашого сайту ».

Перш, ніж переходити до усунення серверних помилок, необхідно встановити характер помилки:

• Закінчення часу очікування (Timeout)
• Усічені заголовки (Truncated headers)
• Обрив з'єднання (Connection reset)
• Усічений відгук (Truncated response)
• Відмовлено в з'єднанні (Connection refused)
• Не вдалося встановити з'єднання (Connect failed)
• Закінчення часу очікування з'єднання (Connect timeout)
• Ні відгуку (No response)

В) Помилки доступу до файлу robots.txt

Search Console help:

«Файл robots.txt потрібен лише в тому випадку, якщо на сайті є певний контент, який ви б хотіли додати в індекс пошукових систем. Якщо хочете, щоб пошукові системи індексували весь контент сайту, файл robots.txt не потрібен ».

Це важливий аспект. Для невеликих веб-сайтів, які нечасто оновлюються, усунення даної помилки не вимагає такої вже невідкладності. Файл robots.txt важливіший для сайтів, які щодня публікують новий контент.

Якщо Googlebot не може завантажити ваш robots.txt, Google не буде сканувати сайт, а так само і індексувати нові сторінки і зміни. Це може привести до суттєвих проблем в просуванні сайту під Google.

Важливо перевірити конфігурації файлу robots.txt і більше сторінок, доступних для сканування Googlebot. Переконатися, що лінія «Disallow: /» відсутній, за винятком ситуацій, коли з певних причин ви не хочете, щоб сайт з'являвся в пошукових результатах.

Краще взагалі обійтися без robots.txt. Якщо файлу robots.txt немає, тоді Google буде сканувати сайт як зазвичай. Якщо файл містить помилки, Google припинить сканування, до тих пір поки помилки не будуть виправлені.

2) Помилки URL

Помилки URL впливають тільки на окремі сторінки сайту, а не на сайт в цілому.

Порада: якщо помилок занадто багато, і вам набридло їх виправляти, просто відзначте все як виправлені.

Якщо ви зробили значні зміни на сайті з метою усунення помилок, або ж вважаєте, що багато URL-помилки вже не повторюються, тоді можна відзначити все помилки як виправлені, і провести повторну перевірку через кілька днів.

Через кілька днів інформація про помилки з'явиться знову, але якщо ви їх дійсно усунули, цього не станеться.

A) Програмні помилки 404 (Soft 404)

Програмна помилка 404 (або т.зв. «м'яка помилка» Soft 404) - це коли сторінка висвічує 200 (знайдено), замість 404 (не знайдено).

І той факт, що сторінка 404 виглядає як 404, ще не означає, що все і насправді так.

«Якщо на сторінці з'являється повідомлення« 404 Немає запису », це не означає, що це сторінка 404. Якщо на клітці з жирафом висить табличка« собака », це не означає, що в клітці дійсно собака», - support.google.com .

Відомий користувачеві аспект сторінки 404 - це контент. Візуальне повідомлення дає можливість зрозуміти, що запитувана сторінка зникла. Часто власники сайтів пропонують користувачам персоналізовані сторінки або сторінки зі списками схожих посилань.

«Зворотний бік» сторінки 404 - це видимий для веб-павука код відповіді HTTP.

Google рекомендує: «Налаштувати веб-сайт так, щоб при запиті неіснуючих сторінок повертався код відповіді 404 (сторінка не знайдена) або 410 (сторінка видалена)».

Ще одна ситуація, коли може з'явитися програмна помилка 404 - сторінки 301, перенаправляють на інші сторінки, наприклад, на головну. У довідковому посібнику Google про наслідки цього повідомляється досить невизначено:

«При поверненні коду для неіснуючої сторінки, відмінного від 404 і 410, (або при перенаправлення на іншу сторінку, наприклад на головну, замість повернення коду 404), можуть виникнути додаткові проблеми».

Коли безліч сторінок перенаправляється на головну, Google розглядає ці сторінки як soft 404, а не як 301.

Для сторінок, яких більше не існує:

• Переконайтеся, що при запиті неіснуючих сторінок повертається код відповіді 404 (сторінка не знайдена) або 410 (сторінка видалена), а не 200 (успішний запит).
• Зробіть перенаправлення (301) для кожної старої сторінки на відповідну сторінку сайту.
• Чи не перенаправляйте велика кількість «мертвих» сторінок на головну. Вони повинні бути 404, або перенаправлятися на подібні сторінки.

Для робочих сторінок:

• Переконайтеся, що існує достатній обсяг контенту на сторінці, тому що невеликий обсяг може спровокувати помилку soft 404.
• Soft 404 - це якийсь гібрид 404 і звичайних сторінок, - звідси і складності. Проведіть перевірку на предмет наявності у більшій частині сторінок помилки soft 404.

Помилка 404 означає, що Googlebot намагався сканувати сторінку, якої немає на сайті. Googlebot знаходить сторінки 404, коли інші сайти або сторінки ведуть до цих неіснуючих сторінок.

Google повідомляє, що «Загалом, помилки 404 не впливають на рейтинг сайту в Google, тому їх можна сміливо ігнорувати».

Але якщо це важлива сторінка, ігнорувати помилку 404 не можна.

Рада Ренда Фишкина:

а) Чи не отримує важливі посилання від зовнішніх джерел,

а) Відвідуваність сторінки невисока,

Тоді можна залишити сторінку як 404 ».

Якщо важливі сторінки висвічуються як 404:

Простіше кажучи, якщо ваша сторінка «мертва», пожвавите її. Якщо ви не хочете робити її робочої, зробіть перенаправлення 301 на коректну сторінку.

Як зробити, щоб старі 404 показувалися в звіті про скануванні

Якщо 404 URL не важливий, просто ігноруйте його, як радить Google. Але щоб помилок не було видно в звіті, доведеться виконати додаткову роботу. Google показує тільки помилки 404, якщо ваш сайт або зовнішній сайт ведуть на сторінку 404.

Знайти прямі посилання на сторінку 404, можна так: Crawl Errors> URL Errors.

Потім клікніть URL, який хочете виправити

Досить трудомісткий процес, але якщо дійсно потрібно, щоб старі 404 не були присутні в звіті, знадобиться видалити посилання з кожної сторінки.

В) Відмова в доступі (Access denied)

Відмова в доступі означає, що Googlebot не може сканувати сторінку.

• Ви вимагаєте від користувачів ввести логін і пароль, щоб зайти на сайт, і таким чином Googlebot блокується
• Ваш файл robots.txt блокує доступ Googlebot до окремих URL, папок, або сайту в цілому
• Хостинг-провайдер перешкоджає доступу Googlebot до сайту, або ж сервер вимагає від користувачів аутентифікацію через проксі-сервер

Помилка, подібна до soft і 404. Якщо заблокованих сторінка важлива і повинна індексуватися, тоді потрібно негайне втручання. Якщо немає - можна ігнорувати подібні помилки.

Для виправлення знадобиться усунути елементи, які блокують доступ Googlebot:

• Приберіть вхід за логіном (логін на сторінці або спливаюче вікно) для сторінок, які потрібні для індексації
• Переконайтеся, що у файлі robots.txt містяться сторінки, які Googlebot не повинен сканувати
• Використовуйте Fetch as Google, щоб дізнатися, як Googlebot сканує ваш сайт
• Проскануйте сайт за допомогою інструменту Screaming Frog

І хоча ці помилки не так поширені, як 404, складності по частині доступу можуть негативно впливати на рейтинг сайту, якщо важливі сторінки заблоковані.

Рішення деяких технічних питань, про які йшла мова в статті, видається завданням досить трудомісткою. Ніхто не хоче шукати здаються незначними помилки URL, або навпаки впадати в паніку при появі екрану з тисячами помилок на сайті. Але з досвідом і неодноразовим повторенням дій формується м'язова пам'ять, і користувач практично автоматично сортує важливі помилки і ті, які можна ігнорувати.