Налаштування файлу для блогу на wordpress

Чергові вихідні, а значить, розглядається чергова рекомендація щодо оптимізації Вашого блогу. Сьогодні це SEO-рекомендація - грамотна настройка файлу robots.txt.

Але спочатку хочу нагадати, що, крім рекомендацій, щотижня Я ще проводжу безкоштовний аудит одного з блогів своїх Новомосковсктелей. Що дивно, заявку на проведення безкоштовного аудиту на цьому тижні не надіслав ніхто, тому і аудиту безкоштовного теж немає.

А тепер перейдемо, власне, до теми сьогоднішньої рекомендації - грамотна настройка файлу robots.txt.

Що таке файлrobots.txt і навіщо він потрібен?

Як Ви, напевно, знаєте, щоб Ваш сайт потрапив в індексацію пошукових систем, його повинні проіндексувати пошукові роботи цих самих пошукових систем. Так от, перше до чого звертаються пошукові роботи, зайшовши на Ваш сайт - це файл robots.txt.

Там вони дивляться первинну інформацію про Ваш сайт. Тому, нехтувати цим файлом не варто. Навпаки, слід з усією серйозністю підійти до налаштування даного файлу, тим більше що зробити це потрібно всього один раз.

Як створити файлrobots.txt і куди його подіти?

Що можна налаштовувати вrobots.txt?

Найголовніше, на що варто звернути увагу, при налаштуванні файлу robots.txt - це дати вказівки пошуковим роботам, які сторінки варто індексувати, щоб в індекс пошуковиків потрапили тільки дійсно цільові сторінки.

а) Які сторінки індексувати на Вашому сайті?

До того ж роботи можуть не зрозуміти, яка з цих численних сторінок головна, і вибере за основну зовсім не ту сторінку, яка потрібна Вам.

Тому, Ваша задача дати вказівки пошуковим системам, які не індексувати сторінки, які створюють дубльований контент.

б) Які папки і файли індексувати на Вашому сервері?

Не секрет, що движок WordPress, має досить багато технічних папок і файлів. І якщо пошуковий робот буде все це індексувати, тобто буде переглядати кожен файл на Вашому сервері, то це створить досить велике навантаження на сервер, що Вам абсолютно ні до чого.

Тут є і ще один мінус, якщо робот буде знати, що на індексацію вашого сайту необхідно, наприклад, 10 хвилин, а на індексацію сусіднього сайту, наприклад, 10 секунд, то і відвідувати Ваш сайт він буде набагато рідше, ніж сусідній ресурс . А це означає, що Ваші нові записи будуть потрапляти в індекс пошукових систем з великою затримкою.

в) Як індексувати Ваш сайт, сWWW або без?

Думаю, Ви знаєте, що для пошукових систем наступні два сайти, це два скоєно різних сайту: ВАШСАЙТ.ru і www.ВАШСАЙТ.ru. Більш того, пошуковик сприймає ці сайти, як копії один одного, тобто як дубльований контент.

Звичайно, через якийсь час, пошуковик сам, на свій розсуд обере, який з цих двох сайтів є головним. Але цей вибір може бути не таким, який зробили Ви.

А тепер уявіть, що Яндекс вибрав за основний Ваш сайт без www, а Google вибрав з www. Тому слід самим вказувати пошуковикам, як індексувати Ваш сайт.

г) Де знаходиться карта сайту для пошукових роботів?

У файлі robots.txt Вам як раз і необхідно прописати, де знаходиться Ваша карта сайту.

Налаштування файлаrobots.txt для двіжкаWordPress

Нижче на зображенні представлений готовий код файлу robots.txt для движка WordPress. У ньому враховані всі рекомендації, які були розглянуті вище. Завантажити сам файл Ви зможете за посиланням під зображенням.

Завантажити налаштований файл robots.txt для WordPress:

Щоб безкоштовно завантажити грамотно налаштований файл robots.txt для WordPress, натисніть на одну з кнопок Like: