» » » Мета-тег robots. Правильная настройка индексации сайта
logotip

Мета-тег robots. Правильная настройка индексации сайта

Всем привет! Данный пост считаю обязательным к прочтению, так как далеко не все веб-мастера знают, как использовать мета-тег robots и как с помощью этого инструмента можно настроить индексацию сайта.

В последнее время на seo-mayak.com я публиковал много статей, посвященных различным функциям WordPress и как некоторым может показаться, немного отклонился от основной тематики блога.

Это вовсе не так! Я по прежнему уверен, что без базовых знаний в программирования, не о каком успешном продвижении речь идти не может. Я не зря последовательно описываю функции, о существовании которых просто обязан знать каждый веб-мастер, чтобы самостоятельно вести свой проект.

Сегодня мы опять будем работать с функциями, хотя основным героем будет конечно мета-тег robors.

Также я предложу Вам обновленный вариант файла robors.txt, который будет изменен до неузнаваемости, благодаря взаимодействию с мета тегом robots и PHP.

meta tag robots

Но сначала я хочу сказать несколько слов о том, к чему может привести неправильная настройка индексации сайта для роботов Яндекса и Гугла. Поехали!

Последствия не правильной настройки индексации

Если Вы посмотрите на файл robots.txt моего блога, то увидите всего несколько строк:

User-agent: *
Allow: /wp-content/uploads
Disallow: /wp-
Host: seo-mayak.com
Sitemap: /sitemap.xml
Важно! На примере отсутствуют директивы, открывающие доступы к CSS и JS файлам, которые обязательно должны быть и которые уникальны для каждого сайта!

Но что будет, если какой-нибудь веб-мастер, по неопытности или из каких-либо других соображений решит, что так правильно и настроит индексацию своего сайта аналогичным образам.

Сразу скажу ничего хорошего из этого не выйдет! Если отменить некоторые запрещающие директивы в файле robots.txt, такие как:

Disallow: /page/
Disallow: /category/
Disallow: /tag/
Disallow: /feed/
Disallow: /page/

И т.д.

В этом случаи поисковые роботы получат разрешение на сканирование текстов дублирующих страниц, за что, с большой долей вероятности, сайт может угодить под АГС, Пингвин или другие фильтры.

Так что, без специальных знаний никому не советую менять свой robots.txt по моему примеру или по аналогичным примерам с других сайтов и открывать доступ поисковым роботам к не уникальному контенту.

Примеры URL страниц, которые могут попасть в индекс:

/category/seo-prodvizhenie — страницы с категориями;
/2014/05 — страницы с архивами
/tag/prodvizhenie — страницы меток
/?attachment_id=3269 — страницы с прикрепленными файлами
/page/2 — страницы постраничной навигации
/feed — страницы фида
/?s= — страницы внутреннего поиска

Отдельный разговор у нас будет по дублям страниц, создаваемых функцией древовидных комментариев, так называемых replytocom, так что подписывайтесь на обновления блога.

Я перечислил все основные дубли, которые могут быть проиндексированы роботами Яндекса и Гугла, если на их пути не будет никаких преград, но в зависимости от структуры сайта, возможны и другие дубли, так что на каждом отдельном ресурсе, надо проводить свой тщательный анализ.

Итак, почему я убрал большинство запрещающих директив из своего файла robots.txt и тем самым открыл путь поисковым роботам? Основной причиной послужило то, что Гугл заносит заблокированные в robots.txt страницы в свой Supplemental index, если на них ведут внутренние или внешние ссылки.

Не думайте, сами страницы с дублями я не оставил без защиты от индексации, просто я внедрил в код каждой из них мета-тег robots, что уже на 100% убережет их от попадания в сопливый индекс. В конце статьи я покажу как это делается.

В исходном коде мета-тег robots выглядит следующим образом:

meta tag robots1

Не так давно, одна моя старая знакомая попросила меня высказаться, по поводу настройки индексации с помощью плагина All in One SEO Pack. Мысль сводилась к следующему.

Что, если открыть доступ в файле robots.txt, но запретить индексацию в All in One SEO Pack, в разделе  «Настройки индексирования», проставив галочки возле соответствующий пунктов ?

В принципе мысль правильная и некоторые труженики SEO именно так и советуют делать, но если заглянуть в исходный код страниц, заблокированных через All in One SEO Pack, то увидим следующее:

meta tag robots2.1

Как видите в мета-теге отличается один параметр.

А теперь давайте поближе познакомимся с мета-тегом robots и разберемся: какие параметры он может принимать и на что они влияют.

Мета-тег robots и его параметры

Мета-тег robots очень важный инструмент, с помощью которого можно довольно тонко настроить индексацию сайта, хотя параметров, которые он может принимать, не так много.

Синтаксис настолько простой, что его даже описывать не надо, достаточно просто взглянуть на примеры, кроме того мета-тег robots и его параметры не чувствительны к регистру.

Мета-тег можно написать так:

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLOOW"/>

Или так:

<META name="ROBOTS" CONTENT="noindex, nofollow"/>

Привожу список всех параметров мета-тега robots:

index — индексировать текст страницы.
noindex — не индексировать текст страницы
follow — следовать по ссылкам и индексировать их.
nofollow — не следовать по ссылкам и не индексировать их
all — индексировать текст страницы, а также следовать по ссылкам и индексировать их.
none — не индексировать текст страницы, а также не следовать по ссылкам и не индексировать их.

Отсутствие мета тега, автоматически разрешает роботу индексировать текст страницы и все ссылки находящиеся на ней.

Отсутствие параметра, также трактуется роботом как разрешение. Например:

<meta name="robots" content="noindex" />

В данном случаи робот не будет индексировать текст, но пройдет по всем ссылками и естественно проиндексирует их. Тоже самое сделает робот если встретит мета-тег robots с такими параметрами:

<meta name="robots" content="noindex, follow" />

Если Вы заметили, именно такие параметры проставляет плагин All in One SEO Pack, но об этом чуть позже.

Вот пример полного запрета индексации:

<meta name="robots" content="noindex, nofollow" />

Тоже самое:

<meta name="robots" content="none" />

Снятие всех запретов:

<meta name="robots" content="all" />

Но что будет делать робот, если наткнется на противоречивые директивы? Например:

<meta name="robots" content="noindex, nofollow" />
<meta name="robots" content="noindex, follow" />

В данном случаи из двух противоречащих друг другу параметров, робот сделает выбор в пользу разрешающей директивы.

Данный параметр в мета-теге robots наложит запрет на добавление содержимого страницы в кэш поисковых систем:

<meta name="robots" content="noarchive"/>

Здесь надо понимать, что если на страницу наложен полный запрет (noindex, nofollow), то в кэш она тоже не попадет.

Вот в принципе и все параметры, которые может принимать мета-тег robots, надеюсь понятно объяснил, но если будут вопросы, задавайте их в комментариях.

А теперь вернемся к плагину All in One SEO Pack. Как вы поняли, параметры прописанные разработчиками плагина для мета-тега robots, дают разрешение поисковым роботам следовать по ссылкам и индексировать их.

И если открыть доступ к страницам сайта в файле robots.txt и целиком положится на защиту от индексации, любезно предоставляемой вышеупомянутым плагином, то можно забыть: про правильный анкор-лист сайта, а также про экономию времени, отведенного роботу на индексацию сайта, и как следствие, своевременное попадание страниц с полезным контентом в основную выдачу. Кроме всего прочего, плагин не закрывает дубли, создаваемые постраничной навигацией.

О параметрах noindex, follow мы еще поговорим в следующей статье, которая будет полностью посвящена теме — дубли страниц replytocom, так что подписывайтесь на обновления блога.

Еще хотел сказать несколько слов, касательно сравнения файла robots.txt и мета-тега robots. Можно предположить, что мета-тег robots имеет некий приоритет в «глазах» поисковых роботов над директивами файла robots.txt. Хочу заметить, что вопрос приоритета в данном случаи вообще не стоит.

Если директивы файла robots.txt запрещают сканировать страницу и считывать ее содержимое, что, как мы выяснили, не уберегает ее от индексации, то мета-тег robots может быть обнаружен роботом только в процессе сканирования и его директивы вступят в силу только после считывания страницы. Надеюсь разница понятна. Идем дальше.

Как разместить мета-тег robots на страницах

Итак, мы подошли к самому интересному. Сейчас мы займемся внедрением мета-тега robots в исходный код страниц, которые надо закрыть от индексации.

Прежде всего нам надо выявить функции, отвечающие за вывод страниц с дублями контента.

Вот эти функции:

is_category() — функция вывода страниц с категориями;
is_archive() — функция вывода любых архивов;
is_year() — функция вывода архивов по годам;
is_month() — функция вывода архивов по месяцам;
is_day() — функция вывода архивов по дням;
is_date() — функция вывода архивов по датам;
is_author() — функция вывода архивов по авторам;
is_tag() — функция вывода страниц с метками;
is_tax () — функция вывода таксономии произвольных типов записей;
is_attachment() — функция вывода страниц с прикрепленными файлами;
is_paged() — функция вывода постраничной навигации;
is_feed () — функция вывода страницы фида;
is_search()> — функция вывода страниц внутреннего поиска.

Наша задача заключаться в следующем. Нам надо добавить мета-тег robots с запрещающими параметрами noindex, nofollow в исходный код каждой дублирующей страницы, между тегами <head></head>.

Для этого открываем файл functions.php и в самое начало, после php тега <?php, вставляем такую функцию:

function mayak_meta_robots () {
if (is_archive() or is_category() or is_feed () or is_author() or is_date() or is_day() or is_month() or is_year() or is_tag() or is_tax() or is_attachment() or is_paged() or is_search()) 
{
echo "".'<meta name="robots" content="noindex,nofollow" />'."\n";
}
}
add_action('wp_head', 'mayak_meta_robots'); 

Теперь я немного поясню как будет работать данная функция.

Функция добавляет условие, которое будет срабатывать при вызове любой из функций, перечисленных в скобках и с помощью команды echo, добавит мета тег robots в исходный код дублирующих страниц.

Далее, с помощью хука wp_head цепляем наше подготовленное действие к функции wp_head(), которая выведет мета-тег robots в шапку страницы, между html тегами <head><head>.

Важно! После активации функции не забудьте убрать галочки в разделе «Настройки индексирования» плагина All in One SEO Pack!

Как видите сложного ничего нет, но тем не менее, без минимальных знаний в PHP, у нас бы ничего не получилось.

Конечно потребуется время, на то, чтобы страницы выпали из «сопливого» индекса Google, но выпадут они обязательно!

До встречи!

С уважением, Виталий Кириллов

Комментарии: 282

  1. Наталья:

    Виталий, спасибо, Вы мне еще больше открыли глаза и прояснили ситуацию!)
    Но, может, это глупо, мне страшно удалять директивы из файла robots.txt)) Как я писала в комментарии к предыдушей статье, я уже обожглась на «соплях», и пока их практически нет, не хочу ничего трогать) Но Вашу функцию все-таки хочу добавить. Как я поняла, если в файле robots.txt есть запрещающие директивы, то использовать эту функцию лишено всякого смысла? Как же тогда решиться их оттуда удалить?!
    И еще, мне не понятно, как могли проиндексироваться эти ссылки:
    /wp-content/plugins/copy-link
    /wp-content/plugins/wp-postratings/postratings-js.js/JSFile_1

    Ответить
    • Виталий Кириллов:

      Наталья, мне трудно сказать, как могли проиндексироваться эти ссылки, но факт, что в этом виноваты плагины.
      Наталья, дело в том, что Ваш блог устроен так, что в robots.txt вам кроме файлов движка и фида больше вообще нечего закрывать. Кстати фид у Вас в «соплях».
      Категории у Вас открыты, метки вы не используете, архивы тоже, авторских архивов также нет и нет постраничной навигации В общем многие директивы в robots.txt у вас просто лишние и уберете Вы их или нет, от этого ничего не изменится).
      А вот фид надо закрыть с помощью мета-тега robots.

      Ответить
  2. Артур:

    Здравствуйте Виталий, как вы думаете, данный метод и в правду позволит обойти так называемый «сопливый индекс» ?

    Ответить
    • Виталий Кириллов:

      Здравствуйте Артур! Если бы я не был уверен в этом, то разве я стал бы публиковать данную статью…

      Ответить
  3. Наталья:

    Ух ты, Виталий, Вы так быстро провели анализ моего сайта)) Все так и есть. Раньше я, правда, об этом не сильно задумывалась, но вот благодаря Вашей статье все встало на свои места! Спасибо! Прислушаюсь к Вашим рекомендациям! Удачи Вам!!!

    Ответить
    • Виталий Кириллов:

      Спасибо Наталья и Вам удачи!

      Ответить
  4. Артур:

    Ещё вопрос, написано что стоит убрать все галочки в настройках индексации, а на отдельных страницах в редакторе к примеру те что находятся в меню, тоже не следует ставить галочки? я про Добавить аргумент NOINDEX / Добавить аргумент NOFOLLOW

    Ответить
    • Виталий Кириллов:

      Артур, в разделе плагина, тот, что под статьей, вообще галочки ставить не надо. Если в исходном коде самой статьи будет мета-тег robots с параметрами NOINDEX/NOFOLLOW, то она вообще не будет проиндексирована!

      Ответить
  5. Александр Силиванов:

    Приветствую, Виталий!
    Итак, я добавил код в functions.php (на тестовом блоге, тема та же, что и на основном). Снял галочки в настройке All in One SEO Pack. Директива в коде рубрики, содержащая noindex,follow , исчезла. Появилась выше директива, содержащая noindex,nofollow
    Можно открывать robots? Все правильно?

    Ответить
    • Виталий Кириллов:

      Здравствуйте Александр! Все правильно, можно открывать доступ в robots.txt.

      Ответить
      • Андрей:

        А что значит в данном случае «открывать доступ в robots.txt?

        Я добавил необходимую функцию. Добавил в корень robots.txt , в котором прописано User-agent: *
        Disallow:

        Всё правильно или нет? что-то я вообще запутался уже..

        Ответить
        • Виталий Кириллов:

          Андрей, я посмотрел Ваш robots.txt. Вы не просто запутались, а ничего не поняли, но это норм для новичков! Скажите мне, для чего нужен мета-тег robots?

          Ответить
          • Андрей:

            Виталий, доброе утро!
            Очень приятно было увидеть Ваш такой быстрый ответ)
            Мега-тег Robots нужно для этого, чтобы запретить поисковикам индексировать определённые разделы сайта, как например архивы, категории и т.п.
            Проблема в том, что вчера мне один из блогеров указал на то, что мой сайт находится под фильтрами АГС Яндекса. Я начал анализировать причины….
            Контент у меня уникальный, рекламы никакой левой не было, заспамленности ключевиками нет.
            Вот и подумал, что проблема в дублирующем контенте. Я-то думал, что All in SEO PACk отключил индексацию этих разделов, когда я поставил галочки. Но это не так.

            Ответить
            • Виталий Кириллов:

              Так вот Андррей, если запретить индексацию архивов, категорий и т.п. в файле robots.txt, то поисковый робот не сможет обнаружить мета-тег robots, так как ему запрещено сканирование данных страниц и моя функция будет бесполезной.
              Ваш сайт еще очень молодой и он находиться под естественным фильтром, который накладывается на все молодые ресурсы. Если бы Ваш сайт попал под АГС, то в индексе Яндекса осталась бы одна главная страница, у Вас же в индексе 25 страниц, так что все пока в порядке. Следите за количеством внешних ссылкок с Вашего сайта, на начальном этапе их количество должно стремиться к нулю.
              Успехов!

              Ответить
              • Андрей:

                Спасибо огромное за ответ!

                На самом деле, у меня была мысль о том, что это можно быть связано с «молодостью» сайта.
                Спасибо, что подтвердили это, а то другие уже меня напугали сильно)

                Последний вопрос: что посоветуете добавить в файл robots.txt?

                Ответить
                • Виталий Кириллов:

                  Файл robots.txt составляется для каждого сайта индивидуально и я ничего советовать не стану.

                  Ответить
              • Сергей:

                Добрый день Виталий, хотел бы поговорить с вами по поводу моего сайта, можете контактировать пожалуйста на мой почтовый адрес
                sergey.1234@hotmail.com

                За ранее спасибо

                Ответить
  6. Мария:

    Здравствуйте, Виталий! У вас очень хороший блог!
    Но пишу комментарий не только для того, чтобы это сказать =)
    Я можно сказать была уверенна, что на вашем блоге я найду нужную мне информацию. И она, эта информация, как раз в этой статье, а самое главное — как раз в нужное время.
    Дело в том, что плагин All in One SEO Pack недавно попросил обновления, я обновила, и по стечению обстоятельств я возилась с тегами и обратила внимание… что добрый плагин All in One SEO Pack не выводит noindex для меток! Точнее не было даже его присутствия в шапке. Как я ни сохраняла настройки — все равно не вставляет noindex для меток. Через день плагин еще раз попросил обновления, я обновила — ну думаю, после обновления проблемка решится. Но нет — все равно не вставляет для тегов noindex, хотя в шапке стал себя указывать.
    С чем связано не знаю. Поэтому пошла на Ваш блог в поисках решения! И нашла!
    Спасибо, Виталий!
    Этот плагин (возможно это было и раньше) там же указывает itemprop=. Вы не подскажете, что это такое?

    Ответить
    • Виталий Кириллов:

      Здравствуйте Мария! itemprop — это элемент микроразметки, подробней читайте здесь.

      Ответить
  7. Мария:

    Как у вас все серьезно, Виталий, ) За ссылку, спасибо, придется разбираться =)

    Ответить
  8. Александр Силиванов:

    Виталий, тут еще проблемка возникает, по-моему. Директива noindex,nofollow вроде прописывается везде. Но есть страница результатов поиска Яндекса (помимо встроенного в шаблон поиска, который меня не удовлетворяет, т.к. даже я сам не сразу его обнаружил — что уж говорить о посетителях). Так вот, если страница результатов поиска встроенного будет закрыта от индексации noindex,nofollow, то в коде страницы поиска Яндекса я такой директивы не нашел. А ведь это, как я понимаю, тоже страница на моем блоге! Ее в случае открытия robots ПС (а Гугл — в любом случае!) проиндексирует. Как быть?

    Ответить
  9. Александр Силиванов:

    Ответ на свой вопрос сам же и нашел! 🙂 Прошел в админку — Страницы — Поиск. И в редакторе просто поставил галочки Добавить аргумент NOINDEX , Добавить аргумент NOFOLLOW

    Ответить
    • Виталий Кириллов:

      Ну вот Александр, простое решение оказывается)

      Ответить
  10. Александр Силиванов:

    Все манипуляции проделаны. Изменил robots, открыл все. Будем ждать результатов.
    Большинство решений, Виталий, довольно просты. Только не всегда додумываешься сразу.

    Ответить
  11. Мария:

    Здравствуйте, Виталий.
    Я вернулась к комментированию ) у меня такой вопрос: как прописать код так, чтобы страницы рубрик не были закрыты noindex?

    Ответить
    • Виталий Кириллов:

      Здравствуйте Мария!
      Чтобы оставить страницы с рубриками открыты надо убрать из кода следующий отрезок:

      is_category() or
      
      Ответить
      • Мария:

        Да, я это сделала — первые страницы рубрик открыты для индексации. Дело в том, что на рубрики тоже распространяется noindex для is_paged() — функция вывода постраничной навигации. Вот можно ли как-то сделать, чтобы страницы постраничной навигации рубрик не были закрыты noindex?

        Ответить
        • Виталий Кириллов:

          Здравствуйте Мария! Дело в том, что функция is_paged() отвечает за вывод любой постраничной навигации.
          Есть такие варианты, например, если надо закрыть постраничную навигацию при просмотре архивов (категории, теги, авторы и т.д.), а основные страницы пагинации (например, seo-mayak.com/page/2 и т.д.) оставить доступными для роботов, то правило будет такое:

          ( is_archive() && is_paged() ) or
          

          К сожалению наоборот сделать нельзя.

          Ответить
          • Мария:

            Спасибо, Виталий, приставка && is_paged() мне действительно помогла, но немножко в другом месте. Сегодня пол-дня провозилась с этим, но зато теперь функция, прописанная в моем functions.php, регулирует то, что я хотела:
            главная — индексируется, постраничная навигация главной — не индексируется, рубрики и их страницы пагинации — индексируются.
            для этого мне пришлось кое-что убрать из вашей функции и кое-что добавить.

            Ответить
            • Виталий Кириллов:

              Ну вот и хорошо Мария, я рад, что у Вас все получилось!

              Ответить
      • Алекс:

        Здравствуйте!
        Последовал вашей рекомендации, но что-то не получается.
        Для того чтобы оставить рубрики открытыми, я убрал is_category() or
        Но рубрики всё равно оставались закрытыми. И только после того как убрал is_archive() or рубрики стали открытыми.
        Я не пойму почему рубрики is_archive? Я так понимаю, что архив, это в прямом смысле, когда статью убираешь в архив. А в моем случае рубрики не есть архивами — правильно?
        Моя задача открыть рубрики и их пагинацию. Чтобы это сделать, получается вместо is_paged() нужно прописать ( is_archive() && is_paged() ) or ?
        Ps/ я не использовал никаких модулей, всё натягиваю и делаю вручную. Пагинацию ещё не делал и пока не знаю как буду делать, но скорее всего тоже вручную.

        Ответить
        • Виталий Кириллов:

          Алекс, здравствуйте!
          Дело в том, что в вордпресс действие is_archive распространяется и на категории и на архивы.
          Если Вы хотите открыть категории, то убирайте и is_archive(), и is_category().
          В этом случаи для страниц архивов будут точечно работать следующие функции

          is_year() — функция вывода архивов по годам;
          is_month() — функция вывода архивов по месяцам;
          is_day() — функция вывода архивов по дням.

          Ответить
        • Алекс:

          Я только что проверил что у меня, рубрики или архивы рубрик
          if( is_category() )
          echo "Страница категории";
          elseif( is_archive() )
          echo "Страница архива";
          И у меня рубрики. Но почему они не открываются когда я убираю убрал is_category() or я не понимаю!)

          Ответить
          • Виталий Кириллов:

            Алекс, читайте мой прошлый коммент.

            Ответить
            • Алекс:

              Да, я прочитал, просто мы разминулись)
              Вы уж извините, но подскажите что значит «будут точечно работать следующие функции» ? Это значит что будут дубли?
              Спасибо большое за ответы и ваш сайт — это клад, очень полезная инфо!!!

              Ответить
              • Виталий Кириллов:

                Нет, эти функции будут распространять действие мета-тега на страницы архивов и тем самым наоборот предотврящать дубли, если Вы уберете is_archive().

                Ответить
  12. Михаил:

    Здравствуйте. Спасибо за статью. Все сделал почти как у Вас написано. За исключением того function. Там я прописал все кроме is_paged, я так понимаю тем самым разрешив индексировать страницы которые есть на блоге. Все остальное как написано в статье. В SEO плагине все галочки с noindex, follow сняты. Но после индексации страницы сайта выпали из выдачи. Т.е. они были отправлены но проиндексированы только статьи блога. Как быть? что не так сделал. Хотелось бы что бы на страницы которые на главной были индексируемые. Спасибо.

    Ответить
    • Виталий Кириллов:

      Здравствуйте Михаил! Функция is_paged выводит любую постраничную навигацию. Если я правильно понял вы хотите, чтоб они были проиндексированы или вы имели в виду статические страницы (page)

      Ответить
      • Михаил:

        В общем в функциях сейчас прописано вот так:

        function my_meta_noindex () {
        if (is_archive() or is_category() or is_feed () or is_author() or is_date() or is_day() or is_month() or is_year() or is_tag() or is_tax() or is_attachment() or is_search())
        {
        echo «».».»\n»;
        }
        }

        add_action(‘wp_head’, ‘my_meta_noindex’,

        Нужно что бы на сайте не индексировалось ничего кроме статических страниц с главной и страниц самого блога (статей). В sitemap все есть. В robots все открыто.

        Ответить
  13. Михаил:

    Странно. Сейчас посмотрел в google webmaster и теперь не проиндексирована всего одна страница. Т.е. отправлено 17 проиндексировано 17. А было 17 — 7 и эти семь были статьи а остальное страницы.

    Ответить
    • Виталий Кириллов:

      Михаил я так понял у Вас все наладилось?

      Ответить
      • Михаил:

        Сейчас происходит какая-то чехарда. исправляю ошибки. Позже отпишусь.

        Ответить
  14. Александр:

    Спасибо, хорошая статья. Виталий подскажите какая функция вывода страниц с комментариями. Много комментариев разбиты постранично //…/…/comment-page-8/?

    Ответить
    • Виталий Кириллов:

      Александр, любую постраничную навигацию выводит функция is_paged().

      Ответить
  15. Александр:

    Дело в том, что в рубриках или архиве на страницах добавляется тег robots, а на страницах комментариев нет. С чем это может быть связано?

    Ответить
    • Виталий Кириллов:

      Александр, действительно is_paged() не срабатывает в постраничной навигации комментариев.
      Получить страницы комментариев можно через следующую функцию:

      get_query_var('cpage') 
      

      Просто добавьте ее к списку функций.

      Ответить
  16. Алексей:

    Здравствуйте, Виталий.
    Решил воспользоваться услугой «технический анализ».
    У блога явные проблемы с индексацией. Пишите в личку.

    Ответить
  17. Arthur:

    Виталий, не могу понять, почему у Вас 334 результата в индексе, если по факту 132, у вас нет ни архивов, ни тегов. Или вы не пользуетесь мета тегом роботс? Я так и не понял, как проверить стоит он или нет … просмотр кода страницы?

    Ответить
    • Виталий Кириллов:

      С помощью горячих клавиш СTRL+U открываете исходный код страницы и между тегами <head></head> такую строчку:

      <meta name="robots" content="noindex, nofollow">
      

      У меня еще не все страницы выпали из индекса, процесс тянется уже 3 месяца и с каждой индексацией, страниц становится все меньше.

      Ответить
      • Arthur:

        Виталий, спасибо за ответ. Вставил в functions.php, проверил на тегах, вроде бы все ОК. Еще такой вопрос — мне в хедер, что-то нужно вставлять? или то что изначально стоит в хедере с ним и идет увязка. И я еще пробежался по статье о хуках, я так понял мне нужно еще сделать ремув_екшен в хедере, чтобы избавится от ненужного хлама? Прикрепил адрес блога, если у вас есть время и желание — взгляньте, буду очень благодарен вашим пожеланиям и замечаниям.. Это мой первый сайт и он еще в стадии настройки.

        Ответить
  18. Василий:

    В процессе борьбы с дублями я заметил, что из индекса не удаляются страницы с tag. Чем их закрыть непонятно.
    У меня возник вопрос — а нужны ли метки на сайте? Если у меня нет облака меток, вообще для чего они нужны, может их вообще удалить? В новых статьях я перестал их добавлять при написании статей.

    Ответить
    • Виталий Кириллов:

      Василий, каждый решает сам, если Вам не нужны метки, избавьтесь.

      Ответить
  19. Сергеевич:

    Здравствуйте,

    Подскажите что не так на сайте, у меня открыты к индексации только посты, навигация метками но они закрыты. Может нужно открыть? Прочитал в нэте что категории не стоит закрывать, вобщем запутался.. Если будет желание проанализируйте мои ошибки.

    Ответить
    • Андрей Курасов:

      Категории закрывают для защиты от дублей или когда они неинформативны для пользователя.
      Если категории информативны (например, каталоги интернет-магазинов), то их открывают для индексации: чем больше точек входа на сайт, тем лучше.

      Дубли в категориях возникают, когда вместе с заголовком идёт часть текста статьи, которая дублирует саму статью. Многие темы вордпресса имеют в записях функцию «Цитата» — если приписать цитату к статье, то в категориях будет выводиться не часть статьи, а цитата — и никаких дублей не возникнет.

      Ответить
  20. Егор:

    У меня на все записи и страницы обернуты почему-то в ноиндекс . Роботс тхт нормальный.
    Может я с плагином что не так настроил? Можете посмотреть в чем дело?
    Robots meta tag contains noindex instruction — это на всем, кроме главной страницы.

    Ответить
    • Виталий Кириллов:

      Егор, о чем вы…?

      Ответить
  21. Николай:

    Здравия, Виталий! Не могу найти фаил functions.php. Где он может быть?

    Ответить
    • Виталий Кириллов:

      Здравствуйте Николай! Файл functions.php. находиться в папке с вашей темой.

      Ответить
      • Николай:

        Благодарю, нашёл )))

        Ответить
  22. Егор:

    Здравствуйте, почему Яндекс исключает страницы из индекса? Говорит, что присутствует мета-тег noindex, но я все проверил, нигде он не стоит. Роботс заурядный, в коде страниц мета-тега запрещающего индекс не стоит. И Гугл индексирует нормально страницы уже в индексе, которые у Яндекса закрыты. Думал плагин All in One? Да нормально он настроен, я бы вкоде текста увидел.
    Где может быть ошибка?

    Ответить
    • Виталий Кириллов:

      Егор, наверное стоит написать в Платону в службу поддержки.

      Ответить
      • Егор:

        Обратился к Платону)))

        Ответить
      • Егор:

        Написал Платону, ответили что страницы индексируются и следующим обновлением войдут в раздачу. Думал отписка. Но после первого же апдейта влетели все разом!

        Ответить
        • Егор:

          Вот еще вопросик, правильно ли я сделал, что запретил индексацию страниы «Обратная связь» с формой обр.связи и т.п?

          Ответить
          • Виталий Кириллов:

            По желанию.

            Ответить
        • Алена:

          Тоже задала вопрос Платону. По поводу сниппетов.
          Спасибо Виталию. Объяснил подробно, как нужно сделать.
          Не обновлялись в Яндексе 2 месяца.
          Судя по отзывам, думала, что получу ответ типа: работайте над своим ресурсом.
          Ничего подобного. Решили проблему, правда не знаю как.

          Ответить
  23. Daniel111:

    Конечно статься информативная, но совершенно не понятно как и что нужно проставить, чтобы индексация сайта была правильная.

    Ответить
  24. Daniel111:

    Виталий, сколько будет стоить ваша услуга по настройке моего robots.txt ?

    Ответить
  25. maks:

    A trackback и comments в таком случаи нужно закрывать в Robots.txt ???

    Disallow: */trackback
    Disallow: */comments

    Ответить
    • Виталий Кириллов:

      По желанию.

      Ответить
  26. maks:

    А вы как закрываете comments?

    Ответить
    • Виталий Кириллов:

      Постраничную навигацию комментариев я закрываю с помощью функции:

      get_query_var('cpage')
      

      Просто надо добавить ее к общему списку. В общем должно получится так:

      function mayak_meta_robots () {
      if (get_query_var('cpage') or is_archive() or is_category() or is_feed () or is_author() or is_date() or is_day() or is_month() or is_year() or is_tag() or is_tax() or is_attachment() or is_paged() or is_search()) 
      {
      echo "".'<meta name="robots" content="noindex,nofollow" />'."\n";
      }
      }
      add_action('wp_head', 'mayak_meta_robots'); 
      
      Ответить
      • maks:

        Виталий спасибо!

        Ответить
      • Роман llgr:

        Виталий, здравствуйте.
        1. Как Вы поступаете с trackback? Подскажите как нужно рассуждать.
        2. Если я захочу добавить trackback к общему списку мне нужно прописать is_trackback() or ?
        Благодарю за ответ.

        Ответить
        • Виталий Кириллов:

          Я не закрываю trackback, так как убрал соответствующую ссылку из исходного кода. Подробней тут.

          Ответить
  27. Гагик:

    Здравствуйте, Виталий!
    Спасибо за статью!
    Сделал все, как Вы советуете.
    И пару вопросов, если можно:
    1. Теперь смело можно менять свой robots.txt на Ваш?
    2. В своем robots.txt командой Disallow: /wp- Вы запрещаете индексирование только папки с префиксом wp- или файлов наподобие wp-config.php также? Если да, то как быть с остальными файлами, такими как — xmlrpc.php, index.php, .htaccess и т.п.? Не нужно ли исключить все содержимое корневого каталога сайта, за исключением файла robots.txt и тем самым сэкономить время роботу ПС для индексации полезного контента?
    3. Стоит ли в robots.txt запрещать trackback-и, как я понял, это всего лишь ссылки на другие ресурсы, упоминаемые на своем ресурсе, и дублей страниц не создают?
    С уважением!

    Ответить
    • Виталий Кириллов:

      Здравствуйте!
      1. Если Вы все сделали, то да.
      2. Директива Disallow: /wp- запрещает индексировать как папки, в названии которых есть префикс wp так и файлы движка с данным префиксом.
      3. trackback запрещать не обязательно.

      Ответить
      • Гагик:

        Простите за назойливость.
        Так как быть с остальными файлами в корне сайта (без префикса wp-)? Закрывать их или нет?
        С уважением!

        Ответить
        • Виталий Кириллов:

          Если у Вас в коне нет левых файлов, то больше закрывать ничего не надо.

          Ответить
  28. maks:

    Добрый день! Не подскажите, а почему в коде страницы /feed
    нет мета-тега robots: ???

    И у себя смотрел, тоже нет.

    Ответить
    • Виталий Кириллов:

      Здравствуйте! У меня на блоге стоит 302 редирект со встроенного фида на ленту feedburner, поэтому там и нет мета тега.

      Ответить
      • maks:

        Я код Ваш поставил, везде есть мета-тег robots noindex,nofollow, кроме feed. В чем может быть проблема?

        Ответить
  29. Александр:

    Здравствуйте, Виталий.
    Если я правильно понял, то после всех описанных вами действий, дублирующие страницы всё равно должны индексироваться?
    Я сделал всё как вы описываете, и решил проверить с помощью яндекс вебмастера, индексируется ли к примеру, страница моего сайта http://gamehat.ru/tag/my-lands-vxod-v-igru/ Яндекс вебмастер показал, что данная страница индексируется. Подскажите, так и должно быть?

    Ответить
    • Виталий Кириллов:

      Дубли не будут индексироваться, если на странице находится мета-тег robots. Александр, для того, чтобы страница выпала из индекса, парой требуется несколько месяцев.

      Ответить
      • Александр:

        Виталий, простите мне мою непонятливость. Нам ведь в конечном итоге нужно, чтобы дубли не индексировались. А когда мы размещаем мета тег robots, индексация всё равно происходит. Может я что-то не так понимаю?

        Ответить
        • Виталий Кириллов:

          Александр, мета тег robots в зависимости от параметров запрещает или разрешает индексацию. Просто команду индексировать страницу или нет, робот получает в процессе считывания страницы.

          Ответить
  30. Александр:

    Всё понял. Спасибо!

    Ответить
  31. Евгений:

    Здравствуйте!
    У меня из-за плагинов получились полные дубли страниц, теперь каждая страница, например, site.ru/anons в индексе присутствует по адресу site.ru/en/anons. Причем физически таких страниц нет и при переходе по ссылке переадресует на страницу без «en». Как можно закрыть от индексации эти страницы?

    Ответить
    • Виталий Кириллов:

      Здравствуйте Евгений! По видимому страницы с «en» когда-то были и робот их проиндексировал. Если при наборе такого URL перебрасывает на страницу без «en», значит срабатывает 301 редирект. Возможно Вы используете плагин Platinum Seo Pack, в котором есть функция редиректа. Если страниц с «en» в природе нет и на них не ведут ссылки с вашего сайта или других ресурсов, то вскоре они сами должны выпасть их индекса.

      Ответить
      • Евгений:

        Вы правы, такие страницы были несколько дней (сгенерированы плагином, «в природе» они не добавлялись), но успели проиндексироваться.
        Platinum не использую, вместо него All in seo.
        Ссылок с внешних ресурсов вроде нет, значит будем ждать, когда сами уйдут из индекса и посещаемость вернется (почти в 2 раза упала).
        Спасибо вам за ответ. Всего доброго!

        Ответить
  32. Ксенья Юрьевна:

    Здравствуйте Виталий! Выручите пожалуйста, дело в том, что один ваш комментатор уже подсказал мне метатег роботс. Я посмотрела материалы о нем в гугле и яндексе и просто вставила его между парными тегами head в заголовке. Файл роботс вначале оставила , как есть, но ничего не происходило, тогда я открыла его, как у вас здесь /срисовала у знакомого/. Знакомый сказал, что файл нужно вписать в функцию, но не сказал как и я совсем ничего не вписала.Только сейчас у вас об этом прочла.
    Теперь о моих результатах: в вебмастере появились фиды в виде ошибок 404 — много, там же есть теги. Количество статей в индексе уменьшилось с 600 до 200 единственный положительный факт. Индексируется только мусор, а нормальные статьи закрыты. Сайта у меня два, на обоих то же самое. Плагин у меня Platinum Seo, в нем те же дела : noindex, follov кстати в этом месте я не поняла как устранить противоречие.
    Еще вопрос код функции <?php здесь не закрыт и если я здесь сделаю вашу вставку, не исчезнет ли у меня сайт. Как-то раз я уже сюда что-то вставляла и сайт исчез мгновенно. Очень надеюсь на ваш ответ.

    Ответить
    • Виталий Кириллов:

      Здравствуйте! Страх плохой советчик и если у Вас не хватает знаний, то с сайтом может быть что угодно, php очень строгий язык и не терпит ошибок.
      Код надо вставить после знака

      Ответить
  33. Ксенья Юрьевна:

    Далее, с помощью хука wp_head цепляем наше подготовленное действие к функции wp_head(), которая выведет мета-тег robots в шапку страницы, между html тегами . Виталий я не поняла этого выражения. Что делать-то надо?

    Ответить
    • Виталий Кириллов:

      Это объяснение работы функции и делать ничего не надо, так как все вышеописанное выполняет код.

      Ответить
  34. Евгений:

    Добрый день, Виталий. Попробовал ваши рекомендации, но ничего не получается. Все делал через Notepad++, функцию вставлял как положено, но сайт вылетает – хорошо выручает возврат изменений. Не поlскажите, где подробнее можно познакомиться с PHP? Очень хочется сделать сайт нормальным.С уважением, Евгений.

    Ответить
    • Виталий Кириллов:

      Здравствуйте Евгений! Желание познакомится с php похвально, но бесплатных курсов по php я еще не встречал. Есть такой сайт — myrusakov.ru/php-osnovy.html посмотрите.

      Ответить
  35. Вера:

    Здравствуйте Виталий! Воспользовалась Вашим кодом, но я бы хотела, чтобы рубрики(они же категории) индексировались. Для этого я убрала из кода вот эту строчку or is_category(), но почему то на странице категории мета-тег robots всё равно присутствует. Правильно ли я сделала, или надо по другому категории открывать?

    Ответить
    • Виталий Кириллов:

      Здравствуйте Вера! Уберите еще iфункцию s_archive(), так как категории тоже относятся к архивам.

      Ответить
      • Вера:

        Архивы тогда тоже будут индексироваться, правильно я понимаю? И если да, то как архивы закрывать?

        Ответить
        • Виталий Кириллов:

          Из архивов будут открыты только категории, архивы по датам и т.п. будут закрыты (is_date(), is_day(), is_month(), is_year()).

          Ответить
          • Вера:

            Спасибо Вам Виталий за помощь! Ваш блог настоящая палочка выручалочка. Удачи Вам!

            Ответить
  36. Евгений:

    Здравствуйте, Виталий. Спасибо за совет немного познакомился с PHP. Вставил мета-тег роботс, сайт работает, однако в коде страниц я его не нашел. Скажите,что это может быть. Вставлял сразу после знака <?php, сделал все правильно, до этого подобным образом вставлял функцию rel-canonical и расширял функционал редактора вордпресс – там все получилось.

    Ответить
    • Виталий Кириллов:

      Евгений, а вы на каких страницах его ищите?

      Ответить
  37. Евгений:

    На главной и в статьях.

    Ответить
    • Виталий Кириллов:

      Евгений, так зачем их запрещать индексировать поисковым роботам? Тогда у Вас вообще страниц в поиске не останется. Вы ищите мета тег robots на тех страницах, которые не должны попасть в поиск.

      Ответить
  38. Евгений:

    Понял, извините за тупость, но постараюсь исправиться.С Новым Годом!!!

    Ответить
  39. Евгений:

    Виталий, извините. Последний вопрос в этом году: выше показан ваш robots.txt. У меня он состоит из двух частей – для Гугла и для Яндекса. У вас это весь файл или только для Гугла?

    Ответить
    • Виталий Кириллов:

      Символ «*» работает для любого поисково робота. Если Вы установили функцию mayak_meta_robots (), то можете составить файл robots.txt как у меня.

      Ответить
  40. Евгений:

    Спасибо, Виталий. Сейчас файл робота изменю и буду отслеживать изменения. Успехов вам.

    Ответить
  41. Ксенья Юрьевна:

    Здравствуйте, Виталий! При вставке кода в функцию, сайт перестал падать. Причина была в переносе из блокнота, где не была настроена кодировка UTF-8/без BOM/. На этом мои достижения заканчиваются, код их функции не отображается в хедере. Я такой программист, что сама причины не найду. Может быть подскажете?

    Ответить
    • Виталий Кириллов:

      Здравствуйте Ксения Юрьевна! Как я могу Вам подсказать, если я даже не знаю где и что Вы намудрили.

      Ответить
      • Ксенья Юрьевна:

        Виталий! Как будто бы не намудрила, просто вставила ваш код, после первой строки в файле функция. Но сейчас сделала это не на сайте,в Интернете, а только в Опен сервере. Плагин у меня Platinum seo pack, в нем убрала все запреты, получилось только follow. Не знаю правилен ли именно этот момент? Второй вопрос нужен ли метатег в файле heder.
        Похожую статью написал еще Алаич, он предлагает, кроме кода в функции, написать еще и в хедере метатег, как вызывающий файл. Этот момент мне тоже не понятен. У вас поняла, что достаточно написать код в функцию.
        Пока что вернула на сайт обычный роботс, только гугл на хостинг пока не заходил.

        Ответить
        • Виталий Кириллов:

          Ксенья Юрьевна, мета тег robots в Header не нужен.

          Ответить
  42. Ирина:

    Спасибо, вам, Виталий, за такой эффективный способ борьбы с дублями. А я понаставила редиректов, но прочитав ваши статьи, поняла, что редиректы грузят блог, и не предотвращают от появления соплей. Так что завтра буду разбираться с кодами. Взяла ваш блог в закладки, очень много полезной информации!

    Ответить
  43. Екатерина:

    Здравствуйте Виталий! Сайт у меня совсем молодой и только начал индексироваться. Сразу возникли проблемы. Как их решить из-за отсутствия опыта в этих вопросах,пока не знаю.
    Первые результаты индексации меня не настораживали.
    По совету многих блогеров поставила «галочки» в настойках индексирования SEO Pac. В результатах следующей индексации появились страницы, содержащие мета-тег noindex, хотя в robots.txt их не прописывала.
    Как поняла закрылись целые страницы для индексирования?
    /2014/12
    /2015/01
    /2015/01/01
    /category/интересные-факты-из-истории-парфюмер и т.д.

    Мой robots
    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback

    User-agent: Yandex
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Host:
    Sitemap: http:///sitemap.xml

    User-agent: Googlebot-Image
    Allow: /wp-content/uploads/

    User-agent: YandexImages
    Allow: /wp-content/uploads/

    Буду признательна, если подскажите в чем проблема и как ее устранить.

    Ответить
    • Виталий Кириллов:

      Здравствуйте Екатерина! Вот вы пишите комментарий к статье, а саму статью то Вы читали? Ведь я в ней подробно описал правильную настройку индексации сайта, с помощью мета тега robots. Следуйте инструкциям изложенным в статье и все и Вас будет нормально.

      Ответить
  44. Екатерина:

    Виталий, статью, конечно прочитала. Поняла, что мой robots можно оставить в таком виде как есть, а просто в файл functions.php вставить указанную вами функцию, и убрать «галочки» из настроек SEO. И, пожалуйста, не судите строго комментарии, так как пока большими знаниями в области технических вопросов блога похвастать не могу. Поэтому и обращаюсь к Вам, как к опытному программисту и блогеру.

    Ответить
    • Виталий Кириллов:

      Екатерина, просто скопируйте директивы, которые я привел в статье и вставьте в свой robots.txt вместо того, что там есть. Вставьте функцию в файл functions.php, что находится в папке с темой и снимите галочку в плагине.

      Ответить
  45. Екатерина:

    Виталий, спасибо большое за пояснение. Значит, мой robots.txt следует заменить на:
    User-agent: *
    Allow: /wp-content/uploads
    Disallow: /wp-
    Host: seo-mayak.com
    Sitemap: http:/

    И остальное как выше уже было сказано.

    Ответить
    • Виталий Кириллов:

      Да, только URL свои поставьте.

      Ответить
  46. Екатерина:

    Да, это я понимаю ) Спасибо Вам большое. Сейчас все изменю и буду ждать результатов следующей индексации.

    Ответить
  47. Сергей:

    Здравствуйте, закинул ваш скрипт в свой блог, всё работает, проверял потом исходный код (с помощью нажать CTRL+U) мета тег появился, теперь я и роботс тхт могу скопировать ваш?

    Ответить
    • Виталий Кириллов:

      Здравствуйте Сергей!
      Если мета тег появился в исходном коде, значит можно открывать доступ в robots.txt.

      Ответить
  48. Алла:

    Здравствуйте. Все расписано очень подробно, спасибо. Скажите, пожалуйста, почему когда я добавляю в functions.php после тега <?php код, который Вы дали, у меня кроме бэкграунда пустая страница только?

    Ответить
  49. Алла:

    В общем вставила код напрямую (раньше через блокнот). При просмотре кода страницы — нет <META name="ROBOTS" CONTENT="noindex, nofollow"/>
    Должно быть или нет? Извините за глупые вопросы, я еще не «очень» в этом. Спасибо.

    Ответить
    • Виталий Кириллов:

      В исходном коде мета тег должен появится только на тех страницах, которые не должны индексироваться. На страницах с записями его и не должно быть. Проверьте страницы с категориями, если в исходном коде нет мета-тега robots? то значит что-то не правильно.

      Ответить
  50. Алла:

    Спасибо за ответ. Еще вопрос, можно в robots.txt вот так написать:

    User-agent: *
    Allow: /wp-content/uploads
    Disallow: /wp-
    Disallow: /trackback
    Disallow: */comments
    Disallow: */trackback
    Disallow: */*/trackback
    Allow: *?replytocom

    User-agent: Yandex
    Allow: /wp-content/uploads
    Disallow: /wp-
    Disallow: /trackback
    Disallow: */comments
    Disallow: */trackback
    Disallow: */*/trackback
    Allow: *?replytocom
    Host: site.ru

    Sitemap: http://site.ru/sitemap.xml.gz
    Sitemap: http://site.ru/sitemap.xml

    site.ru конечно заменяю своим

    Ответить
  51. Алла:

    Спасибо, Виталий. Проверила страницу рубрик, появился мета тег. Скажите, главное, чтобы он был в хедере? У меня он в самом низу хедера, а вверху чего только нет)))). Это нормально? Спасибо.

    Ответить
    • Виталий Кириллов:

      Алла, мета-тег должен располагаться между тегами <head></head>. А вот что у Вас много всего в хедере — это плохо!

      Ответить
  52. Екатерина:

    Виталий, здравствуйте! Вы уж извините за беспокойство, но при нажатии CTRL+U поняла, что мой мета тег оказался внизу. Получается я что-то не так сделала. Вроде бы все делала по Вашей инструкции. Единственный момент, который не поняла из статьи: «Далее, с помощью хука wp_head цепляем наше подготовленное действие к функции wp_head(), которая выведет мета-тег robots в шапку страницы, между html тегами .» Может в этом причина и я не вывела мета тег в начало страницы. Если можно, поясните как надо с помощью хука wp_head цеплять наше подготовленное действие к функции wp_head()

    Ответить
    • Виталий Кириллов:

      Здравствуйте Екатерина! Вы все правильно сделали мета тег у вас встал правильно, между тегами head. Просто у Вас в шапке сайта много всего. Про функцию и хук wp_head читайте тут.

      Ответить
  53. Екатерина:

    Да, уже прочитала и сделала. Спасибо большое за помощь!

    Ответить
  54. Екатерина:

    Здравствуйте, Виталий! Подскажите, пожалуйста, в чем может быть причина следующей ситуации. Все опубликованные статьи моего блога, начиная с 20.12.2014, при проверке их URL на Вебмастере Яндексса получаю ответ: Адрес страницы уже известен роботу, но в данный момент контент страницы ещё не проиндексирован. Такой результат получаю на протяжении всего времени, хотя робот посещает блог регулярно. Получается робот посещает сайт, но не индексирует страницы и не выводит их в поисковую систему? Я при этом периодически делаю анонс статей на сайте subscribe.ru. Значит ли, что теперь мои статьи на блоге будут считаться не уникальными для робота?
    В общем, столько у меня вопросов. Если можете, подскажите в чем может быть проблема.

    Ответить
    • Виталий Кириллов:

      Екатерина, Ваш сайт еще очень молод. Я бы советовал Вам сосредоточиться на наполнении сайта, его обустройстве и других чисто созидательных работах. О продвижении надо думать не ранее, чем через 3 месяца, а то и пол года.
      Робот плохо индексирует молодые сайты и это должно быть всем раз и навсегда понятно!

      Ответить
    • Александр Силиванов:

      В алгоритмах Яндекса нечто поменялось. Индексация статей происходит медленно, причем не только на молодых сайтах. У меня тоже висит уже три не проиндексированных Яндексом статьи — причем первая из них опубликована 12.01. Не месяц с лишним, но… и происходит сие уже несколько месяцев.Ответ при проверке ЮРЛ в Вебмастере аналогичен.

      Раньше Яндекс мои статьи индексировал за пару часов, Гугл задерживался. Нынче происходит почти наоборот. Я даже плагин ставил от Яндекса, позволяющий пинговать новые статьи. Только результат остался таким же. А плагин вскоре глючить стал, и я его выбросил.

      Притом статьи, проиндексированные с задержкой, занимают в поиске порой очень неплохие позиции. Зависит это и от частотности запроса, и от релевантности статьи этому запросу. А сам блог получил вновь ТИЦ 10 (был, потом «потерялся», теперь вновь «нашелся»)

      Так что, Екатерина, пишите качественные статьи. И все придет!

      Ответить
      • Виталий Кириллов:

        Алгоритмы конечно меняются, но испытательный срок для молодых сайтов «песочницу» еще никто не отменял.

        Ответить
  55. Алла:

    Виталий, можно спросить? Не знаю, в тему или нет, но первая мысль была обратиться к Вам. Вот страница предпросмотра записи (например, мой сайт/?p=3417&preview=true) попала в гугл. Не пойму как, но вот в ее коде нет мета тега robots. Такое можно как-то исправить? И главное, она открывается….а гугл пишет, что страница не найдена…Не пойми что!!! Спасибо.

    Ответить
    • Виталий Кириллов:

      Алла, по всей логике поисковый робот не может знать пароль от Вашей админки и следовательно он не может индексировать черновики. Но! Если ссылка на черновик появится на любом другом ресурсе или это будет внутренняя ссылка на Вашем же сайте, то робот 100% проиндексирует данную страницу.
      Мета тег в черновик можно добавить следующим образом:

      function mayak_preview() {
      	echo "<meta name='robots' content='noindex,nofollow' />\n";
      }
      if ( isset( $_GET['preview'] ) )
          add_action( 'wp_head', 'mayak_preview' );
      
      Ответить
  56. Алла:

    Здравствуйте, Виталий. Я уже писала, что все сделала по Вашей статье (все вроде хорошо, количество страниц в гугл уменьшаются). У меня вопрос про feed. Если открыть страницу example.com/statja/feed/ и посмотреть код, то в нем нет мета тега. Он должен быть или нет? Спасибо.

    Ответить
  57. Ксенья Юрьевна:

    Здравствуйте, Виталий! Установила метатег robots по вашему совету уже месяца 3 назад. Сейчас у меня исчезли все архивы. Но не просто исчезли, показываются как ошибки 500. Страницы с архивом открываются, но они совершенно пусты. Так должно быть или что-то неправильно?

    Ответить
    • Виталий Кириллов:

      Если вы установили функцию 3 месяца назад, а архивы исчезли только сейчас, то функция тут не причем!

      Ответить
      • Ксенья Юрьевна:

        Виталий, архивы исчезали постепенно, я просто не пойму хорошо это или плохо. Меня смущает, что открываются пустые страницы архивов.

        Ответить
        • Виталий Кириллов:

          Ведь у меня и не только, архивы остались на месте, уверен причина в другом. Проанализируйте свои действия за последние три месяца, что вы еще меняли. По хорошему надо обязательно делать резервные копии файлов, а также базы данных, чтобы можно было при возникновении непредвиденных обстоятельств все поправить.

          Ответить
  58. Рита:

    Виталий, привет! У меня стоит плагин Platinum SEO Pack и еще есть плагин meta-robots, как я понимаю у меня должно быть все проставлено. Однако дубли появляются. Правда их не много но все же. Чего не хватает…. Хотелось бы понять. Уже столько прибамбасов наставила.

    Ответить
    • Виталий Кириллов:

      Здравствуйте Рита! От количества «прибомбасов» не зависит правильная настройка индексации. В статье я постарался все понятно расписать, относительно мета-тега robots. Если есть вопросы, спрашивайте конкретно, что Вам непонятно.

      Ответить
  59. Игорь:

    Здравствуйте, Виталий!После выполнения ваших рекомендаций за 3 месяца количество дублей значительно уменьшилось, спасибо. Но вебмастер гугла показывает постоянный рост attachment_id, wptouch_switch, redirect. Что это за звери, можно ли с этим бороться?

    Ответить
    • Виталий Кириллов:

      Здравствуйте Игорь!
      Бороться можно, сокращая количество плагинов.

      Ответить
  60. Виктория:

    Здравствуйте, Виталий. Очень надеюсь на Ваш ответ.
    На сайте совсем недавно обновился плагин ворд пресс и его форма содержит настройку индексирования — плагин Platinum SEO Pack.
    За февраль — апрель сайт «падал» уже дважды, причем тотально. Пытаюсь сама разобраться, но у меня, видимо, все-таки пока не хватает знаний. Сейчас все выглядит так:

    Использовать noindex для рубрик:да

    Noindex для архивов за день: да

    Noindex для архивов авторов:да

    Noindex для архивов меток:

    Use noindex for the Search page:

    Use noindex for the 404 page:

    Use noindex for paginated pages/posts:

    Use nofollow for paginated pages/posts:

    Exclude site from the Open Directory Project:

    Exclude site from Yahoo! Directory:

    Но что мне закрывать еще, я не могу разобраться. Меток к статьям я прописываю много — по теме. Фид, о котором вы писали я здесь не нашла.

    Ответить
    • Виталий Кириллов:

      Здравствуйте Виктория!
      У вас тотальная ошибка в плагине All in One SEO Pack, я таких раньше не видел. Текст статьи находится в области head, а точнее в содержимом мета-тега keywords. Так быть не должно! Беглый анализ показал наличие крупных ошибок на сайте, которые его похоронят, если срочно не предпринять меры. Подумайте и напишите мне через форму обратной связи!

      Ответить
      • Виктория:

        Скажите, что делать? Вы сможете помочь?

        Ответить
  61. Алексей:

    Здравствуйте! Подскажите пожалуйста Допустим я хочу закрыть от индексации только одну рубрику то можно прописать is_category(‘9’); где 9 id рубрики. А как быть если нужно закрыть определённые страницы сайта Такие как: Карта сайта, страница обратной связи?

    Ответить
    • Виталий Кириллов:

      Да алексей is_category(id) прописать можно, только цифры прописывайте без кавычек. Если надо выделить несколько категорий, то id на прописать через запятую: is_category(id,id,id). Запретить индексацию страниц можно средствами All in One SEO Pack, в интерфейсе плагина внизу самой страницы.

      Ответить
      • Алексей:

        А можно ли как нибудь закрыть страницы без плагина?

        Ответить
        • Алексей:

          Нашёл два решения
          is_page_template (‘contacts.php’) //срабатывает когда для создания страницы используется файл шаблона
          is_page (array(131, 133)) // для определения статических страниц где числа ид поста

          Ответить
          • Алексей:

            подскажите нужно ли закрывать страницу ошибки 404 ?
            для неё тоже есть условный тег is_404 ()

            Ответить
            • Виталий Кириллов:

              Я не закрывал, но думаю смысл есть.

              Ответить
  62. Слава:

    У меня роботс через плагин All in One Seo Pack. не судите строго я все уже перебрал как мне зделать чтобы индексировалось главная,и рубрики.как у всех новостных сайтов.Ваш мета тег подойдет.Или что то посоветуете

    Ответить
    • Виталий Кириллов:

      Мета тег robots — лучшее «оружие» веб-мастеров на данное время. С помощью мета тега можно тонко настроить индексацию сайта. В умелых руках он просто незаменим.

      Ответить
  63. Слава:

    Извините Виталий что по имени вас неназвал, запарился.

    Ответить
  64. Алексей:

    Здравствуйте Виталий! в вашем примере вы закрываете nofollow А каких именно ссылка идет речь? Внутренних и внешних? А не будет ли более правильным если роботу разрешить следовать по внутренним ссылкам чтобы он индексировал их? а внешние запретить к индексации каким либо другим способом.

    Ответить
    • Виталий Кириллов:

      Атрибутом nofollow помечаются только внешние ссылки, внутренние им закрывать смыла нет. Другое дело, когда идет речь о мета теге robots, с атрибутом nofollow, но им закрывают страницы, а не ссылки.

      Ответить
      • Алексей:

        У вас выше написано
        (Привожу список всех параметров мета-тега robots:
        index — индексировать текст страницы.
        noindex — не индексировать текст страницы
        follow — следовать по ссылкам и индексировать их.
        nofollow — не следовать по ссылкам и не индексировать их)
        чего то я совсем запутался!

        Ответить
        • Виталий Кириллов:

          Алексей, вот у Вас имеется страница, которую надо закрыть от индексации. Вы выводите в область head мета-тег robots с параметрами noindex, nofollow. Тем самым вы запрещаете роботу индексировать текст страницы и все ссылки находящиеся на ней. Если мета-тег будет содержать параметры noindex, follow, то робот не будет индексировать текс страницы но будет следовать по всем ссылкам (неважно, внутренние это ссылки или внешние) и индексировать их. Отдельно к какой-либо ссылке мета-тег не ставиться. Теперь понятно?

          Ответить
          • Алексей:

            Именно так я это и представлял прочитав вашу статью Вот у меня и появился вопрос Так ли нужно закрывать все внутренние ссылки nofollow А не будет ли более правильным если роботу разрешить следовать по внутренним ссылкам чтобы он индексировал их?
            Я так понимаю если страницу категории (категорию не продвигаю) поставить noindex, follow то категория не будет индексироваться а внутренние ссылки ведущие на статьи проиндексируются Какая от этого будет польза? Будут ли при этом индексироваться лучше статьи?

            Ответить
            • Виталий Кириллов:

              Если Вы про индексацию, то все статьи должны быть представлены в xml карте сайта и именно там в первую очередь поисковый робот с ними познакомится. Если Вы не продвигаете категории, тогда зачем Вам пропускать через них статический вес, ведь ссылки на категории — это сквозные ссылки.

              Ответить
  65. Max:

    Добрый день. Посмотрел у вас в суплементал такие страницы как:
    seo-mayak.com/wp-content/themes
    seo-mayak.com/wp-content/plugins

    Как они туда попадают, чтото не понятно?

    Ответить
    • Виталий Кириллов:

      Мах, если Вы имеете в виду такую страницу seo-mayak.com/wp-content/themes/cooking/ajax-koll.php, то все просто. Это части сайта, которые скрыты с помощью Ajax/ Подробней тут. а в соплях файл потому, что путь до него закрыть в файле robots.txt, для надежности чтобы Гугл не читал Ajax. А вот с плагинами надо разобраться? что-то ссылка какая-то непонятная.

      Ответить
  66. Виталик:

    Виталий, спасибо за дотошную статью, все предельно понятно. Но у меня имеется один нюанс и хотелось бы услышать Ваше мнение.
    Я использую на своем блоге плагин Платинум СЕО Пак. Так вот, если убрать абсолютно все галочки запрещающие индексацию, то в коде страницы по умолчанию прописывается значение . То есть, это уже никак не убрать.

    Если же выставить в плагине заново все галки запрета, то тогда в теле страницы пишется . Об этих параметрах Вы писали в статье.

    Теперь я сделал все по Вашей инструкции и уже в коде страницы имеется два мета-тега. Первый сверху встречается тег плагина со значением . А ниже по коду идет наша настройка со значениями .

    Так вот вопрос, влияет ли очередность расположения мета-тегов в теле страницы на выполнение их поисковой машиной? Либо же все равно, в любом случае за основу будет браться первый тег с разрешающим значением «follow». Выскажите свои мысли, пожалуйста.

    Ответить
    • Виталий Кириллов:

      Здравствуйте Виталик. Действительно в плагине Платинум СЕО Пак если убрать запрещающие галочки, то будет выводится мета-тег robots с разрешающими параметрами index, follow. Если поисковый робот встретит на странице два мета-тега robots с противоречащими параметрами, то будет сделан выбор в пользу разрешающих директив. В плагине All in One SEO Pack такой проблемы нет.

      Ответить
      • Виталик:

        Хм, получается, что с этим плагином от «соплей» никак не избавиться. Ведь текст паук не будет индексировать, а вот ссылки на заблокированных страницах да.

        Ответить
  67. Алексей:

    is_category() вывожу для данной функции метатеги noindex, nofollow но почему то страницы сайт.ru/category/посты статей/ не выводятся метатеги noindex, nofollow

    Ответить
  68. Юрий:

    Здравствуйте, Виталий! У меня такая проблема. На моём сайте всего 607 страниц, а когда я зашёл в Яндекс вебмастер и посмотрел статистику, то там почему-то было написано, что загружено роботом 1219 когда страниц в поиске всего 607. Подскажите пожалуйста в чём проблема и как её можно решить. Спасибо.

    Ответить
    • Виталий Кириллов:

      Юрий, посмотрите какие страницы загружены, ведь робот Яндекса загружает даже те страницы, которые закрыты к индексации. Неизвестно зачем он их загружает, но что есть то есть. Посмотрите сколько у Вас исключенных страниц. Возможно есть неканонические урлы и урлы с ошибкой 404, от которых можно избавиться.

      Ответить
  69. Саня:

    Мое очередное спасибо(за сегодня это уже третье) за полезную информацию!
    Скажите Виталий,
    1)стоит ли на сайте-статейнике закрывать индексацию is_category() или достаточно закрыть is_paged() ?
    2)не вызовит ли трудности у поиковиков индексация при закрытом is_paged(), может для закрытия пагинации использовать meta name=»robots» content=»noindex,follow» вместо
    meta name=»robots» content=»noindex,nofollow» ?
    Благодарю.

    Ответить
    • Виталий Кириллов:

      Закрывать категории или нет, каждый веб-мастер должен сам для себя решить, проанализировав трафик, на предмет точек входа. Если Вы не хотите закрывать категории, тогда из функции надо убрать is_category() и is_archive(), так как категории относятся к архивам.
      Что касается параметров мета тега robots. Я думаю нет смысла разрешать роботы следовать по ссылкам на страницах пагинации. Почитайте про статический вес.

      Ответить
  70. Саня:

    Понимаю что не по теме немного, но просто ну очень важно узнать ваше мнение, и если можно помогите. Я по поводу ключевых слов, а именно тех ключевиков, которые мне показал google Search Console. Так вот, пункт Ключевые слова в содержании кроме нужных ключевиков, то есть по теме сайта, выдал кучу вообще «левых». Мало того, эти «левые» слова стоят первые по важности! Вот к примеру:

    2. записи (формы слова: 2)
    4. комментарий (формы слова: 2)
    5. cite
    6. title
    8. кэп (это имя автора, то есть меня)
    9. авторе (формы слова: 2)

    Я ничего не понимаю… Стоит All in One SEO Pack настроен по вашей рекомендации (то есть в соответствии с рекомендациями вашей статьи по этому плагину). С какого индекс Googl берет эти «левые» ключевики и как мне их убрать то индекса. Или пусть стоят? К примеру на сайте сделаном гугловским блоггер «левых» ключевиков вообще нет. Почему на WP такая ерунда получается? Сразу говорю, в языках кода я не силен. Заранее спасибо за ответ.

    Ответить
    • Виталий Кириллов:

      Пока не берите в голову, просто развивайте сайт и наполняйте его контентом.

      Ответить
  71. Сергей:

    Здравствуйте. Вроде ничего не получилось. Сделал как написано здесь и в статье про ВП-Хед. Смотрю, а на всех страницах, категориях и датах на календаре (Ctrl+U) везде написано: meta name=»robots» content=»index,follow». У меня не работает? И как сделать, чтобы были открыты только Главная и записи, а остальные страницы (контакты) закрыты? Вручную не прописать? Спасибо.

    Ответить
    • Виталий Кириллов:

      Здравствуйте Сергей, функция работает, просто теперь у Вас выводится два мета-тега robots. Второй выводится плагином Meta Tags.

      Ответить
      • Сергей:

        Где этот плагин, как его отключить?

        Ответить
        • Сергей:

          Нашел. Он не в функшн, а в хедере. Кстати, а можно его всего потереть? Спасибо.

          Ответить
          • Виталий Кириллов:

            Нужно!

            Ответить
  72. Саня:

    А у меня такая финтя — Host: мой сайт ру, так вот Яндекс при проверке robots.txt ругается на эту директиву. Причем на host ругается только на cms WP. На других CMS все нормально. Это я к тому, может у кого тоже подобное было.

    Ответить
  73. Артем Михайлов:

    Добрый вечер, Виталий! Использую Yoast SEO plugin. В настройках везде убрал галочки с meta name=»robots» content=»index,follow». Добавил Ваш код в functions.php и ничего не сработало:(( Проверял на страницах пагинации и на странице результатов поиска. Вместо нужного везде . Может с Yoast SEO Plugin какие-то нюансы есть? Спасибо.

    Ответить
    • Виталий Кириллов:

      Здравствуйте Артем! Я не пользовался Yoast SEO Plugin, но по-моему в нем мета-тег robots с параметрами index,follow выводится по умолчанию и убрать их нельзя. Скорее всего после внедрения моей функции у Вас выводится 2 мета-тега, просто второй Вы не увидели.

      Ответить
  74. Виталий:

    Виталий, здравствуйте!
    Немного не понял эту функцию, function mayak_meta_robots () {, а именно слово mayak.
    Как я понимаю, это название Вашего сайта или нет?
    А мне какое слово писать для своего сайта?

    Прошу разъяснить, спасибо!

    Ответить
    • Виталий Кириллов:

      Здравствуйте Виталий! Ничего в функции менять не надо, mayak — это моя метка, как разработчика.

      Ответить
  75. Виталий:

    Спасибо Виталий, что помогаете разобраться в таком непростом деле молодым блоггерам!

    На своем сайте я вывожу к индесации статьи, статические страницы и категории. Из Ваших пояснений и комментов я понял, что мне в фукцию надо вставить:

    if (is_feed () or is_author() or is_date() or is_day() or is_month() or is_year() or is_tag() or is_tax() or is_attachment() or is_paged() or is_search())

    А статические страницы будут выводиться при такой конфигурации фукции? Они мне нужны, спасибо.

    Читаю Ваши статьи запоем и не только читаю, но и стараюсь воплотить их в жизнь, поэтому извините за бесконечные вопросы!

    Ответить
    • Виталий Кириллов:

      Да Виталий, при такой конфигурации статические страницы будут индексироваться. Я рад, что мои статьи Вам полезны!

      Ответить
  76. Галина:

    Здравствуйте,Виталий!!! не буду рассказывать всю историю,это долго( у меня на сайте была многомесячная война с вредоносным кодом и 7 тыс страниц чужого контента).Ваш код наиболее правильный.В отличии от других «предложений»,кот.я пробовала(в результате -из индекса выпал весь контента сайта,не только чужой,но и мой),в вашем коде мне понравился хук wp_head.Должно сработать.Сейчас проверила,все встало очень корректно.Спасибо.

    Ответить
  77. Артем:

    Приветствую, Виталий. Почему случается так, что рубрика индексируется, не смотря на то, что мета тегом robots запрещена индексация (noindex, nofolllow)(использовал вашу функцию), в роботе разрешена, как вы и писали это сделать и так же в All in Seo Pack галочки не стоят. Гугл тем не менее проигнорировал, теперь дубль появился из за этого, так как на главной тоже самое. Помогите разобраться.

    Ответить
    • Виталий Кириллов:

      Здравствуйте Артем! наверное Гугл проидексировал категорию раньше, чем вы внедрили мета-тег robots, а на переиндексацию требуется время. Вы можете вручную удалить рубрику из индекса, через интерфейс вебмастера Гугл.

      Ответить
      • Артем:

        Буду надеется, что так. Посмотрю как поведет себя Гугл при следующем внедрении новой рубрики. Если не обратит внимания на noindex, nofollow, то слезно буду просить прокомментировать данную ситуацию. Спасибо.

        Ответить
  78. Виктор:

    Добрый день! Наткнулся на ваш блог — очень интересно, завис. Спасибо в общем.
    По теме вопрос: как правильнее закрыть админ-панель сайта на вордпрессе? в роботсе ведь ее не укажешь

    Ответить
    • Виталий Кириллов:

      А зачем ее закрывать, роботы не могут зайти как админ, ведь пароль им не известен и следовательно не смогут проиндексировать данные страницы.

      Ответить
  79. Юрий:

    Здравствуйте! После того, как вставил Вашу функцию в файл functions.php и сохранил, сайт перестал работать.
    Пришлось идти на хостинг и восстанавливать сайт. Что могло случиться?

    Ответить
    • Виталий Кириллов:

      Здравствуйте Юрий! php не терпит ошибок, возможно вы не корректно вставили функцию или скопировали не полностью.

      Ответить
      • Юрий:

        После тега <?php поставил enter(перенес на новую строку), потом поставил ваш код и сохранил.

        Ответить
        • Виталий Кириллов:

          Тогда это видимо особенности Вашей темы, трудно точно сказать. Функция исправно работает на многих сайтах.

          Ответить
  80. Леонид:

    Обалдеть инфы сколько. Доходчиво! Применю при случае…

    Ответить
  81. Алексей:

    Cпасибо Виталий!Ваши темы всегда рабочие,учусь у Вас!

    Ответить
  82. Марина:

    Здравствуйте Виталий! Прописала в robots вот так Disallow: /wp-; однако гуглу поисковику по фиг все равно сопли кидает skrinshoter.ru/s/200816/E99rpt?a
    Может поконкретнее все таки ему расписать Disallow: /wp-admin
    Disallow: /wp-content/plugins. Или ему все равно?)

    Ответить
    • Виталий Кириллов:

      Здравствуйте Марина!
      Гугл кидает в сопли те урлы, на которые ведут внутренние ссылки, вот эти ссылки и надо искать.
      CSS и JS файлы, ссылки на которые есть в исходном коде надо открывать, но точечно, с помощью директивы Allow: /

      Ответить
      • Марина:

        спасибо за ответ!но не только эти CSS и JS файлы индексирует,несмотря на закрытость но и другие,например /wp-content/plugins/auto-highslide или dizainnogteiy.ru/wp-includes/js/tinymce или /wp-admin/admin-ajax.php и это несмотря на то,что все закрыто! как с этим бороться непонятно)

        Ответить
        • Виталий Кириллов:

          Марина, Гугл индексирует то, что даже вооруженным взглядом не видно. Откройте, то, что он просит, но точечно.

          Ответить
  83. Александр Силиванов:

    Добрый день, Виталий!

    Яндекс проиндексировал кучу ссылок вида site/category/post.html?_utl_t=vk
    Это ссылки в соцсети, при помощи плагина UpToLike Social Share Buttons (в данном случае ссылка на статью, размещенная Вконтакте, а есть и Твиттер, и так далее).

    При этом атрибут rel=»canonical» настроен правильно, ссылка в коде указывает на каноническую страницу. Но Яша играет по своим правилам! И непохоже, чтобы неканонические страницы из индекса удалялись. Что тут можно предпринять, как считаете?

    Ответить
    • Виталий Кириллов:

      Здравствуйте Александр!
      Атрибут каноникал носит рекомендательный характер и есть вероятность что Яндекс может его проигнорировать.
      Скажите после .html гет запрос _utl_t идет во всех ссылках на соц сети или на каждую сеть разный гет запрос?

      Ответить
      • Александр Силиванов:

        Добрый день! Отличается лишь окончание ссылки. Вот так заканчивается ссылка в Твиттер =tw
        А так, вероятно, в Одноклассниках =ok

        Ответить
        • Виталий Кириллов:

          Александр, лучше избавиться от этого плагина, раз он такие ссылки генерирует.

          Ответить
  84. Александр Силиванов:

    Тоже так думаю. Замену подыскиваю. Много уж перепробовано способов установки кнопок соцсетей — и плагинами, и кодом. Здесь большой плюс, на мой взгляд — удобное расположение кнопок для пользователей с мобильных.

    Ответить
  85. Елена:

    Здравствуйте, Виталий!
    Начала читать статью и теперь просто в ужасе!
    Ничего ведь не поняла!
    Кроме того что мой сайт вообще не настроен к индексации.
    Помогите советом, у меня файл роботс такой (пишу кириллицей):

    юзер-агент: *
    Дисаллоу: /ос-админ/

    А далее уже под формой ещё написано
    Важно:
    Запретите индексацию папки (ос-админ):
    хттп://сайт.ру/ос-админ
    Так же запретите индексацию папок:
    хттп://сайт.ру/юзер/логин
    хттп://сайт.ру/юзер/регистер
    хттп://сайт.ру/юзер/рековер

    Мне нужно так же столбиком их все поставить под юзер-агент?
    Или в каждую строку писать Дисаллоу, по образцу первой строки?
    Простите чайника, просто уже не соображу что делать…
    Очень надеюсь на Ваш скорый ответ!

    Ответить
    • Виталий Кириллов:

      Здравствуйте Елена!
      Вы лучше не кириллицей напишите, а вставьте код с robots.txt прямо в комментарий, а то так ничего непонятно.

      Ответить
  86. Денис:

    Добрый день!
    Давно уже использую ваш код (функцию) для закрытия дублей страниц. И все было хорошо до сегодняшнего дня, сегодня в Яндекс заметил что появились в индексации ссылки на теги, рубрики и т.д. Функция перестала работать? Как это можно исправить?

    Заранее спасибо за ответ, свой сайт указал.

    Ответить
    • Виталий Кириллов:

      Здравствуйте Денис!
      Функция работает. Думаю ничего исправлять не надо и Яндекс в скором времени исправит свою ошибку.

      Ответить
      • Денис:

        Странно, пробовал удалить в ручную, но яндекс не позволяет это сделать, пишет что ( Нет оснований для удаления. Сервер не возвращает код 404, индексирование не запрещено ни в robots.txt, ни метатегом noindex) к примеру вот эта страница: strofeyem.ru/ryby/feed

        Ответить
        • Виталий Кириллов:

          Перекройте страницу в robots.txt

          Ответить
  87. Сергей:

    Виталий, спасибо за материал!

    Всё не могу решить — использовать «noindex,nofollow» для рубрик или нет (у меня там записи выводятся в виде анонсов — с ссылкой «Читать далее»).

    Некоторые говорят, что если применить «noindex,nofollow» к рубрикам, то будет обрываться цепочка в перелинковке — типа того, что на каждой странице есть ссылки на рубрики (утекает «вес»), а с рубрик к страницам ссылки не будут учитываться («вес» не переходит обратно).

    Как Вы к этому относитесь? Вижу, что на своем блоге Вы применили «noindex,nofollow» и к рубрикам (как и описали в статье).

    Ответить
  88. Надежда:

    Я все открыла для гугла и кое что запретила для Яндекса, страниц в индексе одинаковое количество. Вроде дублей нет, проверила. Может это от темы зависит?

    Ответить
  89. Игорь:

    Виталий добрый день!Первый раз наткнулся в интернете на грамотные статьи со знанием основ программирования.Виталий, у меня в файле functions.php стоит такой код: /* Вставляет мета-тег роботс noindex,nofollow постраничного разбиения */
    function my_meta_noindex () {
    if (
    is_paged() //
    ) {echo "".''."\n";}
    }
    add_action('wp_head', 'my_meta_noindex', 3); // добавляем свой noindex,nofollow в head
    Это после преобразователя на вашем сайте.Ответьте пожалуйста и на мой вопрос.Если я вставлю код, который предлагаете Вы,не будет ли конфликта с этим метатегом роботс который стоит у меня, или лучше этот код убрать и заменить вашим?Как сделать лучше?

    Ответить
    • Виталий Кириллов:

      Старый код надо убрать.

      Ответить
      • Игорь:

        Спасибо Виталий!

        Ответить
  90. Игорь:

    И еще стоит плагин — Yoast SEO,он по умолчанию не генерирует метатег роботс?

    Ответить
    • Виталий Кириллов:

      Точно не помню, проверьте…

      Ответить
  91. Игорь:

    Виталий,после того как вставили в файл functions.php ваш метатег роботс,у меня плагин — Yoast SEO, в нем надо что-нибудь настраивать?Очень жду вашего ответа по моим вопросам.С Уважением к Вам.

    Ответить
    • Виталий Кириллов:

      Поишите в интернете материалы по настройке Yoast SEO, в рамках комментария всего не объяснишь.

      Ответить
  92. Игорь:

    Виталий, уж извините пожалуйста,что задаю так много вопросов.Поиск яндекс и гугла не дал мне ответов на мои вопросы,а спросить больше не у кого.Повторяющееся метаописание, которое появляется в гул вебмастере может уйти после того как поставить в файл functions.php ваш метатег роботс?

    Ответить
    • Виталий Кириллов:

      Возможно, все зависит какие страницы идут с повторяющимся описанием.

      Ответить
  93. Игорь:

    Виталий с нетерпением жду вашего ответа на свои вопросы,еще у меня возник один вопрос:а если этот код, еще добавить trackback,поможет ли это от дублей trackback?

    Ответить
  94. Игорь:

    Виталий, странная вещь получается, стоит редирект в .htaccess на trackback, а дублей все равно 788.Остальных на которые стоит редирект дублей нет.Ничего не понимаю.

    Ответить
  95. Игорь:

    Виталий,еще что интересно в яндекс вебмастере в поиске 1 313 страниц,в гуг вебмастер проиндексировано 952 страниц.Всего статей у меня на сайте 952.Как тут разобраться какие лишние проиндексированы, дубли.И как их убрать.Все манипуляции, написанные в этой статье я сделал.Будут ли дубли постепенно уходить?

    Ответить
    • Виталий Кириллов:

      Время покажет.

      Ответить
  96. Игорь:

    И еще у меня вопрос,после всех сделанных изменений описанных в этой очень полезной статье,уйдут ли заблокированные ресурсы, которые находит гуг вебмастер?

    Ответить
    • Виталий Кириллов:

      Гугл требует доступ к css и js файлам, этот доступ надо дать.

      Ответить
      • Игорь:

        Виталий, этот доступ я сделал вот так- User-agent: *
        Allow: /wp-content/uploads

        User-Agent: Googlebot
        Allow: /wp-content/themes/*.css

        Allow: /wp-content/plugins/*.css
        Allow: /wp-content/uploads/*.css

        Allow: /wp-content/themes/*.js
        Allow: /wp-content/plugins/*.js
        Allow: /wp-content/uploads/*.js

        Allow: /wp-includes/css/
        Allow: /wp-includes/js/
        Allow: /wp-includes/images/
        Правильно?

        Ответить
        • Виталий Кириллов:

          Проверьте на доступ ко всем css и js файлам, что есть в исходном коде, с помощью инструмента проверки robots.txt в Гугл или Яндекс вебмастере.

          Ответить
          • Игорь:

            Виталий доступ есть,но почему-то никак не могу, уже неделю мучаюсь, вставить вот этот код в .htaccess для редиректа с www на без www,сразу же пропадают все страницы, кроме главной, ужас какой-то.А без этого редиректа дублей будем море и не знаю как решить эту проблему, кому только этот вопрос не задавал.
            RewriteCond %{HTTP_HOST} ^www.gumirov1963.ru$ [NC]
            RewriteRule ^(.*)$ http:// gumirov1963.ru/$1 [R=301,L]

            Ответить
            • Виталий Кириллов:

              Игорь, в WordPress редирект с www на без www и обратно настраивается автоматически, достаточно прописать домен с www или без в настройках блога (Настройки — Общие).

              Ответить
              • Игорь:

                Виталий в настройках-общие у меня прописан домен без www,но почему-то сервис pr-cy.ru говорит, что у меня нет перенаправления?

                Ответить
                • Виталий Кириллов:

                  Я бы не доверял всяким там сервисам…

                  Ответить
                  • Игорь:

                    А где тогда проверить этот редирект ?

                    Ответить
            • Виталий Кириллов:

              Замените мою функцию на эту:

              function mayak_meta_robots () {
              if (strpos($_SERVER['SERVER_NAME'].$_SERVER['REQUEST_URI'], '/trackback ') or is_archive() or is_category() or is_feed () or is_author() or is_date() or is_day() or is_month() or is_year() or is_tag() or is_tax() or is_attachment() or is_paged() or is_search()) 
              {
              echo "".'<meta name="robots" content="noindex,nofollow" />'."\n";
              }
              }
              add_action('wp_head', 'mayak_meta_robots'); 

              Игорь, у меня на вас больше нет времени.

              Ответить
              • Игорь:

                Спасибо большое Виталий, что уделили мне чуть-чуть времени.

                Ответить
  97. Игорь:

    Виталий ответьте пожалуйста на эти вопросы:Виталий с нетерпением жду вашего ответа на свои вопросы,еще у меня возник один вопрос:а если этот код, еще добавить trackback,поможет ли это от дублей trackback?Виталий, странная вещь получается, стоит редирект в .htaccess на trackback, а дублей все равно 788.Остальных на которые стоит редирект дублей нет.Ничего не понимаю. Редирект страницу с trackback перенаправляет,а когда в гугле набираешь site:gumirov1963.ru trackback появляется 788 страниц.Значит эти дубли в индексе?

    Ответить
    • Виталий Кириллов:

      Вставьте вот этот код в строчку, где перечисляются функции через or:

      strpos($_SERVER['SERVER_NAME'].$_SERVER['REQUEST_URI'], '/trackback ') or

      И проверьте перекроются ли мета-тегом урлы с trackback.

      Ответить
      • Игорь:

        Виталий этот код strpos($_SERVER[‘SERVER_NAME’].$_SERVER[‘REQUEST_URI’], ‘/trackback ‘
        вставить в файл functions.php?

        Ответить
      • Игорь:

        Виталий, еще раз крепко, крепко извиняюсь на назойливость,но после вставки этой строчкиstrpos($_SERVER[‘SERVER_NAME’].$_SERVER[‘REQUEST_URI’], ‘/trackback ‘ трекбеки не ушли.

        Ответить
        • Виталий Кириллов:

          Вы попробуйте удалить урл с трибеком через Яндекс вебмастер, если удалиться, значит функция работает, если не удалится, то не работает.
          Тогда закрывайте трибеки в robots.txt, директивой
          Disallow: */trackback.
          Но лучше найти, где генерируются урлы с трибеком и разобраться с проблемой в корне.

          Ответить
          • Игорь:

            Пишет вебмастер яндекс нет оснований для удаления

            Ответить
  98. Игорь:

    Большое спасибо Виталий, больше не буду отнимать у Вас время и так уже только на меня его тратите.

    Ответить
  99. Игорь:

    Виталий, с сегодняшнего числа в яндекс вебмастере почему-то появилось к индексации еще 799 страниц, стало в обще сложности 1169. Хотя до сегодняшнего дня было почти столько сколько статей написано, то есть все было нормально.У меня вопрос:Это появились дубли в Яндексе, если да, то откуда они взялись. Я ведь сделал как написано в этой статье. Если нет, то почему появились эти ссылки? Ответьте пожалуйста на мой вопрос.

    Ответить
    • Виталий Кириллов:

      Игорь, Я не знаю, откуда взялись те или иные ссылки. Если хотите знать точно, заказывайте анализ сайта. Бесплатно разбираться в ваших проблемах никто не будет.

      Ответить
  100. Игорь:

    У некоторых ссылок на конце feed.Что с ними делать?

    Ответить
    • Марина:

      Добрый день! Позволю себе ответит за Виталия
      1.В файле htaccess пропишите RewriteRule (.+)/feed /$1 [R=301,L]
      2. в файл functions.php и в самое начало, после php тега <?php, вставляем такую функцию:

      function mayak_meta_robots () {
      if (is_archive() or is_category() or is_feed () or is_author() or is_date() or is_day() or is_month() or is_year() or is_tag() or is_tax() or is_attachment() or is_paged() or is_search()) 
      {
      echo "".'<meta name="robots" content="noindex,nofollow" />'."\n";
      }
      }
      add_action('wp_head', 'mayak_meta_robots'); 
      

      3.Один из указанных способов наверняка избавит Вас от дубля под названием feed, а второе решение и от других дублей! Процесс не быстрый, прописывайте и ждите пару месяцев.
      4. Внимательно изучите статью «Мета-тег robots. Правильная настройка индексации сайта», здесь все подробно расписано,что необходимо делать и вообще сайт В.Кириллова — это кладезь готовых решений, особенно для людей которые не сильно разбираются в кодах! Просто внимательно изучайте то, что пишет Виталий!

      Ответить
      • Игорь:

        Марина, все что Вы написали, у меня стоит.

        Ответить
  101. Игорь:

    Виталий, конечно же понятно ваша загруженность,но раз уже Вы подняли такую животрепещущую тему, заявили о себе как о мастере, ответьте тогда пожалуйста на вопросы. Виталий, если проиндексированы страницы мобильной версии сайта (после подключения плагина WP Mobile Edition). Считаются ли эти страницы дублями и стоит ли их закрывать от индексации?

    Ответить
    • Виталий Кириллов:

      Я не знаю, что за урлы создает плагин WP Mobile Edition, т.к. им не пользовался и Вам не советую. Делайте или заказывайте адаптивную мобильную версию, при которой не создаются новые урлы.

      Ответить
  102. Игорь:

    Виталий, а когда мы закрываем страницы с категориями, ведь если я не ошибаюсь-это внутренние ссылки. В яндексе вебмастере они квалифицируются как неработающие внутренние ссылки, за которые снижается рейтинг сайта и позиции в поисковиках. Или я в чем-то не прав? Разъясните пожалуйста.

    Ответить
  103. Игорь:

    Виталий, не хотите отвечать на мои вопросы, но все-таки наверное не все так гладко, раз после всех настроек написанных в этой статье, у меня полно дублей с category, feed, tag, page, trackback? Когда в поисковой системе набираю site:gumirov1963.ru trackback, то выдается полно дублей и другие также, да и в вебмастере Яндекса тоже. Неужели ваш метод работает не для всех?

    Ответить
    • Виталий Кириллов:

      Игорь, какой Вы не сдержанный! Любой сайт требует тонкой комплексной настойки. Набирайтесь терпения и грызите гранит сайтостроения.

      Ответить
  104. Наталья:

    Виталий, сколько у вас терпения!)))
    Игорь, все работает, если все изучить, понять принцип и граммотно настроить! А если все-таки не получается, подумайте над тем, чтоб обратиться к профессионалам, которые решат это за вас (не бесплатно, конечно)

    Ответить
    • Игорь:

      Наталья. у меня дубли с trackbackом слали снижаться в гугле вебмастере, я думаю,что наверное и яндекс вебмастер подтянется.Но это тема ведь уже давнишняя, еще Борисов Александр ее поднимал,за некоторым исключением те же манипуляции.Просто все время раньше дубли были только гугле вебмастере, но почему сейчас в яндексе столько.Я думаю, что все-таки со временем уйдут они.Большое спасибо Виталий за подробный анализ этой проблемы.

      Ответить
  105. Wild:

    А как быть, если нужно динамически одним ботам разрешать индексацию, а другим запрещать.
    Можно ли городить огород из нескольких тэгов типа:

    И как они поведут себя если к этому будет еще добавлен общий тег:

    Т.е. интересен момент совместного использования нескольких вариантов параметров для разных роботов.

    Ответить
  106. Wild:

    тэги скушало!
    Попробую в круглых скобках вместо угловых. ))))
    Огород из нескольких тэгов типа:
    (meta name=»yahoo» content=»noindex, nofollow»)
    (meta name=»google» content=»index, nofollow»)
    (meta name=»yandex» content=»noindex, follow»)
    Добавлен общий тег:
    (meta name=»yahoo» content=»index, follow»)

    Ответить
    • Виталий Кириллов:

      Не понимаю цели сего замысла. Зачем Гуглу разрешать индексацию, а Яндексу запрещать? По сути, сделать так можно, так как здесь идет точечное обращение к разным поисковым системам, но любое противоречие будет трактоваться в пользу разрешающей директивы.

      Ответить
  107. Василий:

    Здравствуйте Виталий, спасибо огромное за эту информацию и за многое другое, что я находил на вашем сайте. Я сам недавно перешел на вордпресс и еще многого не знаю. Но каждый раз когда пытаюсь найти в поисковике ответ на какой либо вопрос касающийся вордпресса, обязательно натыкаюсь на одну из ваших статей и дальше многие вопросы отпадают.

    Ответить
  108. Ирина:

    Здравствуйте, Виталий.
    Вставила предложенный Вами код в файл fonctions.php. Но долгожданную строчку

    ни на страницах категорий, ни на страницах архивов так и не увидела.
    У меня в хедере на всех страницах

    Если поставлены соответствующие галочки, то плагин All in One SEO Pack 2.3.14.2 выводит , но где-то в конце заголовка.

    Вот как выглядит мой файл fonctions.php

    ‘Sidebar_top’,
    ‘before_widget’ => »,
    ‘after_widget’ => »,
    ‘before_title’ => »,
    ‘after_title’ => »,
    ));

    if ( function_exists(‘register_sidebar’) )
    register_sidebar(array(
    ‘name’ => ‘Sidebar_left’,
    ‘before_widget’ => »,
    ‘after_widget’ => »,
    ‘before_title’ => »,
    ‘after_title’ => »,
    ));

    if ( function_exists(‘register_sidebar’) )
    register_sidebar(array(
    ‘name’ => ‘Sidebar_right’,
    ‘before_widget’ => »,
    ‘after_widget’ => »,
    ‘before_title’ => »,
    ‘after_title’ => »,
    ));

    ?>

    Как Вы думаете в чём моя проблема?

    Ответить
    • Виталий Кириллов:

      Ирина, попробуйте вставить код в файл header.php в область между тегами head.
      Вставляйте в таком виде:

      <?php
      if (is_archive() or is_category() or is_feed () or is_author() or is_date() or is_day() or is_month() or is_year() or is_tag() or is_tax() or is_attachment() or is_paged() or is_search()) 
      {
      echo "".'<meta name="robots" content="noindex,nofollow" />'."\n";
      }
      ?>
      Ответить
      • Ирина:

        Добрый день, Виталий. После установки Вашего кода на всех страницах, кроме главной по 2 директивы:

        Первая из них жестко прописана в хедере. Я её просто удалила.
        И ваш код для хедера переделала в таком виде: ( из условия убрала or is_paged())
        <?php
        if ( ( is_archive() && is_paged() ) or is_category() or is_feed () or is_author() or is_date() or is_day() or is_month() or is_year() or is_tag() or is_tax() or is_attachment() or is_search())
        {
        echo "".'’.»\n»;
        }
        else
        {
        echo «».».»\n»;
        }
        ?>

        Вроде бы всё получилось как надо.
        Если есть время, посмотрите, пожалуйста.

        Ответить
  109. Есет:

    Подскажите пожалуйста у нас интернет магазин мета тег роботс закрыт от индексации стоит ли его открыть? Он ведь закрывает контент всего сайта так ведь? а не одной страницы? адрес сайта dm-astana.kz

    Ответить
  110. Сергей:

    Здравствуйте,Виталий!
    Сейчас заметил у себя на сайте такую особенность,сразу заглянул к вам и оказалось,у вас то же самое… Дело вот в чём: как у вас,так и у меня,если к ссылке главной страницы добавить /page/1 то она откроется по этому адресу и в коде не будет метатега «роботс» с запретом индексации, а будет только rel=»canonical»(в отличие от других страниц пагинации). Получается,что это дубль главной страницы? У меня,например,он находится в индексе Яндекса и участвует в поиске(как показывает Я.Вебмастер). Бить ли тревогу по данному поводу? И что делать?

    Ответить
    • Виталий Кириллов:

      Здравствуйте Сергей!
      К главной странице можно добавить что угодно, например ?123.
      Вы говорите, что у вас стоит каноникал — этого достаточно, и Яндекс, и Гугл соблюдают рекомендации каноникал, если он корректно выведен, и советуют активней его использовать.
      В поиске могут появляться даже те страницы, которые запрещены к индексации — это связанно с особенностью взимодействия поисковых роботов.
      Скорее всего это проделки так называемого «быстрого робота».
      Дождитесь, пока до Вас дойдет основной индексирующий робот и все должно встать на свои места.

      Ответить
  111. Сергей:

    И вдогонку: вы в курсе,что на вашем блоге невозможно попасть на главную страницу сайта с любой страницы постраничной навигации(разве что,нажать на страницу №1),потому что ссылки на главную не активны? Это нормально?

    Ответить
  112. Лора:

    Добрый день! Я поставила код в function и убрала все галочки в плагине Platinum Seo. теперь при просмотре кода странцы рубрики например у меня два meta rodots.
    meta name=»robots» content=»noindex,nofollow»
    и

    meta name=»robots» content=»index,follow,noodp,noydir»/

    Это нормально? Или будет путанница при обходе сайта роботом?
    Заранее благодарна за ответ!

    Ответить
    • Виталий Кириллов:

      Если на странице расположены два мета-тега robots, с разными параметрами, то приоритет будет отдан разрешающим директивам.

      Ответить
      • Лора:

        Ну и как тогда быть? Один мета-тег получается в результате установки кода, а второй автоматически создается в плагине… Я проверяла на втором сайте — All-in-Seo тоже выдает свой мета-тег… То есть надо убирать плагины Сео получается, потому что они все равно формируют follow даже если настраиваю их на nofollow? А что вместо них? Может быть есть еще какой-то дополнительный код, чтобы были поля для заполнения ключевых слов и описания каждой статьи?Подскажите, пожалуйста…

        Ответить
        • Виталий Кириллов:

          В плагине All-in-Seo вывод мета тега отключается полностью в Platinum в любом случаи остается мета-тег с разрешающими параметрами.
          Здесь надо, или в код плагина лезть, или менять на All-in-Seo.

          Ответить
          • Лора:

            Спасибо за ответ! Значит не судьба… У меня был All-in-Seo, но при переходе на ЧПУ я вынуждена была заменить его на Платинум, чтобы создать множественный редирект. теперь не знаю, можно ли опять переходить на другой плагин, не полетят ли все ссылки. В людом случае, спасибо, что откликнулись.

            Ответить
  113. Ирина:

    Здравствуйте, Виталий.
    Мне некоторое время казалось, с Вашей помощью, у меня наладилась индексация. Это я ощущала, пока использовала для создания карты блога плагина Google XML Sitemaps. Я решила этот плагин сократить и создавать карту с помощью All In One SEO Pack.
    Вот что мне теперь выдаёт Гугл: 5 443 URL отправлены, 1 544 – количество проиндексированных. Три с лишнем тысячи страниц он считает с ошибками. На настоящий момент всего у меня — 1575 записей. М. б. в отправленные URL — включены и картинки? Хотя для них он указывает отдельную информацию: 8905 — отправлено, 3669 — проиндексированные.
    В чём здесь проблема? Что Вы посоветуете мне предпринять? Заранее благодарна за совет.

    Ответить
  114. Sultan:

    Добрый день, Виталий. Помогите пожалуйста. Как добавить мета тег для такого url: https://seo-mayak.com/? Заранее спасибо.

    Ответить
    • Виталий Кириллов:
      preg_match("#\?#", $_SERVER['SERVER_NAME'].$_SERVER['REQUEST_URI']) or

      Затрагивает все урлы со знаком вопроса.

      Ответить

Оставить комментарий

Внимание комментатор! Прежде чем вставить: HTML, JavaScript или PHP код в свой комментарий, преобразуй его в html сущность!

Subscribe without commenting

» Подписаться на комментарии по RSS