Всем привет! Данный пост считаю обязательным к прочтению, так как далеко не все веб-мастера знают, как использовать мета-тег robots и как с помощью этого инструмента можно настроить индексацию сайта.
В последнее время на seo-mayak.com я публиковал много статей, посвященных различным функциям WordPress и как некоторым может показаться, немного отклонился от основной тематики блога.
Это вовсе не так! Я по прежнему уверен, что без базовых знаний в программирования, не о каком успешном продвижении речь идти не может. Я не зря последовательно описываю функции, о существовании которых просто обязан знать каждый веб-мастер, чтобы самостоятельно вести свой проект.
Сегодня мы опять будем работать с функциями, хотя основным героем будет конечно мета-тег robors.
Также я предложу Вам обновленный вариант файла robors.txt, который будет изменен до неузнаваемости, благодаря взаимодействию с мета тегом robots и PHP.
Но сначала я хочу сказать несколько слов о том, к чему может привести неправильная настройка индексации сайта для роботов Яндекса и Гугла. Поехали!
Последствия не правильной настройки индексации
Если Вы посмотрите на файл robots.txt моего блога, то увидите всего несколько строк:
User-agent: * Allow: /wp-content/uploads Disallow: /wp- Host: seo-mayak.com Sitemap: /sitemap.xml
Но что будет, если какой-нибудь веб-мастер, по неопытности или из каких-либо других соображений решит, что так правильно и настроит индексацию своего сайта аналогичным образам.
Сразу скажу ничего хорошего из этого не выйдет! Если отменить некоторые запрещающие директивы в файле robots.txt, такие как:
Disallow: /page/ Disallow: /category/ Disallow: /tag/ Disallow: /feed/ Disallow: /page/
И т.д.
В этом случаи поисковые роботы получат разрешение на сканирование текстов дублирующих страниц, за что, с большой долей вероятности, сайт может угодить под АГС, Пингвин или другие фильтры.
Так что, без специальных знаний никому не советую менять свой robots.txt по моему примеру или по аналогичным примерам с других сайтов и открывать доступ поисковым роботам к не уникальному контенту.
Примеры URL страниц, которые могут попасть в индекс:
/category/seo-prodvizhenie — страницы с категориями;
/2014/05 — страницы с архивами
/tag/prodvizhenie — страницы меток
/?attachment_id=3269 — страницы с прикрепленными файлами
/page/2 — страницы постраничной навигации
/feed — страницы фида
/?s= — страницы внутреннего поиска
Отдельный разговор у нас будет по дублям страниц, создаваемых функцией древовидных комментариев, так называемых replytocom, так что подписывайтесь на обновления блога.
Я перечислил все основные дубли, которые могут быть проиндексированы роботами Яндекса и Гугла, если на их пути не будет никаких преград, но в зависимости от структуры сайта, возможны и другие дубли, так что на каждом отдельном ресурсе, надо проводить свой тщательный анализ.
Итак, почему я убрал большинство запрещающих директив из своего файла robots.txt и тем самым открыл путь поисковым роботам? Основной причиной послужило то, что Гугл заносит заблокированные в robots.txt страницы в свой Supplemental index, если на них ведут внутренние или внешние ссылки.
Не думайте, сами страницы с дублями я не оставил без защиты от индексации, просто я внедрил в код каждой из них мета-тег robots, что уже на 100% убережет их от попадания в сопливый индекс. В конце статьи я покажу как это делается.
В исходном коде мета-тег robots выглядит следующим образом:
Не так давно, одна моя старая знакомая попросила меня высказаться, по поводу настройки индексации с помощью плагина All in One SEO Pack. Мысль сводилась к следующему.
Что, если открыть доступ в файле robots.txt, но запретить индексацию в All in One SEO Pack, в разделе «Настройки индексирования», проставив галочки возле соответствующий пунктов ?
В принципе мысль правильная и некоторые труженики SEO именно так и советуют делать, но если заглянуть в исходный код страниц, заблокированных через All in One SEO Pack, то увидим следующее:
Как видите в мета-теге отличается один параметр.
А теперь давайте поближе познакомимся с мета-тегом robots и разберемся: какие параметры он может принимать и на что они влияют.
Мета-тег robots и его параметры
Мета-тег robots очень важный инструмент, с помощью которого можно довольно тонко настроить индексацию сайта, хотя параметров, которые он может принимать, не так много.
Синтаксис настолько простой, что его даже описывать не надо, достаточно просто взглянуть на примеры, кроме того мета-тег robots и его параметры не чувствительны к регистру.
Мета-тег можно написать так:
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLOOW"/>
Или так:
<META name="ROBOTS" CONTENT="noindex, nofollow"/>
Привожу список всех параметров мета-тега robots:
index — индексировать текст страницы.
noindex — не индексировать текст страницы
follow — следовать по ссылкам и индексировать их.
nofollow — не следовать по ссылкам и не индексировать их
all — индексировать текст страницы, а также следовать по ссылкам и индексировать их.
none — не индексировать текст страницы, а также не следовать по ссылкам и не индексировать их.
Отсутствие мета тега, автоматически разрешает роботу индексировать текст страницы и все ссылки находящиеся на ней.
Отсутствие параметра, также трактуется роботом как разрешение. Например:
<meta name="robots" content="noindex" />
В данном случаи робот не будет индексировать текст, но пройдет по всем ссылками и естественно проиндексирует их. Тоже самое сделает робот если встретит мета-тег robots с такими параметрами:
<meta name="robots" content="noindex, follow" />
Если Вы заметили, именно такие параметры проставляет плагин All in One SEO Pack, но об этом чуть позже.
Вот пример полного запрета индексации:
<meta name="robots" content="noindex, nofollow" />
Тоже самое:
<meta name="robots" content="none" />
Снятие всех запретов:
<meta name="robots" content="all" />
Но что будет делать робот, если наткнется на противоречивые директивы? Например:
<meta name="robots" content="noindex, nofollow" /> <meta name="robots" content="noindex, follow" />
В данном случаи из двух противоречащих друг другу параметров, робот сделает выбор в пользу разрешающей директивы.
Данный параметр в мета-теге robots наложит запрет на добавление содержимого страницы в кэш поисковых систем:
<meta name="robots" content="noarchive"/>
Здесь надо понимать, что если на страницу наложен полный запрет (noindex, nofollow), то в кэш она тоже не попадет.
Вот в принципе и все параметры, которые может принимать мета-тег robots, надеюсь понятно объяснил, но если будут вопросы, задавайте их в комментариях.
А теперь вернемся к плагину All in One SEO Pack. Как вы поняли, параметры прописанные разработчиками плагина для мета-тега robots, дают разрешение поисковым роботам следовать по ссылкам и индексировать их.
И если открыть доступ к страницам сайта в файле robots.txt и целиком положится на защиту от индексации, любезно предоставляемой вышеупомянутым плагином, то можно забыть: про правильный анкор-лист сайта, а также про экономию времени, отведенного роботу на индексацию сайта, и как следствие, своевременное попадание страниц с полезным контентом в основную выдачу. Кроме всего прочего, плагин не закрывает дубли, создаваемые постраничной навигацией.
О параметрах noindex, follow мы еще поговорим в следующей статье, которая будет полностью посвящена теме — дубли страниц replytocom, так что подписывайтесь на обновления блога.
Еще хотел сказать несколько слов, касательно сравнения файла robots.txt и мета-тега robots. Можно предположить, что мета-тег robots имеет некий приоритет в «глазах» поисковых роботов над директивами файла robots.txt. Хочу заметить, что вопрос приоритета в данном случаи вообще не стоит.
Если директивы файла robots.txt запрещают сканировать страницу и считывать ее содержимое, что, как мы выяснили, не уберегает ее от индексации, то мета-тег robots может быть обнаружен роботом только в процессе сканирования и его директивы вступят в силу только после считывания страницы. Надеюсь разница понятна. Идем дальше.
Как разместить мета-тег robots на страницах
Итак, мы подошли к самому интересному. Сейчас мы займемся внедрением мета-тега robots в исходный код страниц, которые надо закрыть от индексации.
Прежде всего нам надо выявить функции, отвечающие за вывод страниц с дублями контента.
Вот эти функции:
is_category() — функция вывода страниц с категориями;
is_archive() — функция вывода любых архивов;
is_year() — функция вывода архивов по годам;
is_month() — функция вывода архивов по месяцам;
is_day() — функция вывода архивов по дням;
is_date() — функция вывода архивов по датам;
is_author() — функция вывода архивов по авторам;
is_tag() — функция вывода страниц с метками;
is_tax () — функция вывода таксономии произвольных типов записей;
is_attachment() — функция вывода страниц с прикрепленными файлами;
is_paged() — функция вывода постраничной навигации;
is_feed () — функция вывода страницы фида;
is_search()> — функция вывода страниц внутреннего поиска.
Наша задача заключаться в следующем. Нам надо добавить мета-тег robots с запрещающими параметрами noindex, nofollow в исходный код каждой дублирующей страницы, между тегами <head></head>.
Для этого открываем файл functions.php и в самое начало, после php тега <?php, вставляем такую функцию:
function mayak_meta_robots () {
if (is_archive() or is_category() or is_feed () or is_author() or is_date() or is_day() or is_month() or is_year() or is_tag() or is_tax() or is_attachment() or is_paged() or is_search())
{
echo "".'<meta name="robots" content="noindex,nofollow" />'."\n";
}
}
add_action('wp_head', 'mayak_meta_robots');
Теперь я немного поясню как будет работать данная функция.
Функция добавляет условие, которое будет срабатывать при вызове любой из функций, перечисленных в скобках и с помощью команды echo, добавит мета тег robots в исходный код дублирующих страниц.
Далее, с помощью хука wp_head цепляем наше подготовленное действие к функции wp_head(), которая выведет мета-тег robots в шапку страницы, между html тегами <head><head>.
Как видите сложного ничего нет, но тем не менее, без минимальных знаний в PHP, у нас бы ничего не получилось.
Конечно потребуется время, на то, чтобы страницы выпали из «сопливого» индекса Google, но выпадут они обязательно!
До встречи!
С уважением, Виталий Кириллов
Виталий, спасибо, Вы мне еще больше открыли глаза и прояснили ситуацию!)
Но, может, это глупо, мне страшно удалять директивы из файла robots.txt)) Как я писала в комментарии к предыдушей статье, я уже обожглась на «соплях», и пока их практически нет, не хочу ничего трогать) Но Вашу функцию все-таки хочу добавить. Как я поняла, если в файле robots.txt есть запрещающие директивы, то использовать эту функцию лишено всякого смысла? Как же тогда решиться их оттуда удалить?!
И еще, мне не понятно, как могли проиндексироваться эти ссылки:
/wp-content/plugins/copy-link
/wp-content/plugins/wp-postratings/postratings-js.js/JSFile_1
Наталья, мне трудно сказать, как могли проиндексироваться эти ссылки, но факт, что в этом виноваты плагины.
Наталья, дело в том, что Ваш блог устроен так, что в robots.txt вам кроме файлов движка и фида больше вообще нечего закрывать. Кстати фид у Вас в «соплях».
Категории у Вас открыты, метки вы не используете, архивы тоже, авторских архивов также нет и нет постраничной навигации В общем многие директивы в robots.txt у вас просто лишние и уберете Вы их или нет, от этого ничего не изменится).
А вот фид надо закрыть с помощью мета-тега robots.
Здравствуйте Виталий, как вы думаете, данный метод и в правду позволит обойти так называемый «сопливый индекс» ?
Здравствуйте Артур! Если бы я не был уверен в этом, то разве я стал бы публиковать данную статью…
Ух ты, Виталий, Вы так быстро провели анализ моего сайта)) Все так и есть. Раньше я, правда, об этом не сильно задумывалась, но вот благодаря Вашей статье все встало на свои места! Спасибо! Прислушаюсь к Вашим рекомендациям! Удачи Вам!!!
Спасибо Наталья и Вам удачи!
Ещё вопрос, написано что стоит убрать все галочки в настройках индексации, а на отдельных страницах в редакторе к примеру те что находятся в меню, тоже не следует ставить галочки? я про Добавить аргумент NOINDEX / Добавить аргумент NOFOLLOW
Артур, в разделе плагина, тот, что под статьей, вообще галочки ставить не надо. Если в исходном коде самой статьи будет мета-тег robots с параметрами NOINDEX/NOFOLLOW, то она вообще не будет проиндексирована!
Приветствую, Виталий!
Итак, я добавил код в functions.php (на тестовом блоге, тема та же, что и на основном). Снял галочки в настройке All in One SEO Pack. Директива в коде рубрики, содержащая noindex,follow , исчезла. Появилась выше директива, содержащая noindex,nofollow
Можно открывать robots? Все правильно?
Здравствуйте Александр! Все правильно, можно открывать доступ в robots.txt.
А что значит в данном случае «открывать доступ в robots.txt?
Я добавил необходимую функцию. Добавил в корень robots.txt , в котором прописано User-agent: *
Disallow:
Всё правильно или нет? что-то я вообще запутался уже..
Андрей, я посмотрел Ваш robots.txt. Вы не просто запутались, а ничего не поняли, но это норм для новичков! Скажите мне, для чего нужен мета-тег robots?
Виталий, доброе утро!
Очень приятно было увидеть Ваш такой быстрый ответ)
Мега-тег Robots нужно для этого, чтобы запретить поисковикам индексировать определённые разделы сайта, как например архивы, категории и т.п.
Проблема в том, что вчера мне один из блогеров указал на то, что мой сайт находится под фильтрами АГС Яндекса. Я начал анализировать причины….
Контент у меня уникальный, рекламы никакой левой не было, заспамленности ключевиками нет.
Вот и подумал, что проблема в дублирующем контенте. Я-то думал, что All in SEO PACk отключил индексацию этих разделов, когда я поставил галочки. Но это не так.
Так вот Андррей, если запретить индексацию архивов, категорий и т.п. в файле robots.txt, то поисковый робот не сможет обнаружить мета-тег robots, так как ему запрещено сканирование данных страниц и моя функция будет бесполезной.
Ваш сайт еще очень молодой и он находиться под естественным фильтром, который накладывается на все молодые ресурсы. Если бы Ваш сайт попал под АГС, то в индексе Яндекса осталась бы одна главная страница, у Вас же в индексе 25 страниц, так что все пока в порядке. Следите за количеством внешних ссылкок с Вашего сайта, на начальном этапе их количество должно стремиться к нулю.
Успехов!
Спасибо огромное за ответ!
На самом деле, у меня была мысль о том, что это можно быть связано с «молодостью» сайта.
Спасибо, что подтвердили это, а то другие уже меня напугали сильно)
Последний вопрос: что посоветуете добавить в файл robots.txt?
Файл robots.txt составляется для каждого сайта индивидуально и я ничего советовать не стану.
Добрый день Виталий, хотел бы поговорить с вами по поводу моего сайта, можете контактировать пожалуйста на мой почтовый адрес
sergey.1234@hotmail.com
За ранее спасибо
Здравствуйте, Виталий! У вас очень хороший блог!
Но пишу комментарий не только для того, чтобы это сказать =)
Я можно сказать была уверенна, что на вашем блоге я найду нужную мне информацию. И она, эта информация, как раз в этой статье, а самое главное — как раз в нужное время.
Дело в том, что плагин All in One SEO Pack недавно попросил обновления, я обновила, и по стечению обстоятельств я возилась с тегами и обратила внимание… что добрый плагин All in One SEO Pack не выводит noindex для меток! Точнее не было даже его присутствия в шапке. Как я ни сохраняла настройки — все равно не вставляет noindex для меток. Через день плагин еще раз попросил обновления, я обновила — ну думаю, после обновления проблемка решится. Но нет — все равно не вставляет для тегов noindex, хотя в шапке стал себя указывать.
С чем связано не знаю. Поэтому пошла на Ваш блог в поисках решения! И нашла!
Спасибо, Виталий!
Этот плагин (возможно это было и раньше) там же указывает itemprop=. Вы не подскажете, что это такое?
Здравствуйте Мария! itemprop — это элемент микроразметки, подробней читайте здесь.
Как у вас все серьезно, Виталий, ) За ссылку, спасибо, придется разбираться =)
Виталий, тут еще проблемка возникает, по-моему. Директива noindex,nofollow вроде прописывается везде. Но есть страница результатов поиска Яндекса (помимо встроенного в шаблон поиска, который меня не удовлетворяет, т.к. даже я сам не сразу его обнаружил — что уж говорить о посетителях). Так вот, если страница результатов поиска встроенного будет закрыта от индексации noindex,nofollow, то в коде страницы поиска Яндекса я такой директивы не нашел. А ведь это, как я понимаю, тоже страница на моем блоге! Ее в случае открытия robots ПС (а Гугл — в любом случае!) проиндексирует. Как быть?
Ответ на свой вопрос сам же и нашел! 🙂 Прошел в админку — Страницы — Поиск. И в редакторе просто поставил галочки Добавить аргумент NOINDEX , Добавить аргумент NOFOLLOW
Ну вот Александр, простое решение оказывается)
Все манипуляции проделаны. Изменил robots, открыл все. Будем ждать результатов.
Большинство решений, Виталий, довольно просты. Только не всегда додумываешься сразу.
Здравствуйте, Виталий.
Я вернулась к комментированию ) у меня такой вопрос: как прописать код так, чтобы страницы рубрик не были закрыты noindex?
Здравствуйте Мария!
Чтобы оставить страницы с рубриками открыты надо убрать из кода следующий отрезок:
Да, я это сделала — первые страницы рубрик открыты для индексации. Дело в том, что на рубрики тоже распространяется noindex для is_paged() — функция вывода постраничной навигации. Вот можно ли как-то сделать, чтобы страницы постраничной навигации рубрик не были закрыты noindex?
Здравствуйте Мария! Дело в том, что функция is_paged() отвечает за вывод любой постраничной навигации.
Есть такие варианты, например, если надо закрыть постраничную навигацию при просмотре архивов (категории, теги, авторы и т.д.), а основные страницы пагинации (например, seo-mayak.com/page/2 и т.д.) оставить доступными для роботов, то правило будет такое:
К сожалению наоборот сделать нельзя.
Спасибо, Виталий, приставка && is_paged() мне действительно помогла, но немножко в другом месте. Сегодня пол-дня провозилась с этим, но зато теперь функция, прописанная в моем functions.php, регулирует то, что я хотела:
главная — индексируется, постраничная навигация главной — не индексируется, рубрики и их страницы пагинации — индексируются.
для этого мне пришлось кое-что убрать из вашей функции и кое-что добавить.
Ну вот и хорошо Мария, я рад, что у Вас все получилось!
Здравствуйте!
Последовал вашей рекомендации, но что-то не получается.
Для того чтобы оставить рубрики открытыми, я убрал is_category() or
Но рубрики всё равно оставались закрытыми. И только после того как убрал is_archive() or рубрики стали открытыми.
Я не пойму почему рубрики is_archive? Я так понимаю, что архив, это в прямом смысле, когда статью убираешь в архив. А в моем случае рубрики не есть архивами — правильно?
Моя задача открыть рубрики и их пагинацию. Чтобы это сделать, получается вместо is_paged() нужно прописать ( is_archive() && is_paged() ) or ?
Ps/ я не использовал никаких модулей, всё натягиваю и делаю вручную. Пагинацию ещё не делал и пока не знаю как буду делать, но скорее всего тоже вручную.
Алекс, здравствуйте!
Дело в том, что в вордпресс действие is_archive распространяется и на категории и на архивы.
Если Вы хотите открыть категории, то убирайте и is_archive(), и is_category().
В этом случаи для страниц архивов будут точечно работать следующие функции
is_year() — функция вывода архивов по годам;
is_month() — функция вывода архивов по месяцам;
is_day() — функция вывода архивов по дням.
Я только что проверил что у меня, рубрики или архивы рубрик
if( is_category() )
echo "Страница категории";
elseif( is_archive() )
echo "Страница архива";
И у меня рубрики. Но почему они не открываются когда я убираю убрал is_category() or я не понимаю!)
Алекс, читайте мой прошлый коммент.
Да, я прочитал, просто мы разминулись)
Вы уж извините, но подскажите что значит «будут точечно работать следующие функции» ? Это значит что будут дубли?
Спасибо большое за ответы и ваш сайт — это клад, очень полезная инфо!!!
Нет, эти функции будут распространять действие мета-тега на страницы архивов и тем самым наоборот предотврящать дубли, если Вы уберете is_archive().
Здравствуйте. Спасибо за статью. Все сделал почти как у Вас написано. За исключением того function. Там я прописал все кроме is_paged, я так понимаю тем самым разрешив индексировать страницы которые есть на блоге. Все остальное как написано в статье. В SEO плагине все галочки с noindex, follow сняты. Но после индексации страницы сайта выпали из выдачи. Т.е. они были отправлены но проиндексированы только статьи блога. Как быть? что не так сделал. Хотелось бы что бы на страницы которые на главной были индексируемые. Спасибо.
Здравствуйте Михаил! Функция is_paged выводит любую постраничную навигацию. Если я правильно понял вы хотите, чтоб они были проиндексированы или вы имели в виду статические страницы (page)
В общем в функциях сейчас прописано вот так:
function my_meta_noindex () {
if (is_archive() or is_category() or is_feed () or is_author() or is_date() or is_day() or is_month() or is_year() or is_tag() or is_tax() or is_attachment() or is_search())
{
echo «».».»\n»;
}
}
add_action(‘wp_head’, ‘my_meta_noindex’,
Нужно что бы на сайте не индексировалось ничего кроме статических страниц с главной и страниц самого блога (статей). В sitemap все есть. В robots все открыто.
Странно. Сейчас посмотрел в google webmaster и теперь не проиндексирована всего одна страница. Т.е. отправлено 17 проиндексировано 17. А было 17 — 7 и эти семь были статьи а остальное страницы.
Михаил я так понял у Вас все наладилось?
Сейчас происходит какая-то чехарда. исправляю ошибки. Позже отпишусь.
Спасибо, хорошая статья. Виталий подскажите какая функция вывода страниц с комментариями. Много комментариев разбиты постранично //…/…/comment-page-8/?
Александр, любую постраничную навигацию выводит функция is_paged().
Дело в том, что в рубриках или архиве на страницах добавляется тег robots, а на страницах комментариев нет. С чем это может быть связано?
Александр, действительно is_paged() не срабатывает в постраничной навигации комментариев.
Получить страницы комментариев можно через следующую функцию:
get_query_var('cpage')Просто добавьте ее к списку функций.
Здравствуйте, Виталий.
Решил воспользоваться услугой «технический анализ».
У блога явные проблемы с индексацией. Пишите в личку.
Виталий, не могу понять, почему у Вас 334 результата в индексе, если по факту 132, у вас нет ни архивов, ни тегов. Или вы не пользуетесь мета тегом роботс? Я так и не понял, как проверить стоит он или нет … просмотр кода страницы?
С помощью горячих клавиш СTRL+U открываете исходный код страницы и между тегами <head></head> такую строчку:
У меня еще не все страницы выпали из индекса, процесс тянется уже 3 месяца и с каждой индексацией, страниц становится все меньше.
Виталий, спасибо за ответ. Вставил в functions.php, проверил на тегах, вроде бы все ОК. Еще такой вопрос — мне в хедер, что-то нужно вставлять? или то что изначально стоит в хедере с ним и идет увязка. И я еще пробежался по статье о хуках, я так понял мне нужно еще сделать ремув_екшен в хедере, чтобы избавится от ненужного хлама? Прикрепил адрес блога, если у вас есть время и желание — взгляньте, буду очень благодарен вашим пожеланиям и замечаниям.. Это мой первый сайт и он еще в стадии настройки.
В процессе борьбы с дублями я заметил, что из индекса не удаляются страницы с tag. Чем их закрыть непонятно.
У меня возник вопрос — а нужны ли метки на сайте? Если у меня нет облака меток, вообще для чего они нужны, может их вообще удалить? В новых статьях я перестал их добавлять при написании статей.
Василий, каждый решает сам, если Вам не нужны метки, избавьтесь.
Здравствуйте,
Подскажите что не так на сайте, у меня открыты к индексации только посты, навигация метками но они закрыты. Может нужно открыть? Прочитал в нэте что категории не стоит закрывать, вобщем запутался.. Если будет желание проанализируйте мои ошибки.
Категории закрывают для защиты от дублей или когда они неинформативны для пользователя.
Если категории информативны (например, каталоги интернет-магазинов), то их открывают для индексации: чем больше точек входа на сайт, тем лучше.
Дубли в категориях возникают, когда вместе с заголовком идёт часть текста статьи, которая дублирует саму статью. Многие темы вордпресса имеют в записях функцию «Цитата» — если приписать цитату к статье, то в категориях будет выводиться не часть статьи, а цитата — и никаких дублей не возникнет.
У меня на все записи и страницы обернуты почему-то в ноиндекс . Роботс тхт нормальный.
Может я с плагином что не так настроил? Можете посмотреть в чем дело?
Robots meta tag contains noindex instruction — это на всем, кроме главной страницы.
Егор, о чем вы…?
Здравия, Виталий! Не могу найти фаил functions.php. Где он может быть?
Здравствуйте Николай! Файл functions.php. находиться в папке с вашей темой.
Благодарю, нашёл )))
Здравствуйте, почему Яндекс исключает страницы из индекса? Говорит, что присутствует мета-тег noindex, но я все проверил, нигде он не стоит. Роботс заурядный, в коде страниц мета-тега запрещающего индекс не стоит. И Гугл индексирует нормально страницы уже в индексе, которые у Яндекса закрыты. Думал плагин All in One? Да нормально он настроен, я бы вкоде текста увидел.
Где может быть ошибка?
Егор, наверное стоит написать в Платону в службу поддержки.
Обратился к Платону)))
Написал Платону, ответили что страницы индексируются и следующим обновлением войдут в раздачу. Думал отписка. Но после первого же апдейта влетели все разом!
Вот еще вопросик, правильно ли я сделал, что запретил индексацию страниы «Обратная связь» с формой обр.связи и т.п?
По желанию.
Тоже задала вопрос Платону. По поводу сниппетов.
Спасибо Виталию. Объяснил подробно, как нужно сделать.
Не обновлялись в Яндексе 2 месяца.
Судя по отзывам, думала, что получу ответ типа: работайте над своим ресурсом.
Ничего подобного. Решили проблему, правда не знаю как.
Конечно статься информативная, но совершенно не понятно как и что нужно проставить, чтобы индексация сайта была правильная.
Виталий, сколько будет стоить ваша услуга по настройке моего robots.txt ?
A trackback и comments в таком случаи нужно закрывать в Robots.txt ???
Disallow: */trackback
Disallow: */comments
По желанию.
А вы как закрываете comments?
Постраничную навигацию комментариев я закрываю с помощью функции:
get_query_var('cpage')Просто надо добавить ее к общему списку. В общем должно получится так:
function mayak_meta_robots () { if (get_query_var('cpage') or is_archive() or is_category() or is_feed () or is_author() or is_date() or is_day() or is_month() or is_year() or is_tag() or is_tax() or is_attachment() or is_paged() or is_search()) { echo "".'<meta name="robots" content="noindex,nofollow" />'."\n"; } } add_action('wp_head', 'mayak_meta_robots');Виталий спасибо!
Виталий, здравствуйте.
1. Как Вы поступаете с trackback? Подскажите как нужно рассуждать.
2. Если я захочу добавить trackback к общему списку мне нужно прописать is_trackback() or ?
Благодарю за ответ.
Я не закрываю trackback, так как убрал соответствующую ссылку из исходного кода. Подробней тут.
Здравствуйте, Виталий!
Спасибо за статью!
Сделал все, как Вы советуете.
И пару вопросов, если можно:
1. Теперь смело можно менять свой robots.txt на Ваш?
2. В своем robots.txt командой Disallow: /wp- Вы запрещаете индексирование только папки с префиксом wp- или файлов наподобие wp-config.php также? Если да, то как быть с остальными файлами, такими как — xmlrpc.php, index.php, .htaccess и т.п.? Не нужно ли исключить все содержимое корневого каталога сайта, за исключением файла robots.txt и тем самым сэкономить время роботу ПС для индексации полезного контента?
3. Стоит ли в robots.txt запрещать trackback-и, как я понял, это всего лишь ссылки на другие ресурсы, упоминаемые на своем ресурсе, и дублей страниц не создают?
С уважением!
Здравствуйте!
1. Если Вы все сделали, то да.
2. Директива Disallow: /wp- запрещает индексировать как папки, в названии которых есть префикс wp так и файлы движка с данным префиксом.
3. trackback запрещать не обязательно.
Простите за назойливость.
Так как быть с остальными файлами в корне сайта (без префикса wp-)? Закрывать их или нет?
С уважением!
Если у Вас в коне нет левых файлов, то больше закрывать ничего не надо.
Добрый день! Не подскажите, а почему в коде страницы
/feedнет мета-тега robots: ???
И у себя смотрел, тоже нет.
Здравствуйте! У меня на блоге стоит 302 редирект со встроенного фида на ленту feedburner, поэтому там и нет мета тега.
Я код Ваш поставил, везде есть мета-тег robots noindex,nofollow, кроме feed. В чем может быть проблема?
Здравствуйте, Виталий.
Если я правильно понял, то после всех описанных вами действий, дублирующие страницы всё равно должны индексироваться?
Я сделал всё как вы описываете, и решил проверить с помощью яндекс вебмастера, индексируется ли к примеру, страница моего сайта
http://gamehat.ru/tag/my-lands-vxod-v-igru/Яндекс вебмастер показал, что данная страница индексируется. Подскажите, так и должно быть?Дубли не будут индексироваться, если на странице находится мета-тег robots. Александр, для того, чтобы страница выпала из индекса, парой требуется несколько месяцев.
Виталий, простите мне мою непонятливость. Нам ведь в конечном итоге нужно, чтобы дубли не индексировались. А когда мы размещаем мета тег robots, индексация всё равно происходит. Может я что-то не так понимаю?
Александр, мета тег robots в зависимости от параметров запрещает или разрешает индексацию. Просто команду индексировать страницу или нет, робот получает в процессе считывания страницы.
Всё понял. Спасибо!
Здравствуйте!
У меня из-за плагинов получились полные дубли страниц, теперь каждая страница, например, site.ru/anons в индексе присутствует по адресу site.ru/en/anons. Причем физически таких страниц нет и при переходе по ссылке переадресует на страницу без «en». Как можно закрыть от индексации эти страницы?
Здравствуйте Евгений! По видимому страницы с «en» когда-то были и робот их проиндексировал. Если при наборе такого URL перебрасывает на страницу без «en», значит срабатывает 301 редирект. Возможно Вы используете плагин Platinum Seo Pack, в котором есть функция редиректа. Если страниц с «en» в природе нет и на них не ведут ссылки с вашего сайта или других ресурсов, то вскоре они сами должны выпасть их индекса.
Вы правы, такие страницы были несколько дней (сгенерированы плагином, «в природе» они не добавлялись), но успели проиндексироваться.
Platinum не использую, вместо него All in seo.
Ссылок с внешних ресурсов вроде нет, значит будем ждать, когда сами уйдут из индекса и посещаемость вернется (почти в 2 раза упала).
Спасибо вам за ответ. Всего доброго!
Здравствуйте Виталий! Выручите пожалуйста, дело в том, что один ваш комментатор уже подсказал мне метатег роботс. Я посмотрела материалы о нем в гугле и яндексе и просто вставила его между парными тегами head в заголовке. Файл роботс вначале оставила , как есть, но ничего не происходило, тогда я открыла его, как у вас здесь /срисовала у знакомого/. Знакомый сказал, что файл нужно вписать в функцию, но не сказал как и я совсем ничего не вписала.Только сейчас у вас об этом прочла.
Теперь о моих результатах: в вебмастере появились фиды в виде ошибок 404 — много, там же есть теги. Количество статей в индексе уменьшилось с 600 до 200 единственный положительный факт. Индексируется только мусор, а нормальные статьи закрыты. Сайта у меня два, на обоих то же самое. Плагин у меня Platinum Seo, в нем те же дела : noindex, follov кстати в этом месте я не поняла как устранить противоречие.
Еще вопрос код функции <?php здесь не закрыт и если я здесь сделаю вашу вставку, не исчезнет ли у меня сайт. Как-то раз я уже сюда что-то вставляла и сайт исчез мгновенно. Очень надеюсь на ваш ответ.
Здравствуйте! Страх плохой советчик и если у Вас не хватает знаний, то с сайтом может быть что угодно, php очень строгий язык и не терпит ошибок.
Код надо вставить после знака
Далее, с помощью хука wp_head цепляем наше подготовленное действие к функции wp_head(), которая выведет мета-тег robots в шапку страницы, между html тегами . Виталий я не поняла этого выражения. Что делать-то надо?
Это объяснение работы функции и делать ничего не надо, так как все вышеописанное выполняет код.
Добрый день, Виталий. Попробовал ваши рекомендации, но ничего не получается. Все делал через Notepad++, функцию вставлял как положено, но сайт вылетает – хорошо выручает возврат изменений. Не поlскажите, где подробнее можно познакомиться с PHP? Очень хочется сделать сайт нормальным.С уважением, Евгений.
Здравствуйте Евгений! Желание познакомится с php похвально, но бесплатных курсов по php я еще не встречал. Есть такой сайт — myrusakov.ru/php-osnovy.html посмотрите.
Здравствуйте Виталий! Воспользовалась Вашим кодом, но я бы хотела, чтобы рубрики(они же категории) индексировались. Для этого я убрала из кода вот эту строчку or is_category(), но почему то на странице категории мета-тег robots всё равно присутствует. Правильно ли я сделала, или надо по другому категории открывать?
Здравствуйте Вера! Уберите еще iфункцию s_archive(), так как категории тоже относятся к архивам.
Архивы тогда тоже будут индексироваться, правильно я понимаю? И если да, то как архивы закрывать?
Из архивов будут открыты только категории, архивы по датам и т.п. будут закрыты (is_date(), is_day(), is_month(), is_year()).
Спасибо Вам Виталий за помощь! Ваш блог настоящая палочка выручалочка. Удачи Вам!
Здравствуйте, Виталий. Спасибо за совет немного познакомился с PHP. Вставил мета-тег роботс, сайт работает, однако в коде страниц я его не нашел. Скажите,что это может быть. Вставлял сразу после знака <?php, сделал все правильно, до этого подобным образом вставлял функцию rel-canonical и расширял функционал редактора вордпресс – там все получилось.
Евгений, а вы на каких страницах его ищите?
На главной и в статьях.
Евгений, так зачем их запрещать индексировать поисковым роботам? Тогда у Вас вообще страниц в поиске не останется. Вы ищите мета тег robots на тех страницах, которые не должны попасть в поиск.
Понял, извините за тупость, но постараюсь исправиться.С Новым Годом!!!
Виталий, извините. Последний вопрос в этом году: выше показан ваш robots.txt. У меня он состоит из двух частей – для Гугла и для Яндекса. У вас это весь файл или только для Гугла?
Символ «*» работает для любого поисково робота. Если Вы установили функцию mayak_meta_robots (), то можете составить файл robots.txt как у меня.
Спасибо, Виталий. Сейчас файл робота изменю и буду отслеживать изменения. Успехов вам.
Здравствуйте, Виталий! При вставке кода в функцию, сайт перестал падать. Причина была в переносе из блокнота, где не была настроена кодировка UTF-8/без BOM/. На этом мои достижения заканчиваются, код их функции не отображается в хедере. Я такой программист, что сама причины не найду. Может быть подскажете?
Здравствуйте Ксения Юрьевна! Как я могу Вам подсказать, если я даже не знаю где и что Вы намудрили.
Виталий! Как будто бы не намудрила, просто вставила ваш код, после первой строки в файле функция. Но сейчас сделала это не на сайте,в Интернете, а только в Опен сервере. Плагин у меня Platinum seo pack, в нем убрала все запреты, получилось только follow. Не знаю правилен ли именно этот момент? Второй вопрос нужен ли метатег в файле heder.
Похожую статью написал еще Алаич, он предлагает, кроме кода в функции, написать еще и в хедере метатег, как вызывающий файл. Этот момент мне тоже не понятен. У вас поняла, что достаточно написать код в функцию.
Пока что вернула на сайт обычный роботс, только гугл на хостинг пока не заходил.
Ксенья Юрьевна, мета тег robots в Header не нужен.
Спасибо, вам, Виталий, за такой эффективный способ борьбы с дублями. А я понаставила редиректов, но прочитав ваши статьи, поняла, что редиректы грузят блог, и не предотвращают от появления соплей. Так что завтра буду разбираться с кодами. Взяла ваш блог в закладки, очень много полезной информации!
Здравствуйте Виталий! Сайт у меня совсем молодой и только начал индексироваться. Сразу возникли проблемы. Как их решить из-за отсутствия опыта в этих вопросах,пока не знаю.
Первые результаты индексации меня не настораживали.
По совету многих блогеров поставила «галочки» в настойках индексирования SEO Pac. В результатах следующей индексации появились страницы, содержащие мета-тег noindex, хотя в robots.txt их не прописывала.
Как поняла закрылись целые страницы для индексирования?
/2014/12
/2015/01
/2015/01/01
/category/интересные-факты-из-истории-парфюмер и т.д.
Мой robots
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Host:
Sitemap:
http:///sitemap.xmlUser-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: YandexImages
Allow: /wp-content/uploads/
Буду признательна, если подскажите в чем проблема и как ее устранить.
Здравствуйте Екатерина! Вот вы пишите комментарий к статье, а саму статью то Вы читали? Ведь я в ней подробно описал правильную настройку индексации сайта, с помощью мета тега robots. Следуйте инструкциям изложенным в статье и все и Вас будет нормально.
Виталий, статью, конечно прочитала. Поняла, что мой robots можно оставить в таком виде как есть, а просто в файл functions.php вставить указанную вами функцию, и убрать «галочки» из настроек SEO. И, пожалуйста, не судите строго комментарии, так как пока большими знаниями в области технических вопросов блога похвастать не могу. Поэтому и обращаюсь к Вам, как к опытному программисту и блогеру.
Екатерина, просто скопируйте директивы, которые я привел в статье и вставьте в свой robots.txt вместо того, что там есть. Вставьте функцию в файл functions.php, что находится в папке с темой и снимите галочку в плагине.
Виталий, спасибо большое за пояснение. Значит, мой robots.txt следует заменить на:
User-agent: *
Allow: /wp-content/uploads
Disallow: /wp-
Host: seo-mayak.com
Sitemap: http:/
И остальное как выше уже было сказано.
Да, только URL свои поставьте.
Да, это я понимаю ) Спасибо Вам большое. Сейчас все изменю и буду ждать результатов следующей индексации.
Здравствуйте, закинул ваш скрипт в свой блог, всё работает, проверял потом исходный код (с помощью нажать CTRL+U) мета тег появился, теперь я и роботс тхт могу скопировать ваш?
Здравствуйте Сергей!
Если мета тег появился в исходном коде, значит можно открывать доступ в robots.txt.
Здравствуйте. Все расписано очень подробно, спасибо. Скажите, пожалуйста, почему когда я добавляю в functions.php после тега <?php код, который Вы дали, у меня кроме бэкграунда пустая страница только?
В общем вставила код напрямую (раньше через блокнот). При просмотре кода страницы — нет <META name="ROBOTS" CONTENT="noindex, nofollow"/>
Должно быть или нет? Извините за глупые вопросы, я еще не «очень» в этом. Спасибо.
В исходном коде мета тег должен появится только на тех страницах, которые не должны индексироваться. На страницах с записями его и не должно быть. Проверьте страницы с категориями, если в исходном коде нет мета-тега robots? то значит что-то не правильно.
Спасибо за ответ. Еще вопрос, можно в robots.txt вот так написать:
User-agent: *
Allow: /wp-content/uploads
Disallow: /wp-
Disallow: /trackback
Disallow: */comments
Disallow: */trackback
Disallow: */*/trackback
Allow: *?replytocom
User-agent: Yandex
Allow: /wp-content/uploads
Disallow: /wp-
Disallow: /trackback
Disallow: */comments
Disallow: */trackback
Disallow: */*/trackback
Allow: *?replytocom
Host: site.ru
Sitemap:
http://site.ru/sitemap.xml.gzSitemap:
http://site.ru/sitemap.xmlsite.ru конечно заменяю своим
Спасибо, Виталий. Проверила страницу рубрик, появился мета тег. Скажите, главное, чтобы он был в хедере? У меня он в самом низу хедера, а вверху чего только нет)))). Это нормально? Спасибо.
Алла, мета-тег должен располагаться между тегами <head></head>. А вот что у Вас много всего в хедере — это плохо!
Виталий, здравствуйте! Вы уж извините за беспокойство, но при нажатии CTRL+U поняла, что мой мета тег оказался внизу. Получается я что-то не так сделала. Вроде бы все делала по Вашей инструкции. Единственный момент, который не поняла из статьи: «Далее, с помощью хука wp_head цепляем наше подготовленное действие к функции wp_head(), которая выведет мета-тег robots в шапку страницы, между html тегами .» Может в этом причина и я не вывела мета тег в начало страницы. Если можно, поясните как надо с помощью хука wp_head цеплять наше подготовленное действие к функции wp_head()
Здравствуйте Екатерина! Вы все правильно сделали мета тег у вас встал правильно, между тегами head. Просто у Вас в шапке сайта много всего. Про функцию и хук wp_head читайте тут.
Да, уже прочитала и сделала. Спасибо большое за помощь!
Здравствуйте, Виталий! Подскажите, пожалуйста, в чем может быть причина следующей ситуации. Все опубликованные статьи моего блога, начиная с 20.12.2014, при проверке их URL на Вебмастере Яндексса получаю ответ: Адрес страницы уже известен роботу, но в данный момент контент страницы ещё не проиндексирован. Такой результат получаю на протяжении всего времени, хотя робот посещает блог регулярно. Получается робот посещает сайт, но не индексирует страницы и не выводит их в поисковую систему? Я при этом периодически делаю анонс статей на сайте subscribe.ru. Значит ли, что теперь мои статьи на блоге будут считаться не уникальными для робота?
В общем, столько у меня вопросов. Если можете, подскажите в чем может быть проблема.
Екатерина, Ваш сайт еще очень молод. Я бы советовал Вам сосредоточиться на наполнении сайта, его обустройстве и других чисто созидательных работах. О продвижении надо думать не ранее, чем через 3 месяца, а то и пол года.
Робот плохо индексирует молодые сайты и это должно быть всем раз и навсегда понятно!
В алгоритмах Яндекса нечто поменялось. Индексация статей происходит медленно, причем не только на молодых сайтах. У меня тоже висит уже три не проиндексированных Яндексом статьи — причем первая из них опубликована 12.01. Не месяц с лишним, но… и происходит сие уже несколько месяцев.Ответ при проверке ЮРЛ в Вебмастере аналогичен.
Раньше Яндекс мои статьи индексировал за пару часов, Гугл задерживался. Нынче происходит почти наоборот. Я даже плагин ставил от Яндекса, позволяющий пинговать новые статьи. Только результат остался таким же. А плагин вскоре глючить стал, и я его выбросил.
Притом статьи, проиндексированные с задержкой, занимают в поиске порой очень неплохие позиции. Зависит это и от частотности запроса, и от релевантности статьи этому запросу. А сам блог получил вновь ТИЦ 10 (был, потом «потерялся», теперь вновь «нашелся»)
Так что, Екатерина, пишите качественные статьи. И все придет!
Алгоритмы конечно меняются, но испытательный срок для молодых сайтов «песочницу» еще никто не отменял.
Виталий, можно спросить? Не знаю, в тему или нет, но первая мысль была обратиться к Вам. Вот страница предпросмотра записи (например,
мой сайт/?p=3417&preview=true) попала в гугл. Не пойму как, но вот в ее коде нет мета тега robots. Такое можно как-то исправить? И главное, она открывается….а гугл пишет, что страница не найдена…Не пойми что!!! Спасибо.Алла, по всей логике поисковый робот не может знать пароль от Вашей админки и следовательно он не может индексировать черновики. Но! Если ссылка на черновик появится на любом другом ресурсе или это будет внутренняя ссылка на Вашем же сайте, то робот 100% проиндексирует данную страницу.
Мета тег в черновик можно добавить следующим образом:
function mayak_preview() { echo "<meta name='robots' content='noindex,nofollow' />\n"; } if ( isset( $_GET['preview'] ) ) add_action( 'wp_head', 'mayak_preview' );Здравствуйте, Виталий. Я уже писала, что все сделала по Вашей статье (все вроде хорошо, количество страниц в гугл уменьшаются). У меня вопрос про feed. Если открыть страницу example.com/statja/feed/ и посмотреть код, то в нем нет мета тега. Он должен быть или нет? Спасибо.
Здравствуйте Алла! Вы почитайте мою статью «Перенаправление встроенных в WordPress RSS каналов на ленту Feedburner» и таких страниц на сайте у Вас не будет.
Здравствуйте, Виталий! Установила метатег robots по вашему совету уже месяца 3 назад. Сейчас у меня исчезли все архивы. Но не просто исчезли, показываются как ошибки 500. Страницы с архивом открываются, но они совершенно пусты. Так должно быть или что-то неправильно?
Если вы установили функцию 3 месяца назад, а архивы исчезли только сейчас, то функция тут не причем!
Виталий, архивы исчезали постепенно, я просто не пойму хорошо это или плохо. Меня смущает, что открываются пустые страницы архивов.
Ведь у меня и не только, архивы остались на месте, уверен причина в другом. Проанализируйте свои действия за последние три месяца, что вы еще меняли. По хорошему надо обязательно делать резервные копии файлов, а также базы данных, чтобы можно было при возникновении непредвиденных обстоятельств все поправить.
Виталий, привет! У меня стоит плагин Platinum SEO Pack и еще есть плагин meta-robots, как я понимаю у меня должно быть все проставлено. Однако дубли появляются. Правда их не много но все же. Чего не хватает…. Хотелось бы понять. Уже столько прибамбасов наставила.
Здравствуйте Рита! От количества «прибомбасов» не зависит правильная настройка индексации. В статье я постарался все понятно расписать, относительно мета-тега robots. Если есть вопросы, спрашивайте конкретно, что Вам непонятно.
Здравствуйте, Виталий!После выполнения ваших рекомендаций за 3 месяца количество дублей значительно уменьшилось, спасибо. Но вебмастер гугла показывает постоянный рост attachment_id, wptouch_switch, redirect. Что это за звери, можно ли с этим бороться?
Здравствуйте Игорь!
Бороться можно, сокращая количество плагинов.
Здравствуйте, Виталий. Очень надеюсь на Ваш ответ.
На сайте совсем недавно обновился плагин ворд пресс и его форма содержит настройку индексирования — плагин Platinum SEO Pack.
За февраль — апрель сайт «падал» уже дважды, причем тотально. Пытаюсь сама разобраться, но у меня, видимо, все-таки пока не хватает знаний. Сейчас все выглядит так:
Использовать noindex для рубрик:да
Noindex для архивов за день: да
Noindex для архивов авторов:да
Noindex для архивов меток:
Use noindex for the Search page:
Use noindex for the 404 page:
Use noindex for paginated pages/posts:
Use nofollow for paginated pages/posts:
Exclude site from the Open Directory Project:
Exclude site from Yahoo! Directory:
Но что мне закрывать еще, я не могу разобраться. Меток к статьям я прописываю много — по теме. Фид, о котором вы писали я здесь не нашла.
Здравствуйте Виктория!
У вас тотальная ошибка в плагине All in One SEO Pack, я таких раньше не видел. Текст статьи находится в области head, а точнее в содержимом мета-тега keywords. Так быть не должно! Беглый анализ показал наличие крупных ошибок на сайте, которые его похоронят, если срочно не предпринять меры. Подумайте и напишите мне через форму обратной связи!
Скажите, что делать? Вы сможете помочь?
Здравствуйте! Подскажите пожалуйста Допустим я хочу закрыть от индексации только одну рубрику то можно прописать is_category(‘9’); где 9 id рубрики. А как быть если нужно закрыть определённые страницы сайта Такие как: Карта сайта, страница обратной связи?
Да алексей is_category(id) прописать можно, только цифры прописывайте без кавычек. Если надо выделить несколько категорий, то id на прописать через запятую: is_category(id,id,id). Запретить индексацию страниц можно средствами All in One SEO Pack, в интерфейсе плагина внизу самой страницы.
А можно ли как нибудь закрыть страницы без плагина?
Нашёл два решения
is_page_template (‘contacts.php’) //срабатывает когда для создания страницы используется файл шаблона
is_page (array(131, 133)) // для определения статических страниц где числа ид поста
подскажите нужно ли закрывать страницу ошибки 404 ?
для неё тоже есть условный тег is_404 ()
Я не закрывал, но думаю смысл есть.
У меня роботс через плагин All in One Seo Pack. не судите строго я все уже перебрал как мне зделать чтобы индексировалось главная,и рубрики.как у всех новостных сайтов.Ваш мета тег подойдет.Или что то посоветуете
Мета тег robots — лучшее «оружие» веб-мастеров на данное время. С помощью мета тега можно тонко настроить индексацию сайта. В умелых руках он просто незаменим.
Извините Виталий что по имени вас неназвал, запарился.
Здравствуйте Виталий! в вашем примере вы закрываете nofollow А каких именно ссылка идет речь? Внутренних и внешних? А не будет ли более правильным если роботу разрешить следовать по внутренним ссылкам чтобы он индексировал их? а внешние запретить к индексации каким либо другим способом.
Атрибутом nofollow помечаются только внешние ссылки, внутренние им закрывать смыла нет. Другое дело, когда идет речь о мета теге robots, с атрибутом nofollow, но им закрывают страницы, а не ссылки.
У вас выше написано
(Привожу список всех параметров мета-тега robots:
index — индексировать текст страницы.
noindex — не индексировать текст страницы
follow — следовать по ссылкам и индексировать их.
nofollow — не следовать по ссылкам и не индексировать их)
чего то я совсем запутался!
Алексей, вот у Вас имеется страница, которую надо закрыть от индексации. Вы выводите в область head мета-тег robots с параметрами noindex, nofollow. Тем самым вы запрещаете роботу индексировать текст страницы и все ссылки находящиеся на ней. Если мета-тег будет содержать параметры noindex, follow, то робот не будет индексировать текс страницы но будет следовать по всем ссылкам (неважно, внутренние это ссылки или внешние) и индексировать их. Отдельно к какой-либо ссылке мета-тег не ставиться. Теперь понятно?
Именно так я это и представлял прочитав вашу статью Вот у меня и появился вопрос Так ли нужно закрывать все внутренние ссылки nofollow А не будет ли более правильным если роботу разрешить следовать по внутренним ссылкам чтобы он индексировал их?
Я так понимаю если страницу категории (категорию не продвигаю) поставить noindex, follow то категория не будет индексироваться а внутренние ссылки ведущие на статьи проиндексируются Какая от этого будет польза? Будут ли при этом индексироваться лучше статьи?
Если Вы про индексацию, то все статьи должны быть представлены в xml карте сайта и именно там в первую очередь поисковый робот с ними познакомится. Если Вы не продвигаете категории, тогда зачем Вам пропускать через них статический вес, ведь ссылки на категории — это сквозные ссылки.
Добрый день. Посмотрел у вас в суплементал такие страницы как:
seo-mayak.com/wp-content/themesseo-mayak.com/wp-content/plugins
Как они туда попадают, чтото не понятно?
Мах, если Вы имеете в виду такую страницу
seo-mayak.com/wp-content/themes/cooking/ajax-koll.php, то все просто. Это части сайта, которые скрыты с помощью Ajax/ Подробней тут. а в соплях файл потому, что путь до него закрыть в файле robots.txt, для надежности чтобы Гугл не читал Ajax. А вот с плагинами надо разобраться? что-то ссылка какая-то непонятная.Виталий, спасибо за дотошную статью, все предельно понятно. Но у меня имеется один нюанс и хотелось бы услышать Ваше мнение.
Я использую на своем блоге плагин Платинум СЕО Пак. Так вот, если убрать абсолютно все галочки запрещающие индексацию, то в коде страницы по умолчанию прописывается значение . То есть, это уже никак не убрать.
Если же выставить в плагине заново все галки запрета, то тогда в теле страницы пишется . Об этих параметрах Вы писали в статье.
Теперь я сделал все по Вашей инструкции и уже в коде страницы имеется два мета-тега. Первый сверху встречается тег плагина со значением . А ниже по коду идет наша настройка со значениями .
Так вот вопрос, влияет ли очередность расположения мета-тегов в теле страницы на выполнение их поисковой машиной? Либо же все равно, в любом случае за основу будет браться первый тег с разрешающим значением «follow». Выскажите свои мысли, пожалуйста.
Здравствуйте Виталик. Действительно в плагине Платинум СЕО Пак если убрать запрещающие галочки, то будет выводится мета-тег robots с разрешающими параметрами index, follow. Если поисковый робот встретит на странице два мета-тега robots с противоречащими параметрами, то будет сделан выбор в пользу разрешающих директив. В плагине All in One SEO Pack такой проблемы нет.
Хм, получается, что с этим плагином от «соплей» никак не избавиться. Ведь текст паук не будет индексировать, а вот ссылки на заблокированных страницах да.
is_category() вывожу для данной функции метатеги noindex, nofollow но почему то страницы сайт.ru/category/посты статей/ не выводятся метатеги noindex, nofollow
Здравствуйте, Виталий! У меня такая проблема. На моём сайте всего 607 страниц, а когда я зашёл в Яндекс вебмастер и посмотрел статистику, то там почему-то было написано, что загружено роботом 1219 когда страниц в поиске всего 607. Подскажите пожалуйста в чём проблема и как её можно решить. Спасибо.
Юрий, посмотрите какие страницы загружены, ведь робот Яндекса загружает даже те страницы, которые закрыты к индексации. Неизвестно зачем он их загружает, но что есть то есть. Посмотрите сколько у Вас исключенных страниц. Возможно есть неканонические урлы и урлы с ошибкой 404, от которых можно избавиться.
Мое очередное спасибо(за сегодня это уже третье) за полезную информацию!
Скажите Виталий,
1)стоит ли на сайте-статейнике закрывать индексацию is_category() или достаточно закрыть is_paged() ?
2)не вызовит ли трудности у поиковиков индексация при закрытом is_paged(), может для закрытия пагинации использовать meta name=»robots» content=»noindex,follow» вместо
meta name=»robots» content=»noindex,nofollow» ?
Благодарю.
Закрывать категории или нет, каждый веб-мастер должен сам для себя решить, проанализировав трафик, на предмет точек входа. Если Вы не хотите закрывать категории, тогда из функции надо убрать is_category() и is_archive(), так как категории относятся к архивам.
Что касается параметров мета тега robots. Я думаю нет смысла разрешать роботы следовать по ссылкам на страницах пагинации. Почитайте про статический вес.
Понимаю что не по теме немного, но просто ну очень важно узнать ваше мнение, и если можно помогите. Я по поводу ключевых слов, а именно тех ключевиков, которые мне показал google Search Console. Так вот, пункт Ключевые слова в содержании кроме нужных ключевиков, то есть по теме сайта, выдал кучу вообще «левых». Мало того, эти «левые» слова стоят первые по важности! Вот к примеру:
2. записи (формы слова: 2)
4. комментарий (формы слова: 2)
5. cite
6. title
8. кэп (это имя автора, то есть меня)
9. авторе (формы слова: 2)
Я ничего не понимаю… Стоит All in One SEO Pack настроен по вашей рекомендации (то есть в соответствии с рекомендациями вашей статьи по этому плагину). С какого индекс Googl берет эти «левые» ключевики и как мне их убрать то индекса. Или пусть стоят? К примеру на сайте сделаном гугловским блоггер «левых» ключевиков вообще нет. Почему на WP такая ерунда получается? Сразу говорю, в языках кода я не силен. Заранее спасибо за ответ.
Пока не берите в голову, просто развивайте сайт и наполняйте его контентом.
Здравствуйте. Вроде ничего не получилось. Сделал как написано здесь и в статье про ВП-Хед. Смотрю, а на всех страницах, категориях и датах на календаре (Ctrl+U) везде написано: meta name=»robots» content=»index,follow». У меня не работает? И как сделать, чтобы были открыты только Главная и записи, а остальные страницы (контакты) закрыты? Вручную не прописать? Спасибо.
Здравствуйте Сергей, функция работает, просто теперь у Вас выводится два мета-тега robots. Второй выводится плагином Meta Tags.
Где этот плагин, как его отключить?
Нашел. Он не в функшн, а в хедере. Кстати, а можно его всего потереть? Спасибо.
Нужно!
А у меня такая финтя — Host: мой сайт ру, так вот Яндекс при проверке robots.txt ругается на эту директиву. Причем на host ругается только на cms WP. На других CMS все нормально. Это я к тому, может у кого тоже подобное было.
Добрый вечер, Виталий! Использую Yoast SEO plugin. В настройках везде убрал галочки с meta name=»robots» content=»index,follow». Добавил Ваш код в functions.php и ничего не сработало:(( Проверял на страницах пагинации и на странице результатов поиска. Вместо нужного везде . Может с Yoast SEO Plugin какие-то нюансы есть? Спасибо.
Здравствуйте Артем! Я не пользовался Yoast SEO Plugin, но по-моему в нем мета-тег robots с параметрами index,follow выводится по умолчанию и убрать их нельзя. Скорее всего после внедрения моей функции у Вас выводится 2 мета-тега, просто второй Вы не увидели.
Виталий, здравствуйте!
Немного не понял эту функцию, function mayak_meta_robots () {, а именно слово mayak.
Как я понимаю, это название Вашего сайта или нет?
А мне какое слово писать для своего сайта?
Прошу разъяснить, спасибо!
Здравствуйте Виталий! Ничего в функции менять не надо, mayak — это моя метка, как разработчика.
Спасибо Виталий, что помогаете разобраться в таком непростом деле молодым блоггерам!
На своем сайте я вывожу к индесации статьи, статические страницы и категории. Из Ваших пояснений и комментов я понял, что мне в фукцию надо вставить:
if (is_feed () or is_author() or is_date() or is_day() or is_month() or is_year() or is_tag() or is_tax() or is_attachment() or is_paged() or is_search())
А статические страницы будут выводиться при такой конфигурации фукции? Они мне нужны, спасибо.
Читаю Ваши статьи запоем и не только читаю, но и стараюсь воплотить их в жизнь, поэтому извините за бесконечные вопросы!
Да Виталий, при такой конфигурации статические страницы будут индексироваться. Я рад, что мои статьи Вам полезны!
Здравствуйте,Виталий!!! не буду рассказывать всю историю,это долго( у меня на сайте была многомесячная война с вредоносным кодом и 7 тыс страниц чужого контента).Ваш код наиболее правильный.В отличии от других «предложений»,кот.я пробовала(в результате -из индекса выпал весь контента сайта,не только чужой,но и мой),в вашем коде мне понравился хук wp_head.Должно сработать.Сейчас проверила,все встало очень корректно.Спасибо.
Приветствую, Виталий. Почему случается так, что рубрика индексируется, не смотря на то, что мета тегом robots запрещена индексация (noindex, nofolllow)(использовал вашу функцию), в роботе разрешена, как вы и писали это сделать и так же в All in Seo Pack галочки не стоят. Гугл тем не менее проигнорировал, теперь дубль появился из за этого, так как на главной тоже самое. Помогите разобраться.
Здравствуйте Артем! наверное Гугл проидексировал категорию раньше, чем вы внедрили мета-тег robots, а на переиндексацию требуется время. Вы можете вручную удалить рубрику из индекса, через интерфейс вебмастера Гугл.
Буду надеется, что так. Посмотрю как поведет себя Гугл при следующем внедрении новой рубрики. Если не обратит внимания на noindex, nofollow, то слезно буду просить прокомментировать данную ситуацию. Спасибо.
Добрый день! Наткнулся на ваш блог — очень интересно, завис. Спасибо в общем.
По теме вопрос: как правильнее закрыть админ-панель сайта на вордпрессе? в роботсе ведь ее не укажешь
А зачем ее закрывать, роботы не могут зайти как админ, ведь пароль им не известен и следовательно не смогут проиндексировать данные страницы.
Здравствуйте! После того, как вставил Вашу функцию в файл functions.php и сохранил, сайт перестал работать.
Пришлось идти на хостинг и восстанавливать сайт. Что могло случиться?
Здравствуйте Юрий! php не терпит ошибок, возможно вы не корректно вставили функцию или скопировали не полностью.
После тега <?php поставил enter(перенес на новую строку), потом поставил ваш код и сохранил.
Тогда это видимо особенности Вашей темы, трудно точно сказать. Функция исправно работает на многих сайтах.
Обалдеть инфы сколько. Доходчиво! Применю при случае…
Cпасибо Виталий!Ваши темы всегда рабочие,учусь у Вас!
Здравствуйте Виталий! Прописала в robots вот так Disallow: /wp-; однако гуглу поисковику по фиг все равно сопли кидает skrinshoter.ru/s/200816/E99rpt?a
Может поконкретнее все таки ему расписать Disallow: /wp-admin
Disallow: /wp-content/plugins. Или ему все равно?)
Здравствуйте Марина!
Гугл кидает в сопли те урлы, на которые ведут внутренние ссылки, вот эти ссылки и надо искать.
CSS и JS файлы, ссылки на которые есть в исходном коде надо открывать, но точечно, с помощью директивы Allow: /
спасибо за ответ!но не только эти CSS и JS файлы индексирует,несмотря на закрытость но и другие,например /wp-content/plugins/auto-highslide или dizainnogteiy.ru/wp-includes/js/tinymce или /wp-admin/admin-ajax.php и это несмотря на то,что все закрыто! как с этим бороться непонятно)
Марина, Гугл индексирует то, что даже вооруженным взглядом не видно. Откройте, то, что он просит, но точечно.
Добрый день, Виталий!
Яндекс проиндексировал кучу ссылок вида site/category/post.html?_utl_t=vk
Это ссылки в соцсети, при помощи плагина UpToLike Social Share Buttons (в данном случае ссылка на статью, размещенная Вконтакте, а есть и Твиттер, и так далее).
При этом атрибут rel=»canonical» настроен правильно, ссылка в коде указывает на каноническую страницу. Но Яша играет по своим правилам! И непохоже, чтобы неканонические страницы из индекса удалялись. Что тут можно предпринять, как считаете?
Здравствуйте Александр!
Атрибут каноникал носит рекомендательный характер и есть вероятность что Яндекс может его проигнорировать.
Скажите после .html гет запрос _utl_t идет во всех ссылках на соц сети или на каждую сеть разный гет запрос?
Добрый день! Отличается лишь окончание ссылки. Вот так заканчивается ссылка в Твиттер =tw
А так, вероятно, в Одноклассниках =ok
Александр, лучше избавиться от этого плагина, раз он такие ссылки генерирует.
Тоже так думаю. Замену подыскиваю. Много уж перепробовано способов установки кнопок соцсетей — и плагинами, и кодом. Здесь большой плюс, на мой взгляд — удобное расположение кнопок для пользователей с мобильных.
Здравствуйте, Виталий!
Начала читать статью и теперь просто в ужасе!
Ничего ведь не поняла!
Кроме того что мой сайт вообще не настроен к индексации.
Помогите советом, у меня файл роботс такой (пишу кириллицей):
юзер-агент: *
Дисаллоу: /ос-админ/
А далее уже под формой ещё написано
Важно:
Запретите индексацию папки (ос-админ):
хттп://сайт.ру/ос-админ
Так же запретите индексацию папок:
хттп://сайт.ру/юзер/логин
хттп://сайт.ру/юзер/регистер
хттп://сайт.ру/юзер/рековер
Мне нужно так же столбиком их все поставить под юзер-агент?
Или в каждую строку писать Дисаллоу, по образцу первой строки?
Простите чайника, просто уже не соображу что делать…
Очень надеюсь на Ваш скорый ответ!
Здравствуйте Елена!
Вы лучше не кириллицей напишите, а вставьте код с robots.txt прямо в комментарий, а то так ничего непонятно.
Добрый день!
Давно уже использую ваш код (функцию) для закрытия дублей страниц. И все было хорошо до сегодняшнего дня, сегодня в Яндекс заметил что появились в индексации ссылки на теги, рубрики и т.д. Функция перестала работать? Как это можно исправить?
Заранее спасибо за ответ, свой сайт указал.
Здравствуйте Денис!
Функция работает. Думаю ничего исправлять не надо и Яндекс в скором времени исправит свою ошибку.
Странно, пробовал удалить в ручную, но яндекс не позволяет это сделать, пишет что ( Нет оснований для удаления. Сервер не возвращает код 404, индексирование не запрещено ни в robots.txt, ни метатегом noindex) к примеру вот эта страница: strofeyem.ru/ryby/feed
Перекройте страницу в robots.txt
Виталий, спасибо за материал!
Всё не могу решить — использовать «noindex,nofollow» для рубрик или нет (у меня там записи выводятся в виде анонсов — с ссылкой «Читать далее»).
Некоторые говорят, что если применить «noindex,nofollow» к рубрикам, то будет обрываться цепочка в перелинковке — типа того, что на каждой странице есть ссылки на рубрики (утекает «вес»), а с рубрик к страницам ссылки не будут учитываться («вес» не переходит обратно).
Как Вы к этому относитесь? Вижу, что на своем блоге Вы применили «noindex,nofollow» и к рубрикам (как и описали в статье).
Я все открыла для гугла и кое что запретила для Яндекса, страниц в индексе одинаковое количество. Вроде дублей нет, проверила. Может это от темы зависит?
Виталий добрый день!Первый раз наткнулся в интернете на грамотные статьи со знанием основ программирования.Виталий, у меня в файле functions.php стоит такой код: /* Вставляет мета-тег роботс noindex,nofollow постраничного разбиения */
function my_meta_noindex () {
if (
is_paged() //
) {echo "".''."\n";}
}
add_action('wp_head', 'my_meta_noindex', 3); // добавляем свой noindex,nofollow в head
Это после преобразователя на вашем сайте.Ответьте пожалуйста и на мой вопрос.Если я вставлю код, который предлагаете Вы,не будет ли конфликта с этим метатегом роботс который стоит у меня, или лучше этот код убрать и заменить вашим?Как сделать лучше?
Старый код надо убрать.
Спасибо Виталий!
И еще стоит плагин — Yoast SEO,он по умолчанию не генерирует метатег роботс?
Точно не помню, проверьте…
Виталий,после того как вставили в файл functions.php ваш метатег роботс,у меня плагин — Yoast SEO, в нем надо что-нибудь настраивать?Очень жду вашего ответа по моим вопросам.С Уважением к Вам.
Поишите в интернете материалы по настройке Yoast SEO, в рамках комментария всего не объяснишь.
Виталий, уж извините пожалуйста,что задаю так много вопросов.Поиск яндекс и гугла не дал мне ответов на мои вопросы,а спросить больше не у кого.Повторяющееся метаописание, которое появляется в гул вебмастере может уйти после того как поставить в файл functions.php ваш метатег роботс?
Возможно, все зависит какие страницы идут с повторяющимся описанием.
Виталий с нетерпением жду вашего ответа на свои вопросы,еще у меня возник один вопрос:а если этот код, еще добавить trackback,поможет ли это от дублей trackback?
Виталий, странная вещь получается, стоит редирект в .htaccess на trackback, а дублей все равно 788.Остальных на которые стоит редирект дублей нет.Ничего не понимаю.
Виталий,еще что интересно в яндекс вебмастере в поиске 1 313 страниц,в гуг вебмастер проиндексировано 952 страниц.Всего статей у меня на сайте 952.Как тут разобраться какие лишние проиндексированы, дубли.И как их убрать.Все манипуляции, написанные в этой статье я сделал.Будут ли дубли постепенно уходить?
Время покажет.
И еще у меня вопрос,после всех сделанных изменений описанных в этой очень полезной статье,уйдут ли заблокированные ресурсы, которые находит гуг вебмастер?
Гугл требует доступ к css и js файлам, этот доступ надо дать.
Виталий, этот доступ я сделал вот так- User-agent: *
Allow: /wp-content/uploads
User-Agent: Googlebot
Allow: /wp-content/themes/*.css
Allow: /wp-content/plugins/*.css
Allow: /wp-content/uploads/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/plugins/*.js
Allow: /wp-content/uploads/*.js
Allow: /wp-includes/css/
Allow: /wp-includes/js/
Allow: /wp-includes/images/
Правильно?
Проверьте на доступ ко всем css и js файлам, что есть в исходном коде, с помощью инструмента проверки robots.txt в Гугл или Яндекс вебмастере.
Виталий доступ есть,но почему-то никак не могу, уже неделю мучаюсь, вставить вот этот код в .htaccess для редиректа с www на без www,сразу же пропадают все страницы, кроме главной, ужас какой-то.А без этого редиректа дублей будем море и не знаю как решить эту проблему, кому только этот вопрос не задавал.
RewriteCond %{HTTP_HOST} ^www.gumirov1963.ru$ [NC]
RewriteRule ^(.*)$ http:// gumirov1963.ru/$1 [R=301,L]
Игорь, в WordPress редирект с www на без www и обратно настраивается автоматически, достаточно прописать домен с www или без в настройках блога (Настройки — Общие).
Виталий в настройках-общие у меня прописан домен без www,но почему-то сервис
pr-cy.ruговорит, что у меня нет перенаправления?Я бы не доверял всяким там сервисам…
А где тогда проверить этот редирект ?
Замените мою функцию на эту:
function mayak_meta_robots () { if (strpos($_SERVER['SERVER_NAME'].$_SERVER['REQUEST_URI'], '/trackback ') or is_archive() or is_category() or is_feed () or is_author() or is_date() or is_day() or is_month() or is_year() or is_tag() or is_tax() or is_attachment() or is_paged() or is_search()) { echo "".'<meta name="robots" content="noindex,nofollow" />'."\n"; } } add_action('wp_head', 'mayak_meta_robots');Игорь, у меня на вас больше нет времени.
Спасибо большое Виталий, что уделили мне чуть-чуть времени.
Виталий ответьте пожалуйста на эти вопросы:Виталий с нетерпением жду вашего ответа на свои вопросы,еще у меня возник один вопрос:а если этот код, еще добавить trackback,поможет ли это от дублей trackback?Виталий, странная вещь получается, стоит редирект в .htaccess на trackback, а дублей все равно 788.Остальных на которые стоит редирект дублей нет.Ничего не понимаю. Редирект страницу с trackback перенаправляет,а когда в гугле набираешь site:gumirov1963.ru trackback появляется 788 страниц.Значит эти дубли в индексе?
Вставьте вот этот код в строчку, где перечисляются функции через or:
И проверьте перекроются ли мета-тегом урлы с trackback.
Виталий этот код strpos($_SERVER[‘SERVER_NAME’].$_SERVER[‘REQUEST_URI’], ‘/trackback ‘
вставить в файл functions.php?
Виталий, еще раз крепко, крепко извиняюсь на назойливость,но после вставки этой строчкиstrpos($_SERVER[‘SERVER_NAME’].$_SERVER[‘REQUEST_URI’], ‘/trackback ‘ трекбеки не ушли.
Вы попробуйте удалить урл с трибеком через Яндекс вебмастер, если удалиться, значит функция работает, если не удалится, то не работает.
Тогда закрывайте трибеки в robots.txt, директивой
Disallow: */trackback.
Но лучше найти, где генерируются урлы с трибеком и разобраться с проблемой в корне.
Пишет вебмастер яндекс нет оснований для удаления
Большое спасибо Виталий, больше не буду отнимать у Вас время и так уже только на меня его тратите.
Виталий, с сегодняшнего числа в яндекс вебмастере почему-то появилось к индексации еще 799 страниц, стало в обще сложности 1169. Хотя до сегодняшнего дня было почти столько сколько статей написано, то есть все было нормально.У меня вопрос:Это появились дубли в Яндексе, если да, то откуда они взялись. Я ведь сделал как написано в этой статье. Если нет, то почему появились эти ссылки? Ответьте пожалуйста на мой вопрос.
Игорь, Я не знаю, откуда взялись те или иные ссылки. Если хотите знать точно, заказывайте анализ сайта. Бесплатно разбираться в ваших проблемах никто не будет.
У некоторых ссылок на конце feed.Что с ними делать?
Добрый день! Позволю себе ответит за Виталия
1.В файле htaccess пропишите RewriteRule (.+)/feed /$1 [R=301,L]
2. в файл functions.php и в самое начало, после php тега <?php, вставляем такую функцию:
function mayak_meta_robots () { if (is_archive() or is_category() or is_feed () or is_author() or is_date() or is_day() or is_month() or is_year() or is_tag() or is_tax() or is_attachment() or is_paged() or is_search()) { echo "".'<meta name="robots" content="noindex,nofollow" />'."\n"; } } add_action('wp_head', 'mayak_meta_robots');3.Один из указанных способов наверняка избавит Вас от дубля под названием feed, а второе решение и от других дублей! Процесс не быстрый, прописывайте и ждите пару месяцев.
4. Внимательно изучите статью «Мета-тег robots. Правильная настройка индексации сайта», здесь все подробно расписано,что необходимо делать и вообще сайт В.Кириллова — это кладезь готовых решений, особенно для людей которые не сильно разбираются в кодах! Просто внимательно изучайте то, что пишет Виталий!
Марина, все что Вы написали, у меня стоит.
Виталий, конечно же понятно ваша загруженность,но раз уже Вы подняли такую животрепещущую тему, заявили о себе как о мастере, ответьте тогда пожалуйста на вопросы. Виталий, если проиндексированы страницы мобильной версии сайта (после подключения плагина WP Mobile Edition). Считаются ли эти страницы дублями и стоит ли их закрывать от индексации?
Я не знаю, что за урлы создает плагин WP Mobile Edition, т.к. им не пользовался и Вам не советую. Делайте или заказывайте адаптивную мобильную версию, при которой не создаются новые урлы.
Виталий, а когда мы закрываем страницы с категориями, ведь если я не ошибаюсь-это внутренние ссылки. В яндексе вебмастере они квалифицируются как неработающие внутренние ссылки, за которые снижается рейтинг сайта и позиции в поисковиках. Или я в чем-то не прав? Разъясните пожалуйста.
Ответ здесь.
Виталий, не хотите отвечать на мои вопросы, но все-таки наверное не все так гладко, раз после всех настроек написанных в этой статье, у меня полно дублей с category, feed, tag, page, trackback? Когда в поисковой системе набираю site:gumirov1963.ru trackback, то выдается полно дублей и другие также, да и в вебмастере Яндекса тоже. Неужели ваш метод работает не для всех?
Игорь, какой Вы не сдержанный! Любой сайт требует тонкой комплексной настойки. Набирайтесь терпения и грызите гранит сайтостроения.
Виталий, сколько у вас терпения!)))
Игорь, все работает, если все изучить, понять принцип и граммотно настроить! А если все-таки не получается, подумайте над тем, чтоб обратиться к профессионалам, которые решат это за вас (не бесплатно, конечно)
Наталья. у меня дубли с trackbackом слали снижаться в гугле вебмастере, я думаю,что наверное и яндекс вебмастер подтянется.Но это тема ведь уже давнишняя, еще Борисов Александр ее поднимал,за некоторым исключением те же манипуляции.Просто все время раньше дубли были только гугле вебмастере, но почему сейчас в яндексе столько.Я думаю, что все-таки со временем уйдут они.Большое спасибо Виталий за подробный анализ этой проблемы.
А как быть, если нужно динамически одним ботам разрешать индексацию, а другим запрещать.
Можно ли городить огород из нескольких тэгов типа:
И как они поведут себя если к этому будет еще добавлен общий тег:
Т.е. интересен момент совместного использования нескольких вариантов параметров для разных роботов.
тэги скушало!
Попробую в круглых скобках вместо угловых. ))))
Огород из нескольких тэгов типа:
(meta name=»yahoo» content=»noindex, nofollow»)
(meta name=»google» content=»index, nofollow»)
(meta name=»yandex» content=»noindex, follow»)
Добавлен общий тег:
(meta name=»yahoo» content=»index, follow»)
Не понимаю цели сего замысла. Зачем Гуглу разрешать индексацию, а Яндексу запрещать? По сути, сделать так можно, так как здесь идет точечное обращение к разным поисковым системам, но любое противоречие будет трактоваться в пользу разрешающей директивы.
Здравствуйте Виталий, спасибо огромное за эту информацию и за многое другое, что я находил на вашем сайте. Я сам недавно перешел на вордпресс и еще многого не знаю. Но каждый раз когда пытаюсь найти в поисковике ответ на какой либо вопрос касающийся вордпресса, обязательно натыкаюсь на одну из ваших статей и дальше многие вопросы отпадают.
Здравствуйте, Виталий.
Вставила предложенный Вами код в файл fonctions.php. Но долгожданную строчку
ни на страницах категорий, ни на страницах архивов так и не увидела.
У меня в хедере на всех страницах
Если поставлены соответствующие галочки, то плагин All in One SEO Pack 2.3.14.2 выводит , но где-то в конце заголовка.
Вот как выглядит мой файл fonctions.php
‘Sidebar_top’,
‘before_widget’ => »,
‘after_widget’ => »,
‘before_title’ => »,
‘after_title’ => »,
));
if ( function_exists(‘register_sidebar’) )
register_sidebar(array(
‘name’ => ‘Sidebar_left’,
‘before_widget’ => »,
‘after_widget’ => »,
‘before_title’ => »,
‘after_title’ => »,
));
if ( function_exists(‘register_sidebar’) )
register_sidebar(array(
‘name’ => ‘Sidebar_right’,
‘before_widget’ => »,
‘after_widget’ => »,
‘before_title’ => »,
‘after_title’ => »,
));
?>
Как Вы думаете в чём моя проблема?
Ирина, попробуйте вставить код в файл header.php в область между тегами head.
Вставляйте в таком виде:
<?php if (is_archive() or is_category() or is_feed () or is_author() or is_date() or is_day() or is_month() or is_year() or is_tag() or is_tax() or is_attachment() or is_paged() or is_search()) { echo "".'<meta name="robots" content="noindex,nofollow" />'."\n"; } ?>Добрый день, Виталий. После установки Вашего кода на всех страницах, кроме главной по 2 директивы:
Первая из них жестко прописана в хедере. Я её просто удалила.
И ваш код для хедера переделала в таком виде: ( из условия убрала or is_paged())
<?php
if ( ( is_archive() && is_paged() ) or is_category() or is_feed () or is_author() or is_date() or is_day() or is_month() or is_year() or is_tag() or is_tax() or is_attachment() or is_search())
{
echo "".'’.»\n»;
}
else
{
echo «».».»\n»;
}
?>
Вроде бы всё получилось как надо.
Если есть время, посмотрите, пожалуйста.
Подскажите пожалуйста у нас интернет магазин мета тег роботс закрыт от индексации стоит ли его открыть? Он ведь закрывает контент всего сайта так ведь? а не одной страницы? адрес сайта
dm-astana.kzЗдравствуйте,Виталий!
Сейчас заметил у себя на сайте такую особенность,сразу заглянул к вам и оказалось,у вас то же самое… Дело вот в чём: как у вас,так и у меня,если к ссылке главной страницы добавить /page/1 то она откроется по этому адресу и в коде не будет метатега «роботс» с запретом индексации, а будет только rel=»canonical»(в отличие от других страниц пагинации). Получается,что это дубль главной страницы? У меня,например,он находится в индексе Яндекса и участвует в поиске(как показывает Я.Вебмастер). Бить ли тревогу по данному поводу? И что делать?
Здравствуйте Сергей!
К главной странице можно добавить что угодно, например ?123.
Вы говорите, что у вас стоит каноникал — этого достаточно, и Яндекс, и Гугл соблюдают рекомендации каноникал, если он корректно выведен, и советуют активней его использовать.
В поиске могут появляться даже те страницы, которые запрещены к индексации — это связанно с особенностью взимодействия поисковых роботов.
Скорее всего это проделки так называемого «быстрого робота».
Дождитесь, пока до Вас дойдет основной индексирующий робот и все должно встать на свои места.
И вдогонку: вы в курсе,что на вашем блоге невозможно попасть на главную страницу сайта с любой страницы постраничной навигации(разве что,нажать на страницу №1),потому что ссылки на главную не активны? Это нормально?
Добрый день! Я поставила код в function и убрала все галочки в плагине Platinum Seo. теперь при просмотре кода странцы рубрики например у меня два meta rodots.
meta name=»robots» content=»noindex,nofollow»
и
meta name=»robots» content=»index,follow,noodp,noydir»/
Это нормально? Или будет путанница при обходе сайта роботом?
Заранее благодарна за ответ!
Если на странице расположены два мета-тега robots, с разными параметрами, то приоритет будет отдан разрешающим директивам.
Ну и как тогда быть? Один мета-тег получается в результате установки кода, а второй автоматически создается в плагине… Я проверяла на втором сайте — All-in-Seo тоже выдает свой мета-тег… То есть надо убирать плагины Сео получается, потому что они все равно формируют follow даже если настраиваю их на nofollow? А что вместо них? Может быть есть еще какой-то дополнительный код, чтобы были поля для заполнения ключевых слов и описания каждой статьи?Подскажите, пожалуйста…
В плагине All-in-Seo вывод мета тега отключается полностью в Platinum в любом случаи остается мета-тег с разрешающими параметрами.
Здесь надо, или в код плагина лезть, или менять на All-in-Seo.
Спасибо за ответ! Значит не судьба… У меня был All-in-Seo, но при переходе на ЧПУ я вынуждена была заменить его на Платинум, чтобы создать множественный редирект. теперь не знаю, можно ли опять переходить на другой плагин, не полетят ли все ссылки. В людом случае, спасибо, что откликнулись.
Здравствуйте, Виталий.
Мне некоторое время казалось, с Вашей помощью, у меня наладилась индексация. Это я ощущала, пока использовала для создания карты блога плагина Google XML Sitemaps. Я решила этот плагин сократить и создавать карту с помощью All In One SEO Pack.
Вот что мне теперь выдаёт Гугл: 5 443 URL отправлены, 1 544 – количество проиндексированных. Три с лишнем тысячи страниц он считает с ошибками. На настоящий момент всего у меня — 1575 записей. М. б. в отправленные URL — включены и картинки? Хотя для них он указывает отдельную информацию: 8905 — отправлено, 3669 — проиндексированные.
В чём здесь проблема? Что Вы посоветуете мне предпринять? Заранее благодарна за совет.
Добрый день, Виталий. Помогите пожалуйста. Как добавить мета тег для такого url: https://seo-mayak.com/? Заранее спасибо.
preg_match("#\?#", $_SERVER['SERVER_NAME'].$_SERVER['REQUEST_URI']) orЗатрагивает все урлы со знаком вопроса.