Дубли страниц replytocom. Решение проблемы

Главная » SEO продвижение » Тонкости продвижения » Дубли страниц replytocom. Решение проблемы

Дубли страниц replytocom. Решение проблемы

2014-07-27 автор: Виталий Кириллов

Всем привет! На связи Виталий Кириллов и сегодня на seo-mayak.com мы будем разбирать актуальнейшую тему — дубли страниц replytocom.

Действительно, интернет в последнее время просто взорвался обсуждением темы дублей replytocom.

Вышло много статей, в которых предлагаются разные решения данной проблемы и мне кажется, что о дублях replytocom теперь может не знать только самый зеленый блогер.

Хотя наверное я ошибаюсь. Ведь год назад я тоже ничего об этом не знал. А когда я обнаружил данную заразу, создаваемую функцией древовидных комментариев, то долго не мог найти от нее противоядие.

Дубли страниц replytocom испортили жизнь тысячам веб-мастеров. Много кто вообще побросал свои сайты, устав писать в никуда и ждать посещаемости.

dubli replytocom

Ну да ладно, никто и не говорил, что будет просто! Главное не сдаваться, ведь дорогу осилит идущий! Тем более решение сложной задачи всегда приносит некое самоудовлетворение.

Сегодня я предложу Вам свое лекарство от replytocom, на изобретение которого я потратил не мало времени, хотя теперь мне кажется, что дело было плевое. Поехали!

Чем опасны дубли страниц replytocom

Наверное все знают, что у поисковой системы Google, кроме основного индекса (Main Index), существует еще дополнительный — Supplemental Index, в простонародье «сопли». Кто не знает, что это такое и как бороться с «соплями», советую почитать мою статью.

Так вот, с выходом WordPress версии 2.7.0, появилась функция древовидных комментариев, которая включается: админка -> Настройки -> Обсуждение:

dubli replytocom1

В принципе функция очень нужная, так как существенно облегчает общение с читателями, позволяя размещать ответ непосредственно под нужным комментарием.

Но народ не знал, какая угроза поджидала их после активации данного функционала! Не все сразу поняли, что при нажатии на кнопку «Ответить» создается полный дубль, так как к основному URL страницы добавляется такое окончание:

seo-mayak.com/seo-prodvizhenie/poiskovye-sistemy/meta-teg-robots-indeksaciya-sajta.html?replytocom=3330#respond

Для поисковых роботов это совершенно другой URL адрес и соответственно они считает данную страницу полным дублем (про разные дубли страниц читайте здесь).

Постепенно народ начал осознавать угрозу и принял меры. Почти все веб-мастера были уверены что знают, как бороться с дублями. Ведь действительно, есть же файл robots.txt, в котором можно прописать блокирующие директивы и дело в шляпе. Кстати директивы прописывали следующие:

Disallow: /*?replytocom

Или:

Disallow: /*?*
Disallow: /*?

Яндекс соблюдал данные запреты, что нельзя сказать по Гугл, который все равно индексировал replytocom-страницы и заносил их в свой сопливый индекс. Кому не понятно почему Гугл индексирует заблокированные в robots.txt страницы, еще раз советую почитать статью о Supplemental Index, ссылку на которую я дал выше.

Люди недоумевали, количество «соплей» росло как снежный ком, чем больше было комментариев на сайте, тем соответственно больше страниц было в Supplemental Index.

Но мало того, Гугл индексирует ссылки расположенные на replytocom-страницах. А теперь представьте себе одну внешнюю ссылку в какой либо статье. Если у этого поста будет десять ответов на комментарии, то данная внешняя ссылка продублируется десять раз.

У веб-мастеров глаза на лоб лезли при виде количества внешних ссылок на сайте:

dubli replytocom2

На данном примере ссылок с других интернет-ресурсов (доноров) в несколько раз меньше, чем исходящих ссылок с сайта. Согласитесь, такое положение дел не сулит ничего хорошего.

Теперь надеюсь понятно, чем опасны заблокированные в robots.txt дубли replytocom.

Также в общее число исходящих ссылок попадают ссылки на сайты авторов комментариев, что тоже не есть хорошо. Поэтому подписывайтесь на обновления блога и мы обязательно разберемся и с этой проблемой.

Известные способы борьбы с дублями replytocom

Самый простой способ борьбы с replytocom — это не включать на сайте функцию древовидных комментариев, а установить плагин WordPress Thread Comment, который возьмет функцию «дерева» на себя.

На своем кулинарном блоге я использовал данный плагин и дублей replytocom на нем нет. Очевидный недостаток данного способа — это сам плагин, к которым я не испытываю доверия.

Еще раз объясню почему:

1. Множество плагинов со временем просто перестают работать.
2. Работу многих плагинов не поддерживают мобильные браузеры и не известно, что будет дальше.
3. Уже достаточно было сказано про нагрузку на сервер, которую создают плагины.

Есть еще один способ борьбы с replytocom — это 301 редирект. Для этого в файле .htaccess прописывается всего две строчки:

RewriteCond %{QUERY_STRING} replytocom=
RewriteRule ^(.*)$ /$1? [R=301,L]

Существенной недостаток данного метода — это бесчисленное количество внутренних 301 редиректов, которые происходят непосредственно на стороне сервера, тем самым создавая дополнительную нагрузку.

Третий известный мне способ заставить Гугл не индексировать страницы с replytocom заключается в настройке индексации сайта с помощью инструментов Google веб-мастер. Проходим Сканирование -> Параметры URL и в строчке с параметром replytocom вибераем «Изменить»:

dubli replytocom4

После чего настраиваем индексирование следующим образом:

dubli replytocom3

Данный способ работает, но только для Гугла. А как же быть с Яндексом?

Здесь надо понимать, что все вышеперечисленные варианты борьбы с replytocom будут работать только при снятии запрещающих директив в файле robots.txt. Но что будет если снять запрет в robots.txt и настроить индексацию в веб-мастере Google?

В этом случаи Яндекс получит доступ к страницам replytocom и наткнется на мета-тег robots с такими параметрами:

<meta name="robots" content="noindex, follow">

Параметр follow разрешает роботам индексировать ссылки, которые расположены на данных страницах и хорошего в этом ничего нет.

Кстати мета-тег robots выводиться на страницы replytocom функцией wp_no_robots(), которая была добавлена разработчиками WordPress с версии 3.3. Если взять во внимание тот факт, что функция древовидных комментариев была введена с версии 2.7, то становиться понятно, что программисты WordPress пытались исправить свой недочет, но получилось это у них опять как-то коряво.

Я немного поработал над исправлением данного недочета. Чтобы исправить параметры в мета-теге robots на страницах replytocom, в файл functions.php надо добавить следующий код:

remove_action( 'wp_head', 'wp_no_robots' );

function mayak_replytocom_robots() {
echo "<meta name='robots' content='noindex,nofollow' />\n";
}
if ( isset( $_GET['replytocom'] ) )
add_action( 'wp_head', 'mayak_replytocom_robots' );

После чего мета-тег примет следующий вид:

<meta name="robots" content="noindex, nofollow">

На этом можно было бы успокоится, ведь дубли replytocom больше не попадут в индекс и ссылки расположенные на них также не будут больше индексироваться, но здесь есть еще одна проблема — это ссылки в каждой кнопке «Ответить», которых может быть тысячи, ведущих на заблокированные мета-тегом robots страницы и по которым утекает вес со страниц с основным контентом.

Поэтому успокаиваться еще рано. Идем дальше.

Мой способ борьбы с дублями страниц replytocom

Первым делом мы воспользуемся скрытыми резервами WordPress. Не все знают, что разработчиками WordPress был написан скрипт, который при ответе на комментарий выводит форму комментирования непосредственно под кнопкой «Ответить».

При работе данного скрипта URL страницы остается неизменным и ссылка с replytocom теряет всякий смысл своего существования.

Скрипт находится по адресу: wp-includes/js/comment-reply.js.

Вот сам скрипт:

var addComment = {
moveForm : function(commId, parentId, respondId, postId) {
var t = this, div, comm = t.I(commId), respond = t.I(respondId), cancel = t.I('cancel-comment-reply-link'), parent = t.I('comment_parent'), post = t.I('comment_post_ID');

if ( ! comm || ! respond || ! cancel || ! parent )
return;

t.respondId = respondId;
postId = postId || false;

if ( ! t.I('wp-temp-form-div') ) {
div = document.createElement('div');
div.id = 'wp-temp-form-div';
div.style.display = 'none';
respond.parentNode.insertBefore(div, respond);
}

comm.parentNode.insertBefore(respond, comm.nextSibling);
if ( post && postId )
post.value = postId;
parent.value = parentId;
cancel.style.display = '';

cancel.onclick = function() {
var t = addComment, temp = t.I('wp-temp-form-div'), respond = t.I(t.respondId);

if ( ! temp || ! respond )
return;

t.I('comment_parent').value = '0';
temp.parentNode.insertBefore(respond, temp);
temp.parentNode.removeChild(temp);
this.style.display = 'none';
this.onclick = null;
return false;
};

try { t.I('comment').focus(); }
catch(e) {}

return false;
},

I : function(e) {
return document.getElementById(e);
}
};

Можно просто скопировать данный скрипт и вставить его в один из файлов с расширением .js, что находятся в папке с Вашей темой, который уже подключен к шаблону. Кстати я так и сделал, предварительно сжав сам скрипт с помощью сервиса http://info-pages.com.ua/service/3, функционал которого я подробно описал в статье «Как сократить CSS и ускорить загрузку сайта». Тем самым я позаботился о соблюдении рекомендаций PageSpeed.

Или можно подключить скрипт отдельно. Для этого в файл header.php между тегами <head></head> надо вставить следующий код:

<?php if (is_singular() AND comments_open() AND (get_option('thread_comments') == 1)) wp_enqueue_script('comment-reply'); ?>

Работу скрипта вы можете наблюдать на моем блоге.

Но есть еще одна проблема, сама ссылка с replytocom все еще остается в кнопке «Ответить» и в исходном коде страницы она также присутствует:

dubli replytocom5

Как я уже сказал выше, после активации скрипта данная ссылка становиться бесполезной и от нее надо просто избавиться, как от сорняка.

Страницы replytocom формируются функцией get_comment_reply_link(), которая находится по адресу: wp-includes/comment-template.php.

Открываем файл comment-template.php и ищем строчку №1326. Вот эта строчка:

$link = "<a class='comment-reply-link' href='" . esc_url( add_query_arg( 'replytocom', $comment->comment_ID ) ) . "#" . $respond_id . "' onclick='return addComment.moveForm(\"$add_below-$comment->comment_ID\", \"$comment->comment_ID\", \"$respond_id\", \"$post->ID\")'>$reply_text</a>";

Если убрать из данный строчки такой отрезок:

href='" . esc_url( add_query_arg( 'replytocom', $comment->comment_ID ) ) . "#" . $respond_id . "'

То в исходном коде страницы останется следующее:

dubli replytocom6

Как видите ссылки с replytocom как не бывало, при этом древовидные комментарии будут исправно работать. Мы только что выдрали replytocom с корнем, но и это еще не все.

Дело в том, что каждый раз, с выходом новой версии WordPress, придется лезть в файл comment-template.php и удалять ссылку. А что если по какой-либо причине вовремя не получиться это сделать?

В общем я пошел дальше и написал функцию, которая избавит нас от необходимости каждый раз вносить изменения в файл comment-template.php.

Открываем файл functions.php и в самое начало, после тега <?php вставляем следующее:

function mayak_replycom_remove( $mayak_remove ) {
$cut = "!<a(.*?)href='(.*?)'(.*?)>(.*?)</a>!si";
$insert = "<span class='comment-reply-link' \\3>\\4</span>";
return preg_replace($cut, $insert, $mayak_remove);
}
add_filter( 'comment_reply_link', 'mayak_replycom_remove' );

Вот оно волшебство PHP!

dubli replytocom11

Как видите теги <a сменились на теги <span, а ссылка вообще исчезла и replytocom больше не представляет угрозы.

Но и это еще не все! Теперь сама кнопка «Ответить» стала выглядеть как простой текст:

dubli replytocom9

Поэтому открываем файл style.css и прописываем следующие стили для класса comment-reply-link:

.comment-reply-link {
color:#5151FF; /*добавляем цвет ссылки*/
text-decoration:none; /*Убираем подчеркивание*/
cursor:pointer; /*Добавляем курсор в виде руки*/
}

Ну вот, совсем друге дело:

dubli replytocom10