Древовидные комментарии, вред replytocom и борьба с дублями страниц

Автор: | Рубрика: Блог на Wordpress | Обновлено: 2015-03-14 | Создано:
Просмотров: 2790
избавляемся от дублей replytocom

Всем привет!

Эту статью о древовидных комментариях, параметре replytocom и генерируемых ним дублях страниц я рекомендую изучить всем, как тем, кто только начинает вести свой блог, так и опытным блоггерам. Новички смогут избежать этой "фатальной" ошибки, которая не дает развиваться WordPress блогу в Гугле. А те блоггеры, у которых не получается привлечь трафик из Гугла, возможно найдут причину этого.

Содержание статьи:

Древовидные комментарии в WordPress, что это?

Функция древовидных комментариев в WordPress создана в первую очередь для удобства комментаторов. Благодаря древовидным комментариям, ответ на комментарий другого человека появляется под ним и выделяется отступом. Наглядно это выглядит вот так:

ответы на комментарии создают дубли страниц с replytocom

Количество комментариев-ответов, выводимых друг под другом, задается в админке. Оптимальным количеством считается 5 штук. В плане юзабилити блога, такая структура комментариев более удобная. Да и выгладит привлекательнее, нежели все комментарии сплошняком.

Древовидные комментарии, как запретить или активировать

Но такое удобство, таим в себе смертельную опасность, мешающую развиваться блогу. Пока блог молодой, комментариев на нем практически нет, никакого негативного влияния Вы не заметите. Посещаемость на сайте по-тихонько растет, страницы индексируются. Все классно.

После включения функции древовидных комментариев, под каждым комментарием появляется кнопка или ссылка "Ответить". Каждая такая кнопка содержит ссылку на дублированную страницу с тем же самым контентом, что и страница со статей.

Вот так выглядит такая ссылка:

http://inetsovety.ru/7-pritchin-vbraty-platny-hosting-vmesto-besplatnogo/?replytocom=207960

Что такое Replytocom и как их найти?

У каждого комментария свой номер и соответственно свой хвост ?replytocom=.  Параметр replytocom автоматически добавляется к ссылкам в ответах на комментарии и тем самым создает дубли. Это глобальная проблема движка WordPress, которая никак не решается его разработчиками.

Если у Вас на блоге древовидная структура комментариев, кликните правой кнопкой мыши на кнопку/ссылку ответить, и нажмете Открыть в новом окне, то увидите копию своей же статьи, только по другому адресу. Каждая такая кнопка "Ответить" создает дублированную страницу.

Чтобы посмотреть попали ли эти страницы в индекс Гугла, введите в строку поиска вот такую комбинацию: site:вашдомен.ru replytocom

Не спешите радоваться, что нашелся 1 или несколько ответов, кликните на ссылку "Показать скрытые результаты":

как найти все ссылки replytocom и дублированные страницы на сайте

А вот теперь, если там всего пару страниц, радуйтесь 🙂 Вам повезло.

У меня нашлось 28 700 таких страниц. Это и есть причина того, что с июля прошлого года на моем блоге посещаемость с Гугла не превышает 150 человек в сутки. А до этого было более 1000. В апреле 2013 года мне удалось преодолеть порог посещаемости в 3 000 человек в сутки. Но потом все пошло под откос 🙂 Момент падения трафика на блоге совпал со сменой дизайна. Анализ данных Яндекс Метрики показал, что на следующий день после установки нового уникального шаблона, трафик с Гугла упал. У меня появились мысли, что программисты что-то намудрили. Но нет, в коде ничего вредоносного не нашлось. Но, первое время, на новом шаблоне стояла разбивка комментариев на страницы по 50 штук на каждой из них. Такое изменение Гугл быстро переиндексировал, а заодно и дубли, создаваемые replytocom . Я заметила резкий рост количества страниц в индексе. И это не взирая на то, что опубликовано статей более 400 штук, рубрик всего 10, метки, которые потом я удалила. Сейчас в индексе Гугла 4 800 страниц моего блога. Более 4 000 из которых, это дубли.

Для меня такой рост был загадкой. Ведь в файле robots.txt я закрыла от индексации и категории, и метки, и результаты поиска. Для Гугла в robots.txt у меня стояли такие вот "запреты" для индексирования страниц:

Disallow: /*?*
Disallow: /*? - закрывались ссылки со знаком вопроса
Disallow: /*?replytocom - ссылки комментариев с содержанием replytocom в адресе
Disallow: */comment-page-* - страницы комментариев
Disallow: /category/*/* - категории

Признаюсь, что какое-то время после создания блога, у меня не было файла robots.txt, вообще. И без него сайт нормально развивался. Поскольку я училась вести и настраивать свой блог по статьям других блоггеров, то старалась применить на практике советы других. Сначала мой роботс состоял из рекомендаций не индексировать папки темы, файлов движка. Было что-то типа этого:

Disallow: /wp-content/cache
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/

В том же 2013 году, я решила дополнить роботс по примеру других блоггеров. На каждом блоге просмотреть роботс можно без проблем. Собрала для себя такую себе солянку из запретов индексации рубрик, меток, результатов поиска, комментариев. В общем все, как у людей, только под свой блог.

На самом деле роботу Гугла плевать на все эти директивы, содержащиеся в robots.txt. Он зашел на блог, увидел новую страницу, сгнерированную replytocom, получит от роботс рекомендацию не индексировать данную страницу, но решил на свое усмотрение занести эту статью в свою дополнительную базу, которая называется сопли.

Как настроить роботс и закрыть от индексации не нужное читайте в обновленной статье http://inetsovety.ru/pravilyny-robots-txt-dlya-bloga-na-wordpress/

Как избавиться от Replytocom и сгенерированных им дублей

  •  редактируем файл robots.txt и удаляем лишнее

Если у Вас в в файле роботса есть такие директивы:

Disallow: /*?*
Disallow: /*?
Disallow: /*?replytocom

Удаляйте их без сожаления.

  • настраиваем редирект с дублированных страниц на основную

Что я имею ввиду. Вот у меня есть статья http://inetsovety.ru/zarabotok-na-tizernoy-reklame/, а у нее благодаря древовидным комментариям, создалось 25 дублей, которые доступны по адресам с параметром replytocom. Пример, http://inetsovety.ru/zarabotok-na-tizernoy-reklame/?replytocom=216662

Сейчас, перейдя по той ссылке, Вы попали на страницу http://inetsovety.ru/zarabotok-na-tizernoy-reklame/ Это сделал 301 редирект. Теперь и робот Гугла зайдя на страницу с дублированным контентом будет переброшен на основную страницу. Как быстро, робот посетит эти страницы и поймет, что они уже не существуют, это отдельный разговор.

Сейчас мы будем редактировать файл .htaccess. Обязательно сохраните его резервную копию. В случае внесения неправильных правок, Ваш блог перестанет работать. Этот файл находится на хостинге, где и папка wp-admin.

Открывать его я рекомендую не обычным блокнотом, а программой Notepad++. Вот по этой ссылке я Вам даю свой файл https://yadi.sk/i/a7bMqN58VojsE

Перед тем, как заменять свой файл моим, проверьте не содержится ли в Вашем файле дополнительных установок. Например, ограничений на доступ к сайту по ip адесу.

Вот такой код, я добавила для 301 редиректа:

RewriteCond %{QUERY_STRING} replytocom=
RewriteRule ^(.*)$ /$1? [R=301,L]

 

Гугл долго держит проиндексированные страницы и неохотно их переиндексирует, в частности на сайтах, которые попали под санкции за дублированный контент. Процесс вылета дублированных страниц не быстрый и займет много времени. У кого случилась подобная проблема, запасайтесь терпением. Схлопотать санкции быстро, а вот снять последствия от них долго.

Кроме параметра replytocom есть и другие, которые также создают дубли. Вот они:

category
tag
page
trackback
feed
comment-page
attachment
attachment_id

Аналогично, как мы искали дубли статей с replytocom, ищем другие дубли. В строчку поиска вставляете site:вашдомен.ru replytocom, заменяете replytocom на category, смотрите сколько дублей. Потом на tag и так далее.

Настроить редирект с этих дублей на основную страницу поможет нам файл .htaccess. В него добавляем такие строки:

RewriteRule (.+)/feed /$1 [R=301,L]
RewriteRule (.+)/comment-page /$1 [R=301,L]
RewriteRule (.+)/trackback /$1 [R=301,L]
RewriteRule (.+)/comments /$1 [R=301,L]
RewriteRule (.+)/attachment /$1 [R=301,L]
RewriteCond %{QUERY_STRING} ^attachment_id= [NC]
RewriteRule (.*) $1? [R=301,L]

А вот и сам файл с кодом всех редиректов: https://yadi.sk/d/Kfp7eKS5W2JsP

Чтобы работали редиректы на все дубли, добавляйте этот файл на хостинг. В файле, ссылку на который я давала выше, настроен редирект только для страниц с replytocom.

С уважением, Виктория – блог inetsovety.ru

Поделиться ссылкой на пост в соц. сетях
Получать уведомления о новых статьях на e-mail
Комментариев: 44 к статье "Древовидные комментарии, вред replytocom и борьба с дублями страниц"
  • Warrennok 2016-05-29 в 11:40

    revatio wiki [ http://www.usamusiclessons.com/url.php?url=http://www.genericpillonline.com — kamagra vs generic viagra pfizer blue pill vgr 100 sidenafil citrate cheap viagra generic online vegetable viagra what is viagra super active viagra no prescription needed where to get viagra over the counter viagra for blood pressure control viagra before and after video

    Ответить
  • Руслан 2015-11-16 в 17:12

    Всё таки вредно запрещать доступ через файл роботс. Как я понял поисковики могут всё равно занести эти страницы в индекс. Лучше открыть эти страницы и прописать в них тег noindex, так мне кажется лучше

    Ответить
  • Анна 2015-10-06 в 20:04

    Как у вас грамотно и понятно все описано. Спасибо, Виктория за хорошую и понятную информацию. Я перед вашим блогом изучала эту проблему на другом «именитом» блоге, мозг сломала, если честно. Можете ли вы мне помочь сейчас и ответить на вопросы: спустя 1,5 года эта проблема сохраняется и как следует поступить если я сейчас только приступаю к созданию блога и стою на пути выбора решения этой проблемы. А. Борисов советует ставить новичкам WordPress Thread Cjmment, или лучше будет обойтись без него, а настроить robots.txt и .htaccess как выучите в данной статье. Спасибо

    Ответить
    • Виктория 2015-10-11 в 11:03

      Можете поставить плагин. Потом, если будете заказывать сознание уникального шаблона, скажите программисту, чтобы он кодом вывел кнопку ответить на комментарий. Правильно настроить роботс и htaccess также стоит заранее, пока проблема не обнаружена.

      Ответить
  • Виталий Охрименко 2015-03-12 в 21:55

    Да уж, эти реплитукомы попили немало и моей кровушки. Благо я на сайте отказался от стандартных комментариев wordpress, оставил только Cackle. Спасибо Виктория за статью, думаю она очень многим была полезной

    Ответить
    • Виталий Охрименко 2015-03-31 в 19:39

      Но вот решил снова внедрить стандартные древовидные комментарии, и у меня появился один очень интересный вопрос: как сделать кнопку «ответить» как у Вас, Виктория? Никаких тебе ссылок, вот код, не могу понять как его себе внедрить в древовидные комментарии:

      Ответить

      Ответить
      • Виктория 2015-04-01 в 07:36

        Эта ссылка сделана через span, для поисковиков она не является активной и не создает дублей replytocom. Я обращалась к программисту, чтобы он ее реализовал таким образом.

        Ответить
        • Виталий Охрименко 2015-05-31 в 19:38

          Находил такие услуги, но то ли жадность моя, то ли упертость не позволяют мне пойти к программистам и заказать у них эту кнопку. Сейчас мучаться не буду, а вот когда шаблон сменю мозги себе раскалю но сделаю

          Ответить
          • Виталий Охрименко 2015-05-31 в 19:39

            хотя с современными СЕО плагинами это уже никчему. Я себе поставил SEO By Yost и забыл о проблеме реплитукома навсегда

            Ответить
  • Петр 2015-02-20 в 13:08

    Привет, Виктория! Тема классная. Решил почистить сайт и удалить страницы дубли. Прологинился в вордпресс, открыл страницу дубль в новом вкладе. Вверху нажал на кнопку «Редактировать страницу» и хотел ее удалить. Но вовремя заметил, что в редакторе открылась основная страница, получается страницы дубль не существует и ее удалить нельзя. Есть только дополнительная ссылка на туже страницу. В таком случае сам сайт в объеме(МБ) не увеличивается, увеличивается только ссылочная масса — это так? Как удалить старые ссылки дубли?

    Ответить
    • Виктория 2015-02-21 в 11:28

      В случае с replytocom дублированная страница не создается. Появляется одна-две-десять разных ссылок на одну и туже страницу. Робот приходит по этим ссылкам на страницу, которую он уже ранее индексировал и воспринимает ее, как дубль. На размер базы данных это не влияет.
      Способов удаления несколько. Я для своего блога сделала редирект (перенаправление) с дубля на основную страницу. Через пару месяцев дублированные страницы выпадут из индекса сами, поскольку робот не будет их находить.

      Ответить
      • Рашида 2015-02-24 в 11:15

        Я сделала также как описано в статье и с помощью редиректа с дубля на основную страницу сайта надеюсь избавится от дублированных страниц

        Ответить
  • Михаил 2015-01-10 в 16:45

    «Открывать его я рекомендую не обычным блокнотом, а программой Notepad++»
    Вика, скажите, как заставить файл .htacces открываться в notepad++ ?
    Спасибо за статью!

    Ответить
    • Виктория 2015-01-11 в 12:54

      Открываете Notepad++ и перетягиваете в него ярлык файла .htacces.

      Ответить
    • Рашида 2015-02-24 в 11:16

      Михаил, нажать на файл правой кнопкой мыши и выбрать — Просмотр правка в меню

      Ответить
  • Диана 2014-11-21 в 15:47

    Вот это вот я не очень понимаю, если честно.( Я пока что убрала древовидные комментарии со своего блога, но это очень неудобно. Невозможно ответить человеку под его комментом. Надо будет эту статью раз 10 перечитать.

    Ответить
  • Рашида 2014-10-29 в 16:42

    Пока только изучаю эту тему — много неясностей. Когда окончательно пойму, займусь дублями. А пока просто поставила плагин древовидных комментариев.

    Ответить
    • Рашида 2014-12-17 в 16:25

      Изучила всё, что нашла по данной теме — внесла необходимые изменения, надеюсь что со временем дубли вылетят из индекса, а пока их довольно много.

      Ответить
  • Александр Сергиенко 2014-10-10 в 15:33

    Тоже сталкивался с этой проблемой, пришлось переделывать файл robots.txt, Прочитав статью, пришлось кое-что подкорректировать, не прописал некоторые моменты. Спасибо за статью, сделал все по вашей инструкции, теперь ждем результатов.

    Ответить
  • Александр 2014-09-30 в 21:18

    Это на самом деле такая структура блога. То есть так это все задумано. Про эти дубли уже писал один парнишка в 200 году, это просто профи и лучший сеошник, прислушаюсь к нему и поделюсь как можно решить эту проблему без плагинов и прочего китайского шерпотрепа. Лично я против плагинов, да и толку от этого плагина мало.

    Ответить
  • Светлана 2014-08-19 в 11:34

    Виктория, если у меня в результате в поиске гугла /replytocom вышло 9 страниц, это плохо? Нужно корректировать файл в корне сайта?

    Ответить
    • Виктория 2014-08-19 в 14:58

      Это еще не смертельно, но уже сигнал, что replytocom появляются. Значит стоит настроить роботс и установить плагин для скрытия кнопки ответить. Иначе новые дубли будут нарастать как снежный ком по мере оставления комментариев Вашими посетителями.

      Ответить
  • Polina 2014-07-08 в 23:04

    Я просто отключила древовидные комментарии (раньше были активными), но я не установила плагин WordPress Thread Comment. Обязательно его устанавливать или можно обойтись?

    Ответить
    • Виктория 2014-07-09 в 07:16

      Если Вы отключили древовидные комментарии, то плагин ставить не нужно.

      Ответить
      • Светлана 2014-08-19 в 11:26

        А если отключить древовидные комментарии, то разве страницы дубли исчезнут?

        Ответить
        • Виктория 2014-08-19 в 14:40

          Уже созданные вряд ли сами исчезнут, без изменения файла роботс. А вот новые не будут создаваться, т.к. больше не будет кнопки ответить на комментарий.

          Ответить
          • Светлана 2014-08-19 в 14:58

            Значит нужно редактировать все таки.
            Спасибо за подробное описание.

            Ответить
    • Александр 2014-09-30 в 21:13

      Выкиньте его. Это просто г… Больше рекламы. На мой блог потом заходите и читайте. безо всяких плагинов можно закрыть кнопку. Просто пару строчек кода вставить в шаблон. Этот кстатит плагин в буржунете с начала 2000 года всем успел надоесть, нашлись мастера русифицировали и выдали за свой. Такие вот приколы.

      Ответить
      • Рашида 2015-02-10 в 16:32

        Александр, я устанавливала на свой блог этот плагин, довольно долго его пыталась настроить, но так некрасиво получались комментарии один в другом, а кнопка Ответить вообще страшная в каких-то скобках. Удалила плагин и решила вопрос кодом.

        Ответить
        • Виталий Охрименко 2015-03-31 в 19:45

          Подскажите где код взяли? Не могу найти

          Ответить
  • Валентина 2014-07-05 в 21:05

    Виктория, а я никак не пойму, чего мы боимся, чтобы нам роботс не прокомментировал? Сегодня у Александра новые открытия ненужного, что мы делаем. Я прочла и ужаснулась. Кто-то будет просто исправлять, а я сначала изучать, а потом исправлять.

    Ответить
    • Виктория 2014-07-06 в 10:09

      Проблема заключается в том, что роботы Яндекса и Гугла, не слушают команд в robots.txt, и на всякий случай заносят в свою базу абсолютно бесполезные страницы (комментариев, категорий, меток). А потом сами же и наказывают сайт за наличие этих страниц в базе этих поисковиков. Наша задача разрешить роботу ходить по страницам сайта (не ставить ограничений в robots.txt), но запретить индексацию некоторых страниц с помощью мета тега и плагина All in One Seo Pack. В статье о файле robots.txt я обьяснила, как это сделать. Далее в текущей статье я написала, как настроить редирект со страниц, которые мы не можем закрыть от индексации. Поэтому мы ставим перенаправление с дублированной страницы на оригинальную.

      Ответить
  • Сергей 2014-07-05 в 14:25

    Тогда вам Виктория, нужно исправить файл robots.txt в своей статье про него. Там есть строчка которую надо удалить.

    Ответить
    • Виктория 2014-07-06 в 10:10

      Сегодня подправила не только сам robots.txt, но и всю инструкцию. Не достаточно просто удалить некоторые строчки из файла роботс. Чтобы все работало, как нужно, следует сделать ряд настроек.

      Ответить
  • Юрий Ваценко 2014-07-04 в 21:32

    Хорошо, что я данный плагин даже не устанавливал. Мне его запретили даже ставить, но не объяснили почему так, теперь я понимаю, почему. 😉

    Ответить
  • Сергей 2014-07-03 в 14:42

    На днях материал на эту тему читал у Борисова. Я так пока эти строчки с роботса еще не удалял. Не знаю, если придерживаться этих правил, то зачем тогда сам роботс? По мне, так лучше предотвратить эти дубли на самом сайте, нежели их запрещать. Так хоть 100% гарантия, что Гугл не проиндексирует ненужное.

    Ответить
    • Виктория 2014-07-03 в 17:19

      Ситуация с роботсом у меня тоже вызывает вопросы. Смысл давать роботу директивы, если он поступает на свое усмотрение. Я тоже настояла 301 редирект, чтобы исключить появление новых дублей. Кто боится править код, может поствить плагин Replytcom Redirector, который будет перенаправлять на страницу. Еще можно в админке отключить древовидные комментарии и установить плагин WordPress Thread Comment, который будет выводить кнопку ответа на комментарий и не будет создавать дублей. Я его ставить не стала, думаю редиректа будет достаточно.

      Ответить
      • Александр 2014-07-03 в 17:46

        Я тоже посмотрел этот курс. Задумался и исправляю ошибки. Так же пытаюсь сделать всю микроразметку на блоге, чтобы улучшить показатели блога. Отличная статья, много интересного и полезного.

        Ответить
      • Юрий 2014-07-18 в 12:50

        Я тоже стремлюсь к уменьшению количества плагинов

        Ответить
      • Виктория 2014-07-26 в 12:18

        Сейчас спустя какое-то время, в все таки установила этот плагин. Не смотря на настоянный редирект, новые дубли появлялись, хоть и не индексировались.
        Создаваемые дубли Replytcom — это проблема движка WordPress и пока приходится ее решать самостоятельно каждому вебмастеру.

        Ответить
        • Александр 2014-07-31 в 07:51

          Очень плохо, что создатели движка не позаботились об этом заранее. Но поскольку движок бесплатный приходиться довольствоваться тем что есть

          Ответить
          • Виталий Охрименко 2015-03-31 в 19:49

            Могли бы в обновлениях движка сделать изменения, движок обновляется постоянно, а реплитукомы пропадают

            Ответить
      • Рашида 2014-12-17 в 16:29

        Устанавливала плагин WordPress Thread Comment — абсолютно не понравился, несколько дней билась, настраивала стили, всё как-то кривовато получалось. Отказалась от него, решила вопрос по-другому.

        Ответить
        • Олег 2016-03-11 в 19:48

          А как решили вопрос по другому? Поделитесь!

          Ответить
Оставить комментарий
Нажмите, чтобы отменить ответ.

Комментарий появится после проверки. Комментарии, содержащие спам и ненормативную лексику будут удалены!