Древовидные комментарии, вред replytocom и борьба с дублями страниц

избавляемся от дублей replytocom

Реферальные банеры

Всем привет! Эту статью о древовидных комментариях, параметре replytocom и генерируемых ним дублях страниц я рекомендую изучить всем, как тем, кто только начинает вести свой блог, так и опытным блоггерам. Новички смогут избежать этой "фатальной" ошибки, которая не дает развиваться WordPress блогу в Гугле. А те блоггеры, у которых не получается привлечь трафик из Гугла, возможно найдут причину этого. Ведь дубли страниц replytocom могут стать причиной того, что не растет трафик из этой поисковой системы.

Древовидные комментарии в WordPress, что это?

Функция древовидных комментариев в WordPress создана в первую очередь для удобства комментаторов. Благодаря древовидным комментариям, ответ на комментарий другого человека появляется под ним и выделяется отступом. Наглядно это выглядит вот так:

Ответы на комментарии создают дубли страниц с replytocom

Количество комментариев-ответов, выводимых друг под другом, задается в админке. Оптимальным количеством считается 5 штук. В плане юзабилити блога, такая структура комментариев более удобная. Да и выгладит привлекательнее, нежели все комментарии сплошняком.

Древовидные комментарии, как запретить или активировать

Но такое удобство, таим в себе смертельную опасность, мешающую развиваться блогу. Пока блог молодой, комментариев на нем практически нет, никакого негативного влияния Вы не заметите. Посещаемость на сайте по-тихонько растет, страницы индексируются. Все классно.

После включения функции древовидных комментариев, под каждым комментарием появляется кнопка или ссылка "Ответить". Каждая такая кнопка содержит ссылку на дублированную страницу с тем же самым контентом, что и страница со статей.

Вот так выглядит такая ссылка:

https://inetsovety.ru/7-prichin-vybrat-platnyy-hosting-vmesto-besplatnogo/?replytocom=207960

Что такое Replytocom и как их найти?

У каждого комментария свой номер и соответственно свой хвост ?replytocom=.  Параметр replytocom автоматически добавляется к ссылкам в ответах на комментарии и тем самым создает дубли. Это глобальная проблема движка WordPress, которая никак не решается его разработчиками.

Если у Вас на блоге древовидная структура комментариев, кликните правой кнопкой мыши на кнопку/ссылку ответить, и нажмете Открыть в новом окне, то увидите копию своей же статьи, только по другому адресу. Каждая такая кнопка "Ответить" создает дублированную страницу.

Чтобы посмотреть попали ли эти страницы в индекс Гугла, введите в строку поиска вот такую комбинацию: site:вашдомен.ru replytocom

Не спешите радоваться, что нашелся 1 или несколько ответов, кликните на ссылку "Показать скрытые результаты":

Как найти все дубли страниц replytocom в поиске Гугла

А вот теперь, если там всего пару страниц, радуйтесь :) Вам повезло.

У меня нашлось 28 700 таких страниц. Это и есть причина того, что с июля прошлого года на моем блоге посещаемость с Гугла не превышает 150 человек в сутки. А до этого было более 1000. В апреле 2013 года мне удалось преодолеть порог посещаемости в 3 000 человек в сутки. Но потом все пошло под откос :) Момент падения трафика на блоге совпал со сменой дизайна. Анализ данных Яндекс Метрики показал, что на следующий день после установки нового уникального шаблона, трафик с Гугла упал.

У меня появились мысли, что программисты что-то намудрили. Но нет, в коде ничего вредоносного не нашлось. Но, первое время, на новом шаблоне стояла разбивка комментариев на страницы по 50 штук на каждой из них. Такое изменение Гугл быстро переиндексировал, а заодно и дубли, создаваемые replytocom . Я заметила резкий рост количества страниц в индексе. И это не взирая на то, что опубликовано статей более 400 штук, рубрик всего 10, метки, которые потом я удалила. Сейчас в индексе Гугла 4 800 страниц моего блога. Более 4 000 из которых, это дубли.

Для меня такой рост был загадкой. Ведь в файле robots.txt я закрыла от индексации и категории, и метки, и результаты поиска. Для Гугла в robots.txt у меня стояли такие вот "запреты" для индексирования страниц:

Disallow: /*?*
Disallow: /*? - закрывались ссылки со знаком вопроса
Disallow: /*?replytocom - ссылки комментариев с содержанием replytocom в адресе
Disallow: */comment-page-* - страницы комментариев
Disallow: /category/*/* - категории

Признаюсь, что какое-то время после создания блога, у меня не было файла robots.txt, вообще. И без него сайт нормально развивался. Поскольку я училась вести и настраивать свой блог по статьям других блоггеров, то старалась применить на практике советы других. Сначала мой роботс состоял из рекомендаций не индексировать папки темы, файлов движка. Было что-то типа этого:

Disallow: /wp-content/cache  Disallow: /wp-content/plugins  Disallow: /wp-content/themes  Disallow: /wp-admin/  Disallow: /wp-includes/

В том же 2013 году, я решила дополнить роботс по примеру других блоггеров. На каждом блоге просмотреть роботс можно без проблем. Собрала для себя такую себе солянку из запретов индексации рубрик, меток, результатов поиска, комментариев. В общем все, как у людей, только под свой блог.

На самом деле роботу Гугла плевать на все эти директивы, содержащиеся в robots.txt. Он зашел на блог, увидел новую страницу, сгнерированную replytocom, получит от роботс рекомендацию не индексировать данную страницу, но решил на свое усмотрение занести эту статью в свою дополнительную базу, которая называется сопли.

Как настроить роботс и закрыть от индексации не нужное читайте в обновленной статье https://inetsovety.ru/robots-txt-dlya-wordpress/

Как избавиться от Replytocom и сгенерированных им дублей

  •  редактируем файл robots.txt и удаляем лишнее

Если у Вас в в файле роботса есть такие директивы:

Disallow: /*?*  Disallow: /*?  Disallow: /*?replytocom

Удаляйте их без сожаления.

  • настраиваем редирект с дублированных страниц на основную

Что я имею ввиду. Вот у меня есть статья https://inetsovety.ru/zarabotok-na-tizernoy-reklame/, а у нее благодаря древовидным комментариям, создалось 25 дублей, которые доступны по адресам с параметром replytocom. Пример, https://inetsovety.ru/zarabotok-na-tizernoy-reklame/?replytocom=216662

Сейчас, перейдя по той ссылке, Вы попали на страницу https://inetsovety.ru/zarabotok-na-tizernoy-reklame/ Это сделал 301 редирект. Теперь и робот Гугла зайдя на страницу с дублированным контентом будет переброшен на основную страницу. Как быстро, робот посетит эти страницы и поймет, что они уже не существуют, это отдельный разговор.

Сейчас мы будем редактировать файл .htaccess. Обязательно сохраните его резервную копию. В случае внесения неправильных правок, Ваш блог перестанет работать. Этот файл находится на хостинге, где и папка wp-admin.

Открывать его я рекомендую не обычным блокнотом, а программой Notepad++. Вот по этой ссылке я Вам даю свой файл https://yadi.sk/i/a7bMqN58VojsE

Перед тем, как заменять свой файл моим, проверьте не содержится ли в Вашем файле дополнительных установок. Например, ограничений на доступ к сайту по ip адесу.

Вот такой код, я добавила для 301 редиректа:

RewriteCond %{QUERY_STRING} replytocom=  RewriteRule ^(.*)$ /$1? [R=301,L]

Гугл долго держит проиндексированные страницы и неохотно их переиндексирует, в частности на сайтах, которые попали под санкции за дублированный контент. Процесс вылета дублированных страниц не быстрый и займет много времени. У кого случилась подобная проблема, запасайтесь терпением. Схлопотать санкции быстро, а вот снять последствия от них долго.

Кроме параметра replytocom есть и другие, которые также создают дубли. Вот они:

category
tag
page
trackback
feed
comment-page
attachment
attachment_id

Аналогично, как мы искали дубли статей с replytocom, ищем другие дубли. В строчку поиска вставляете site:вашдомен.ru replytocom, заменяете replytocom на category, смотрите сколько дублей. Потом на tag и так далее.

Настроить редирект с этих дублей на основную страницу поможет нам файл .htaccess. В него добавляем такие строки:

RewriteRule (.+)/feed /$1 [R=301,L]  RewriteRule (.+)/comment-page /$1 [R=301,L]  RewriteRule (.+)/trackback /$1 [R=301,L]  RewriteRule (.+)/comments /$1 [R=301,L]  RewriteRule (.+)/attachment /$1 [R=301,L]  RewriteCond %{QUERY_STRING} ^attachment_id= [NC]  RewriteRule (.*) $1? [R=301,L]

А вот и сам файл с кодом всех редиректов: https://yadi.sk/d/Kfp7eKS5W2JsP

Чтобы работали редиректы на все дубли, добавляйте этот файл на хостинг. В файле, ссылку на который я давала выше, настроен редирект только для страниц с replytocom.

Понравилась статья? Поделиться с друзьями:
Как заработать деньги в интернете
Комментарии: 47
  1. Warrennok

    revatio wiki [ http://www.usamusiclessons.com/url.php?url=http://www.genericpillonline.com — kamagra vs generic viagra pfizer blue pill vgr 100 sidenafil citrate cheap viagra generic online vegetable viagra what is viagra super active viagra no prescription needed where to get viagra over the counter viagra for blood pressure control viagra before and after video

  2. Руслан

    Всё таки вредно запрещать доступ через файл роботс. Как я понял поисковики могут всё равно занести эти страницы в индекс. Лучше открыть эти страницы и прописать в них тег noindex, так мне кажется лучше

    1. Анатолий

      Вы имеете в виду прописать в роботсе тег noindex? Разве можно так делать?

  3. Анна

    Как у вас грамотно и понятно все описано. Спасибо, Виктория за хорошую и понятную информацию. Я перед вашим блогом изучала эту проблему на другом «именитом» блоге, мозг сломала, если честно. Можете ли вы мне помочь сейчас и ответить на вопросы: спустя 1,5 года эта проблема сохраняется и как следует поступить если я сейчас только приступаю к созданию блога и стою на пути выбора решения этой проблемы. А. Борисов советует ставить новичкам WordPress Thread Cjmment, или лучше будет обойтись без него, а настроить robots.txt и .htaccess как выучите в данной статье. Спасибо

    1. Виктория (автор)

      Можете поставить плагин. Потом, если будете заказывать сознание уникального шаблона, скажите программисту, чтобы он кодом вывел кнопку ответить на комментарий. Правильно настроить роботс и htaccess также стоит заранее, пока проблема не обнаружена.

  4. Виталий Охрименко

    Да уж, эти реплитукомы попили немало и моей кровушки. Благо я на сайте отказался от стандартных комментариев wordpress, оставил только Cackle. Спасибо Виктория за статью, думаю она очень многим была полезной

    1. Виталий Охрименко

      Но вот решил снова внедрить стандартные древовидные комментарии, и у меня появился один очень интересный вопрос: как сделать кнопку «ответить» как у Вас, Виктория? Никаких тебе ссылок, вот код, не могу понять как его себе внедрить в древовидные комментарии:

      Ответить

      1. Виктория (автор)

        Эта ссылка сделана через span, для поисковиков она не является активной и не создает дублей replytocom. Я обращалась к программисту, чтобы он ее реализовал таким образом.

      2. Виталий Охрименко

        Находил такие услуги, но то ли жадность моя, то ли упертость не позволяют мне пойти к программистам и заказать у них эту кнопку. Сейчас мучаться не буду, а вот когда шаблон сменю мозги себе раскалю но сделаю

      3. Виталий Охрименко

        хотя с современными СЕО плагинами это уже никчему. Я себе поставил SEO By Yost и забыл о проблеме реплитукома навсегда

    2. Люся

      Зря отказались от стандартных комментариев и оставили Cackle. С Cackle комментировать будут редко.

  5. Петр

    Привет, Виктория! Тема классная. Решил почистить сайт и удалить страницы дубли. Прологинился в вордпресс, открыл страницу дубль в новом вкладе. Вверху нажал на кнопку «Редактировать страницу» и хотел ее удалить. Но вовремя заметил, что в редакторе открылась основная страница, получается страницы дубль не существует и ее удалить нельзя. Есть только дополнительная ссылка на туже страницу. В таком случае сам сайт в объеме(МБ) не увеличивается, увеличивается только ссылочная масса — это так? Как удалить старые ссылки дубли?

    1. Виктория (автор)

      В случае с replytocom дублированная страница не создается. Появляется одна-две-десять разных ссылок на одну и туже страницу. Робот приходит по этим ссылкам на страницу, которую он уже ранее индексировал и воспринимает ее, как дубль. На размер базы данных это не влияет.
      Способов удаления несколько. Я для своего блога сделала редирект (перенаправление) с дубля на основную страницу. Через пару месяцев дублированные страницы выпадут из индекса сами, поскольку робот не будет их находить.

      1. Рашида

        Я сделала также как описано в статье и с помощью редиректа с дубля на основную страницу сайта надеюсь избавится от дублированных страниц

  6. Михаил

    «Открывать его я рекомендую не обычным блокнотом, а программой Notepad++»
    Вика, скажите, как заставить файл .htacces открываться в notepad++ ?
    Спасибо за статью!

    1. Виктория (автор)

      Открываете Notepad++ и перетягиваете в него ярлык файла .htacces.

    2. Рашида

      Михаил, нажать на файл правой кнопкой мыши и выбрать — Просмотр правка в меню

      1. Люся

        По нажатию правой кнопки мыши в контекстном меню выбрать опцию Открыть в Notepad++.

  7. Диана

    Вот это вот я не очень понимаю, если честно.( Я пока что убрала древовидные комментарии со своего блога, но это очень неудобно. Невозможно ответить человеку под его комментом. Надо будет эту статью раз 10 перечитать.

  8. Рашида

    Пока только изучаю эту тему — много неясностей. Когда окончательно пойму, займусь дублями. А пока просто поставила плагин древовидных комментариев.

    1. Рашида

      Изучила всё, что нашла по данной теме — внесла необходимые изменения, надеюсь что со временем дубли вылетят из индекса, а пока их довольно много.

  9. Александр Сергиенко

    Тоже сталкивался с этой проблемой, пришлось переделывать файл robots.txt, Прочитав статью, пришлось кое-что подкорректировать, не прописал некоторые моменты. Спасибо за статью, сделал все по вашей инструкции, теперь ждем результатов.

  10. Александр

    Это на самом деле такая структура блога. То есть так это все задумано. Про эти дубли уже писал один парнишка в 200 году, это просто профи и лучший сеошник, прислушаюсь к нему и поделюсь как можно решить эту проблему без плагинов и прочего китайского шерпотрепа. Лично я против плагинов, да и толку от этого плагина мало.

  11. Светлана

    Виктория, если у меня в результате в поиске гугла /replytocom вышло 9 страниц, это плохо? Нужно корректировать файл в корне сайта?

    1. Виктория (автор)

      Это еще не смертельно, но уже сигнал, что replytocom появляются. Значит стоит настроить роботс и установить плагин для скрытия кнопки ответить. Иначе новые дубли будут нарастать как снежный ком по мере оставления комментариев Вашими посетителями.

  12. Polina

    Я просто отключила древовидные комментарии (раньше были активными), но я не установила плагин WordPress Thread Comment. Обязательно его устанавливать или можно обойтись?

    1. Виктория (автор)

      Если Вы отключили древовидные комментарии, то плагин ставить не нужно.

      1. Светлана

        А если отключить древовидные комментарии, то разве страницы дубли исчезнут?

      2. Виктория (автор)

        Уже созданные вряд ли сами исчезнут, без изменения файла роботс. А вот новые не будут создаваться, т.к. больше не будет кнопки ответить на комментарий.

      3. Светлана

        Значит нужно редактировать все таки.
        Спасибо за подробное описание.

    2. Александр

      Выкиньте его. Это просто г… Больше рекламы. На мой блог потом заходите и читайте. безо всяких плагинов можно закрыть кнопку. Просто пару строчек кода вставить в шаблон. Этот кстатит плагин в буржунете с начала 2000 года всем успел надоесть, нашлись мастера русифицировали и выдали за свой. Такие вот приколы.

      1. Рашида

        Александр, я устанавливала на свой блог этот плагин, довольно долго его пыталась настроить, но так некрасиво получались комментарии один в другом, а кнопка Ответить вообще страшная в каких-то скобках. Удалила плагин и решила вопрос кодом.

      2. Виталий Охрименко

        Подскажите где код взяли? Не могу найти

  13. Валентина

    Виктория, а я никак не пойму, чего мы боимся, чтобы нам роботс не прокомментировал? Сегодня у Александра новые открытия ненужного, что мы делаем. Я прочла и ужаснулась. Кто-то будет просто исправлять, а я сначала изучать, а потом исправлять.

    1. Виктория (автор)

      Проблема заключается в том, что роботы Яндекса и Гугла, не слушают команд в robots.txt, и на всякий случай заносят в свою базу абсолютно бесполезные страницы (комментариев, категорий, меток). А потом сами же и наказывают сайт за наличие этих страниц в базе этих поисковиков. Наша задача разрешить роботу ходить по страницам сайта (не ставить ограничений в robots.txt), но запретить индексацию некоторых страниц с помощью мета тега и плагина All in One Seo Pack. В статье о файле robots.txt я обьяснила, как это сделать. Далее в текущей статье я написала, как настроить редирект со страниц, которые мы не можем закрыть от индексации. Поэтому мы ставим перенаправление с дублированной страницы на оригинальную.

  14. Сергей

    Тогда вам Виктория, нужно исправить файл robots.txt в своей статье про него. Там есть строчка которую надо удалить.

    1. Виктория (автор)

      Сегодня подправила не только сам robots.txt, но и всю инструкцию. Не достаточно просто удалить некоторые строчки из файла роботс. Чтобы все работало, как нужно, следует сделать ряд настроек.

  15. Юрий Ваценко

    Хорошо, что я данный плагин даже не устанавливал. Мне его запретили даже ставить, но не объяснили почему так, теперь я понимаю, почему. ;-)

  16. Сергей

    На днях материал на эту тему читал у Борисова. Я так пока эти строчки с роботса еще не удалял. Не знаю, если придерживаться этих правил, то зачем тогда сам роботс? По мне, так лучше предотвратить эти дубли на самом сайте, нежели их запрещать. Так хоть 100% гарантия, что Гугл не проиндексирует ненужное.

    1. Виктория (автор)

      Ситуация с роботсом у меня тоже вызывает вопросы. Смысл давать роботу директивы, если он поступает на свое усмотрение. Я тоже настояла 301 редирект, чтобы исключить появление новых дублей. Кто боится править код, может поствить плагин Replytcom Redirector, который будет перенаправлять на страницу. Еще можно в админке отключить древовидные комментарии и установить плагин WordPress Thread Comment, который будет выводить кнопку ответа на комментарий и не будет создавать дублей. Я его ставить не стала, думаю редиректа будет достаточно.

      1. Александр

        Я тоже посмотрел этот курс. Задумался и исправляю ошибки. Так же пытаюсь сделать всю микроразметку на блоге, чтобы улучшить показатели блога. Отличная статья, много интересного и полезного.

      2. Юрий

        Я тоже стремлюсь к уменьшению количества плагинов

      3. Виктория (автор)

        Сейчас спустя какое-то время, в все таки установила этот плагин. Не смотря на настоянный редирект, новые дубли появлялись, хоть и не индексировались.
        Создаваемые дубли Replytcom — это проблема движка WordPress и пока приходится ее решать самостоятельно каждому вебмастеру.

      4. Александр

        Очень плохо, что создатели движка не позаботились об этом заранее. Но поскольку движок бесплатный приходиться довольствоваться тем что есть

      5. Виталий Охрименко

        Могли бы в обновлениях движка сделать изменения, движок обновляется постоянно, а реплитукомы пропадают

      6. Рашида

        Устанавливала плагин WordPress Thread Comment — абсолютно не понравился, несколько дней билась, настраивала стили, всё как-то кривовато получалось. Отказалась от него, решила вопрос по-другому.

      7. Олег

        А как решили вопрос по другому? Поделитесь!

Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!:
Нажимая на кнопку "Отправить комментарий", я даю согласие на обработку персональных данных и принимаю политику конфиденциальности. Комментарий появится после проверки. Комментарии, содержащие спам и ненормативную лексику будут удалены!

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.