Реф-спам. Как бороться с реф-спамом и что это вообще такое?

 

b2bgxonieaahyibРеф-спам (реферер-спам или веб-спам) это очень не приятная штука, которая наносит определенный вред, для ваших сайтов, тем самым причиняя вам различные проблемы. Для тех, кто впервые слышит понятие реф-спам, немного ниже в статье я расскажу, что такое реф-спам, что он делает и так далее, чтобы вы могли представлять себе, о чем вообще идет речь.  В наше время большая часть сайтов подвержена реферер-спаму (веб-спаму), и от него нужно избавиться обязательно, тем более, для того чтобы избавиться от реф-спама не нужно быть профессионалом.

[contents]

Если вы внимательно смотрели статистику своего сайта, то наверняка могли видеть переходы на ваш сайт с различных сайтов с адресами такого типа:

  • semalt.com
  • website-errors-scanner.com
  • buttons-for-your-website.com
  • buttons-for-websites.com
  • best-seo-solution.com
  • simple-share-buttons.com
  • social-buttons.com
  • и так далее.

Но, к сожалению многие этого не замечают, потому что не всегда смотрят внимательно статистику посещаемости сайта или на ваш сайт слишком много переходов с различных сайтов и вы просто этого не замечали. В моем случае очень часто бывали случае, когда представленные выше сайты были в топе по переходам и по статистике мои сайты получали большое количество переходов именно с этих сайтов.

Мне было интересно, почему с этих сайтов переходят ко мне. При переходе по ссылке срабатывал редирект, и меня перенаправляло на какой-либо сайт с товарами, виджетами, услугами, кнопками соц. сетей и так далее.

Это тоже своего рода реклама и привлечение трафика на различные партнерские продукты. Не знаю, случалось ли кому-либо попадать на такие страницы только не с товарами, а с мобильными подписками не знаю, в моей практике такого ее не было. Но, думаю, и это вполне может быть.

Как вы уже поняли, такими действиями мошенники получают либо трафик на свои сайты с партнерскими продуктами, либо получают обратные ссылки, если в статистике посещаемости отображается их ссылка и статистика сайта индексируется, тем самым ссылки на спамные сайты получает дополнительный вес. (В последнем пункте не уверен, так как подобной информации не нашел в сети интернет в тот момент когда разбирался с данной проблемой).

А ваши сайты подвержены реф-спаму (веб-спаму)?

Это явление началось в буржунете еще в 2012 – 2013 году, на данный момент она приобретает все больше и больше популярности. Сейчас сложно найти сайт, на который не было выполнено не одного веб-спама. На форумах очень много тем посвященных вопросам связанных, с переходами с этих сайтов, что это такое и как вообще с этим бороться. Реф-спам успел достаточно навредить сайтам не только в Рунете, но и в других странах.

Читайте так же:  Как установить SSL сертификат на Wordpress сайт и настроить HTTPS

При этом, если проанализировать десяток сайтов, то можно заметить, что переходы выполняются так же и на сайты находящиеся под фильтром АГС. А как вы знаете, если сайт находиться под фильтром АГС страницы вылетают из индекса. Поэтому можно предположить, что  для веб-спама подбираются сайты не только из поиска, но, и, например, из какого-нибудь каталога или рейтинга сайтов.

Поэтому не стоит надеяться, что ваш сайт не подвержен реф-спаму, лучше принять меры и оборвать поток веб-спама на ваши сайты.

Почему реф-спам представляет серьезную проблему?

Одним из первых пунктов, это, конечно же, искажение статистики сайта. Так же из-за постоянного реферер-спама забиваются логи сервера различной ненужной информацией. Особенно если вы занимаетесь продвижением клиентских сайтов, то очень часто приходиться объяснять, почему на сайты типа semalt не нужно обращать внимание и учитывать эти переходы. Это занимает у меня очень много времени каждый месяц. Так как клиенты, с которыми я начинаю работать, не имеют защиту сайтов от веб-спама. Приходится в ходе работы принимать меры по избавлению от реф-спама. Но если они смотрят статистику за год, то очень часто говорят что-то вроде такого:

У нас раньше было больше трафика на сайтах, мы получали много переходов с различных сайтов, а теперь этих переходов нет. В чем причина? И мне каждый раз каждому клиенту приходится подробно рассказывать и показывать что это за сайты, какого качества эти переходы и так далее. В общем, каждый раз нужно довести клиента до понимания того, что этот трафик не приносит им пользы, а только наносит вред.

Так же стоит учесть и тот факт, что при реф-спаме статистика ваших сайтов будет показывать высокий показатель отказов и очень короткие сессии. Потому что при веб-спаме время пребывания пользователя на сайте будет примерно 1 – 3 секунды. Из-за этого вы будете видеть постоянно, что у вас все время падает этот показатель в той же Яндекс Метрике.

Конечно, для тех, кто использует на своих сайтах Google Analytics, может создать специальные фильтры, которые будут фильтровать и исключать веб-спаммеров (реф-спам) типа того же самого semalt. Однако, такое действие не поможет решить проблему, так как вы все равно будете получать веб-спам на свои сайты и нагружать лишний раз свой сервер фейковыми переходами.

 

Читайте так же:  Скрипт увеличения картинки при нажатии на Вордпресс

Различные фильтры в статистике это отлично, но не является решением проблемы. Поэтому сейчас я расскажу вам, как избавиться от этой заразы на стороне сервера и отрубить веб-спам еще на подходе.

Останавливаем веб-спам (реф-спам)

Самый основной момент во всей борьбе с реф-спамом это заблокировать запрос спамера обращенный к вашему серверу еще до того момента как он зарегистрируется в логах со своим фейковым реферером. Для этого есть самый простой метод борьбы, который реализуется благодаря использованию файла .htaccess.

Для этого пропишите в файле .htaccess следующий код:

## SITE REFERRER BANNING
RewriteCond %{HTTP_REFERER} semalt.com [NC,OR]
RewriteCond %{HTTP_REFERER} buttons-for-website.com [NC,OR]
RewriteCond %{HTTP_REFERER} seoanalyses.com [NC]
RewriteRule .* - [F]

Перенаправление веб-спама

Еще один отличный вариант борьбы с реферер-спамом это использование перенаправления (редиректа веб-спама). Благодаря редиректу веб-спам будет перенаправляться туда, откуда он пришел на ваш сайт. Делается это с помощью специального файла deflector.map и прописываем в данном документе следующий код:

#
## deflector.map
##
##referer --> redirect target
http://semalt.com http://semalt.com
http://seoanalyses.com http://seoanalysis.com
http://buttons-for-website.com http://buttons-for-website.com

После того как файл создан добавляем в файл .htaccess ниже приведенный код:

RewriteMap deflector txt:/path/to/deflector.map
RewriteCond %{HTTP_REFERER} !=""
RewriteCond ${deflector:%{HTTP_REFERER}} =-
RewriteRule ^ %{HTTP_REFERER} [R,L]

Плагин для WordPress от реф-спама

Для тех владельцев кто не имеет доступ к файлу .htaccess или нет желания копаться в файлах, можно установить плагин, который сделает все необходимое и будет блокировать реф-спам. Но тут опять же есть свои минусы. Плагин для вордпресс от веб-спама не блокирует все рефереры, а только semalt, но кроме него есть еще достаточно много других адресов, которые будут благополучно спамить ваш сайт и статистику, как и прежде. Поэтому в любом случае придется поработать руками либо собственными силами избавиться от веб-спама, либо нанять специалиста, на фрилансе вам это сделают за символическую плату.

В принципе, присмотритесь к этому плагину. Я им пользовался, очень давно, и возможно, что сейчас, в обновленных версиях плагина включен большой список рефер-спамеров. Возможно, там появилась возможность, самому, вручную вписывать такие сайты. В общем, проверьте, может что-то в плагине изменилось.

Оптимальная блокировка реф-спама на уровне .htaccess

Кроме всего выше описанного так же можно использовать блокирующий реф-спам код в файле .htaccess одновременно для всех своих сайтов. Для этого нужно поместить файл .htaccess не в корневую папку сайта, а в верхнюю папку, в которой хранятся все ваши сайты. Такой способ применим, в том случае если все ваши сайты расположены в рамках одного аккаунта на хостинге.

Читайте так же:  Движок для социальной сети. Какой движок для социальной сети выбрать.

Сервер, на котором хранятся все ваши сайты, будет отдавать приоритет именно этому файлу, так как он расположен выше остальных файлов .htaccess, которые располагаются в папке с каждым сайтом, так как у них будет уровень вложенности ниже. Сервер будет в первую очередь встречать ваш верхний файл .htaccess и выполнять его код, тем самым все ваши сайты будут блокировать реф-спам.

Ну и в конце данной статьи хотел бы предоставить вам небольшой список сайтов, которые рассылают на сайты веб-спам. Заблокируйте их одним из представленных мной способов и ваши сайты не будут получать реф-спам, а статистика сайтов будет чистая и не искаженная.

[aspan]Скачать список веб-спам сайтов[/aspan]

Заключение

Надеюсь, что вам пригодилась информация в этой статье, и вы наконец-то избавились от реф-спама, который искажал статистику посещаемости вашего сайта. Так же очень распространенной проблемой для вебмастеров является немного иное явление. Зачастую бывает так, что на ваш сайт выполняются переходы по ложным ключевым словам.

Для борьбы с накруткой посещаемости и искажения поисковых запросов, которые получают трафик так же нужно применить вышеуказанные методы, и внимательно смотреть с каких сайтов выполняются переходы. Если на ваш сайт, идет большое количество трафика по ключевым словам, которые не могут давать трафика, так как ваш сайт находится далеко за ТОП 20, то это говорит о том, что это веб-спам либо кто-то из конкурентов накручивает ваши показатели через различные сервисы или те же самые буксы или почтовики.

На данный момент такую проблему могут испытывать многие, но реальной защиты от этого пока нет. Так как блокировать их не возможно. Каждый день, к вам на сайт, будут заходить люди с разными IP. Адресов сайтов не будет как в случае, с веб-спамом, который выполняет входы с определенных адресов.

На этом у меня все, буду заканчивать данный пост, уже в ближайшие несколько дней будет опубликован мой отчет по первой неделе работы в рамках марафона 30 000 рублей в месяц до 1 сентября 2017 года, не пропустите, если вам интересно, и вы следите за ходом марафона! Пока! Пока!

 

Понравилась статья? Поделиться с друзьями:
Комментариев: 23
  1. Павел

    Спасибо огромное!

    1. Александр Деменев (автор)

      Всегда пожалуйста! Написал все что знаю об этом.

  2. Руслан

    Что-то новенькое.
    К счастью на своем блоге я пока такого явления не замечал

    1. Александр Деменев (автор)

      Да, сейчас это распространенная проблема на многих сайтах. Если такого нет, то вам очень повезло.

  3. Мария

    Здраствуйте, Александр. Приятно видеть в добром здравии Ваш сайт. Давно не комментировала блоги коллег. Как Ваши успехи в блоггинге.?? Есть какие-то творческие планы. Кстати если позволите буду комментировать Вас на постоянной основе. Предлагаю дружить блогами. Нужен, очень нужен трафик. Ну и живое общение то же. Много разных творческих мыслей и планов.
    С уважением, Коротина М.В.

    1. Александр Деменев (автор)

      Здравствуйте! Всегда рад дружескому общению. По поводу творческих планов и успеха в блоггинге пока особо поделиться нечем. Начинаю марафоны по созданию сайтов и уже через какое -то время думаю будут какие то результаты!

  4. Мария

    Что за марафоны? Обучаете людей создавать сайты? И какие результатов ждете? У

    1. Александр Деменев (автор)

      Нет, я пошел на обучение и марафон по созданию сайта. В общем соревнование, решил пойти для получения серьезной мотивации к работе.

  5. Мария

    А у кого если не секрет будете обучаться? Я в декрете была, пошла к Александру Борисову в его школу обучаться, но с деньгами туго, что-то стало. Отложила это занятие. Вот решила пока возобновить живое общение с коллегами — блоггерами. Да и много творческие планов. Мотивация конечно на работу нужна, очень нужна, без нее никуда. Сейчас модно еще здоровый образ жизни, правильный распорядок дня и на виду надо быть, общаться. Дорого стоит подобный марафон?
    Я вообще давно не переписывалась с блоггерам, вот решила завести такую привычку, думаю лучшей продвигалки вообще не существует..

    1. Александр Деменев (автор)

      Не мог сразу ответить. Был очень занят. Да всегда приятно общаться с теми кто занимается одинаковым делом. Блоггерам всегда нужно поддерживать диалог.
      Обучение стоит 11 000 рублей если идти на марафон «Начало», обучение проводит Роман Пузат. Создатель конференции Кинза, на которой собираются самые успешные вебмастера, арбитражники и рекламодатели. Самый лучший специалист в Рунете. Результаты учеников за год просто поражают, те кто создает сайты на его марафонах через год продают сайты за миллионы. Там нет всего того бреда что дает Борисов. У него реально учиться нечему. Я долго читал его смотрел и изучал его курсы. Везде вода. Не стоило спешить с решением пойти к нему на учебу, я говорю это вам потому что сам знаю и через все прошел. Потратил свои годы на то чтобы тратить деньги на его «бредокурсы». Особенно мне нравиться когда он говорит что если у блога оформление или шапка не такая как у меня красочная то трафика не будет. Полный бред. Хотите трафик закажите у меня шаблон мы вам сделаем супер конфетку, короче разводит как только может.

  6. Evgeny

    Буду знать на будущее как бороться с реф-спамом. Я так понимаю начинающим сайтам этого бояться не нужно?

    1. Александр Деменев (автор)

      Даже нулевые сайты подвержены веб спаму. Поэтому лучше сразу все это выполнить и не получать никаких проблем.

  7. Юрий

    Спасибо большое! Заметил активность этого друга lifehacĸer.com и еще одного товарища reddit.com

    Хостинг посоветовал код: RewriteEngine On
    RewriteCond %{HTTP_REFERER} example\.com [NC,OR]
    RewriteCond %{HTTP_REFERER} example\.net [NC]
    RewriteRule .* — [F]

    Только я так и не понял куда в htaccess его прописать если у меня уже есть такое: RewriteEngine On
    RewriteBase /
    RewriteRule ^.htaccess$ — [F]

    Благодарю за подсказку!

    1. Александр Деменев (автор)

      Очень рад что вам пригодилась моя статья.
      Попробуйте поставить после кода который у вас есть с новой строки. Только предварительно сделайте бэкап этого файла.

  8. Дмитрий

    Интересно, я даже о подобном понятии не знал, буду внимательнее следить за этим! Спасибо за информацию!

  9. Валентин

    Я тоже этим термином первый раз столкнулся. Но наблюдения были, обычно они быстро проходят не видя большого толка, они оставляют комментарии со своими ссылками.

    1. Александр Деменев (автор)

      Да, сейчас используют различные методы спама для того чтобы получить трафик по различным ссылкам, для продажи каких либо товаров или для смс подписок. В общем из-за таких ребят весь интернет превращается в мусорку, даже рассылки страдают очень сильно.

  10. Интерскоп

    Тоже столкнулся с такой проблемой, но особого значения этому не придавал, в общем благодарю за информацию «Век живи, век учись» :)

  11. Павел

    Спасибо, полезная информация. Буду иметь ввиду. Сделаем интернет чище :)

  12. Татьяна

    Спасибо, очень интересная и полезная информация

  13. андрей

    С реф-спамом пока как-то особо не сталкивался, но вашу статью я возьму на заметку. Предупрежден — значит вооружен.

  14. Максим

    Ну да действительно мало кто на это обращает внимание. Лично я впервые об этом услышал сейчас! Спасибо!

  15. Александр

    Реф-спам набирает обороты и эффективной защиты от него я пока не нашёл, хотя облазил немало сайтов профильной тематики. Поместил htaccess в верхнюю папку, слежу за результатом. В принципе, перенаправление реф-спама тоже рассматриваю как вариант.

Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: