В прошлом году, ничего не предвещая беды, я любовался красивой статистикой посещений своего сайта в Яндекс Метрике. Мой сайт был в ТОПе Яндекса по тематике создание и продвижение сайтов, люди постоянно звонили и писали по заказам. Все шло хорошо.
После Нового Года я решил снять статистику позиций сайта и просто ахнул, сайт улетел далеко за ТОП-100. Я стал разбираться и оказалось, что мой сайт положили прямыми заходами и поисковым заходами с отказами.
Пока вы спите на ваш сайт накручивают негативные поведенческие факторы
Что такое отказы?
Отказ — это время посещение сайта одним пользователем до 15 секунд. С точки зрения Яндекса если пользователь перешел на сайт и сразу вышел, то сайт считается нерелевантным и понижает его в поиске. Если таких отказов немного, то ничего страшного, а в моем случае это привело к потере позиций.
Кому это может быть нужно?
Негативная накрутка поведенческих факторов нужна:
- Конкурентам, которые хотят целенаправленно “притормозить” развитие ресурса.
- Сторонним сеошникам, которые просто “тренируют” своих ботов, которые впоследствии будут использоваться для накрутки позитивных ПФ. Научить робота вредить проще, чем приносить пользу. Поэтому “новорожденные” боты часто обкатываются в атаках на случайные сайты, а позже, когда поисковик уже не отличает их от реальных пользователей, их начинают подключать к продвижению.
- Специалистам, которым очень хочется продать свои услуги новому клиенту. Алгоритм прост: сначала накручиваются негативные ПФ, из-за них сайт падает в выдаче. А затем вам звонят из SEO-агентства и предлагают исправить ситуацию.
Как происходит накрутка?
Теперь давайте посмотрим на "темную сторону Луны" и разберемся как работает накрутка. Для накрутки поведенческих факторов используются специальные программы. Основные из них:
- ZennoPoster
- Webvisitor
Принцип действия программ по накрутке
- Собирается список сайтов, которые содержат счетчик Яндекс Метрики. Программа сбора данных собирает сайты анализируя код и если счетчик имеется, то сайт добавляется в список. Для чего это нужно? Яндекс анализирует активность людей в интернете по счетчикам Метрики и другим данным и собирает "портрет пользователя".
- Создаются профили ботов, которые маскируются под видом реальных пользователей, используя уникальные отпечатки браузера (fingerprint), ip-адрес и другую информацию необходимую для Яндекса.
- Созданные профили ботов запускаются для посещения сайтов из собранного списка выше.
- Вот тут и начинаются проблемы для сайтов куда начинают заходить боты. По результатам работы программы для накрутки ПФ мы получаем прямой заход + отказ, так как боты «нагуливая» историю посещений долго не задерживаются на сайте, от 0 до 15 секунд.
- Также в таких программах есть черные списки и если ваш сайт занесли в такой список, то программа будет направлять ботов на ваш сайт добавляя вам отказы.
Скриншот программы для накрутки ПФ Webvisitor
Самый главный вопрос, что делать?
Прошерстив просторы Рунета в поисках решения с негативной накруткой ПФ я наткнулся на решение ребят из ПиксельТулс. Как работает скрипт?
При открытии сайта появляется сразу всплывающее окно, если произойдёт какое-либо взаимодействие с окном (клик по кнопке «Принять» или «Закрыть»), то выполнится отложенная загрузка счётчиков Яндекс.Метрики и Google Analytics. А если никакого взаимодействия с окном не будет, значит с большой долей вероятности это робот и коды систем аналитики от него будут скрыты.
Скриншот всплывающего окна
Я попробовал внедрить данный скрипт на своем сайте и он сработал. Буквально на следующий день прямые заходы и отказы пошли на снижение:
После того как я решил вопрос с негативной накруткой я написал статью на Яндекс Дзене, где описал все подробности как я это сделал.
Но есть проблема данного решения. Наш пользователь в интернете не любит всплывающие окна на сайтах и это может негативно сказаться на посещаемости и конверсиях.
Что можно предпринять в первую очередь для борьбы с накруткой отказов и прямых заходов?
1 шаг. Скрываем счетчик метрики.
Я советую первым делом обратить внимание как подключен счетчик Яндекс Метрики. Если он у вас установлен напрямую в страницу сайта подобным образом, то необходимо счетчик скрыть
<!-- Yandex.Metrika counter -->
<script type="text/javascript" >
(function(m,e,t,r,i,k,a){m[i]=m[i]||function(){(m[i].a=m[i].a||[]).push(arguments)};
m[i].l=1*new Date();
for (var j = 0; j < document.scripts.length; j++) {if (document.scripts[j].src === r) { return; }}
k=e.createElement(t),a=e.getElementsByTagName(t)[0],k.async=1,k.src=r,a.parentNode.insertBefore(k,a)})
(window, document, "script", "https://mc.yandex.ru/metrika/tag.js", "ym");
ym(0000000, "init", {
clickmap:true,
trackLinks:true,
accurateTrackBounce:true,
webvisor:true
});
</script>
<noscript><div><img src="https://mc.yandex.ru/watch/82394470" style="position:absolute; left:-9999px;" alt="" /></div></noscript>
<!-- /Yandex.Metrika counter -->
Скрываем счетчик Яндекс Метрики очень просто. Создаем JS файл под любым названием, например tools.js. Открываем файл текстовым редактором, например Notepad++ и вставляем следующий код:
(function(m,e,t,r,i,k,a){m[i]=m[i]||function(){(m[i].a=m[i].a||[]).push(arguments)};
m[i].l=1*new Date();
for (var j = 0; j < document.scripts.length; j++) {if (document.scripts[j].src === r) { return; }}
k=e.createElement(t),a=e.getElementsByTagName(t)[0],k.async=1,k.src=r,a.parentNode.insertBefore(k,a)})
(window, document, "script", "https://mc.yandex.ru/metrika/tag.js", "ym");
ym(0000000, "init", {
clickmap:true,
trackLinks:true,
accurateTrackBounce:true,
webvisor:true
});В данной строке вместо нулей необходимо указать свой номер счетчика из Яндекс Метрике:
ym(0000000, "init",После этого файл tools.js помещаем в файловую часть сайта и затем убираем вывод старого счетчика и подключаем новый примерно так, но учтите, что в зависимости от CMS сайта это может делаться по разному:
<script src="/assets/js/tools.js"></script>Если вы не имеете навыков работы с кодом с сайта, то лучше обратиться к специалисту по сайтам
Обязательно проверьте работу счетчика после того как вы добавили скрипт на сайт!
Для чего нужно скрытие счетчика Яндекс Метрики?
Программы парсеры анализируют html-код сайта и если в коде присутствует счетчик, то вносят в базу сайтов. Данная база обновляется 1 раз в месяц, так как некоторые сайты могут прекратить работу и программа накрутки может работать не эффективно.
Как правило через 1 месяц после скрытия счетчика Яндекс Метрики сайт пропадает из базы данных и негативная накрутка ПФ прекращается
2 шаг. Включаем фильтр роботов по поведению.
В Яндекс Метрике в разделе Настройка->Фильтры включить галочку Фильтровать роботов по поведению:
3 шаг. Анализируем отчеты метрики
В Яндекс Метрике нужно проанализировать прямые заходы и выявить откуда они приходят. Для этого переходим в счетчик метрики и выбираем Отчеты->Источники->Посещаемость
Наблюдаем на примере моего сайта такую картинку. Зеленый график - это прямые заход и он превышает количество переходов их поиска Яндекса.
Прямые заходы превышают количество заходов из поиска
Теперь посмотрим из каких стран приходят посетители сайта.
Выбираем в этом же отчете Визиты в которых->География->Местоположение
Обратите внимание на количество переходов из других стран
Если таких переходов слишком много, то стоит задуматься о блокировке доступа по ip к сайту из этих стран. Существует мнение о том, что есть риск заблокировать реальных пользователей из России, но на практике такие случаи единичны.
4 шаг. Блокировка доступа сетей Битерики Group
Biterika – является облачным провайдером серверов. В то же время, визиты ботов из их сетей достаточно быстро и качественно опустят ваш сайт в выдаче, испортят поведенческий фактор (ПФ). Боты Битерики маскируются под обычными пользователями, в Вебизоре Метрики можно отследить визит и перемещение, как правило среднее время визита от 0 до 2 минут.
Как выглядят посещения с Битерики в Вебвизоре Яндекс Метрике
Инструкция как заблокировать Битерику
Для блокировки необходимо войти в файловую часть сайта по FTP и найти файл .htaccess, если его нет, то создать в корне сайта и прописать следующую конструкцию
Order Deny,Allow
Deny from 185.124.29.0/24
...
# полный список IP адресов можно скачать ниже (Скачать .htaccess)Если у вас Apache 2.2, то скачиваем эту версию htaccess. Если у вас Apache 2.4, то скачиваем эту версию htaccess.
Поможет ли сервис Cloudflare в борьбе с негативной накруткой ПФ?
Самая популярная система защиты от DDoS-атак и нашествия ботов. Сразу отмечу, что Cloudflare не борется конкретно с накруткой поведенческих факторов, а просто показывает капчу всем сомнительным пользователям. Сервис не всегда эффективно справляется с этой задачей, поэтому 100% эффективность не гарантируется. По моим наблюдениям реального тестирования сервиса Cloudflare показала ее низкую эффективность в связи с тем, что прямые заходы ограничить невозможно. Если вы заблокируете доступ по прямым заходам, то люди, которые переходят на сайт по прямой ссылке потеряют доступ.
