Обнаружение headless-браузеров

Ранее в одной из статей я рассказал, как при помощи "безголовых" серверных браузеров можно собирать информацию с сайтов. А сейчас в связи с тем, что гугл меня окончательно задолбал уведомлениями о якобы распространении вредоносного софта, я задумался о противодействии таким технологиям.

Мысли о фильтрации пауков гугла по ip-адресам и любую серверную предобработку контента я отмел сразу, это заведомо дохлый номер. А вот показывать или не показывать определенный контент на странице в зависимости от поведения браузера - вот это хорошо и правильно. Естественно, раз уж это динамические действия, то выполняться они будут на JavaScript.

Начнем с самого простого - проверка наличия строки "headless" в названии браузера и/или в его версии.Для обнаружения примитивного "коробочного" вызова серверного Chrome этого достаточно. Но стоит добавить в параметры вызова собственное название User Agent, как этот метод сразу же отваливается. Гугловые пауки таким образом маскируются под вполне себе десктопный браузер. Но совсем игнорировать этот способ обнаружения не надо, он имеет право на существование.

Более интересный способ обнаружения основан на том, что у "безголового" Chrome отсутствует объект window.chrome, обязательный для любого десктопного или мобильного браузера, созданного на движке WebKit. Осталось только найти способ, чтобы гарантированно определять наличие движка WebKit. И такой способ есть.Конструкция eval.toString().length под разными браузерными движками возвращает разные значения, для WebKit-браузеров это фиксированное значение 33. Таким образом, если браузер использует WebKit, но при этом не имеет определенного объекта window.chrome, то можно с уверенностью говорить об использовании "безголового" браузера.

Кроме перечисленных способов можно использовать более навороченные, которые работают только в реальных браузерах. Например, наличие установленных плагинов или доступ к браузерным уведомлениям. Но это уже на случай, если перечисленных простых способов окажется недостаточно.

Пока я только тестирую технологии противодействия гугловским сканерам, как только будут результаты, я обязательно дополню статью.

Комментарии

Добавить комментарий

Для вставки цитаты выделите текст и нажмите сюда

Имя*:

Текст комментария (не более 2000 символов)*:

*Все поля обязательны для заполнения.

Комментарии, содержащие рекламу, ненормативную лексику, оскорбления и т.п., а также флуд и сообщения не по теме, будут удаляться. Нарушителям может быть заблокирован доступ к сайту.