Боты на резидентных прокси

Почему это проблема

Резидентный адрес нельзя просто заблокировать: через тот же адрес, возможно, завтра зайдёт настоящий покупатель. Адреса меняются при каждом запросе, их миллионы, и они распределены по тем же провайдерам и городам, что и ваши клиенты.

По каким признакам они видны

• Отпечаток клиента. Адреса разные, а программа одна: одинаковый отпечаток TLS и HTTP у тысяч адресов.
• Несоответствия. Заявлен мобильный браузер, а соединение и заголовки — от серверной библиотеки.
• Поведение. Один запрос с адреса и сразу смена адреса — настоящие посетители так не ходят.
• Скорость сети. Задержки прокси-цепочки отличаются от прямого подключения.

Откуда берутся такие адреса

Резидентные прокси продают как услугу. Адреса набираются через приложения и расширения, которые за «бесплатный VPN» или вознаграждение пропускают через устройство чужой трафик, а также через заражённые роутеры и устройства умного дома. Владельцы устройств часто не знают, что их адрес используют для запросов к вашему сайту.

Признаки в журналах

• Много разных адресов российских и зарубежных провайдеров, каждый с одним-двумя запросами, — и все к одной форме или методу.
• Запросы сразу к целевому адресу без захода на главную и без загрузки статики.
• Распределение адресов по провайдерам и странам не совпадает с вашей аудиторией.

По каким признакам они видны

• Отпечаток клиента. Адреса разные, а программа одна: одинаковый отпечаток TLS и HTTP у тысяч адресов.
• Несоответствия. Заявлен мобильный браузер, а соединение и заголовки — от серверной библиотеки.
• Поведение. Один запрос с адреса и сразу смена адреса — настоящие посетители так не ходят.
• Скорость сети. Задержки прокси-цепочки отличаются от прямого подключения.

Как не задеть настоящих клиентов

Мобильные операторы выпускают абонентов в интернет через общие адреса (CGNAT), и за одним IP могут оказаться сотни людей. Поэтому жёсткие лимиты по адресу здесь вредны: под них попадут настоящие покупатели. Решения принимаются по сочетанию признаков, а сомнительным клиентам показывается проверка браузера, а не блокировка.

Вывод

Против резидентных прокси работает только многофакторная оценка: отпечатки, проверка браузера и поведение. Именно поэтому фильтр не опирается на один признак, а складывает их. Подробнее — на странице защиты от ботов.