Защита от ботов: отличаем людей, полезных роботов и вредную автоматизацию

Три класса трафика

Как определяется бот

Ни один признак по отдельности не надёжен: IP можно сменить, заголовки подделать, браузер запустить на сервере. Поэтому решение принимается по совокупности сигналов, и каждый из них добавляет или снимает баллы риска.

• Репутация источника. Адрес из сети хостинга или известного прокси-провайдера, участие в недавних атаках, история запросов к вашему сайту.
• Отпечаток TLS-клиента. Набор шифров и расширений, который отправляет клиент при установке HTTPS-соединения. У настоящего Chrome он один, у библиотеки на Python — другой, даже если в заголовках написано «Chrome».
• Согласованность HTTP. Порядок и состав заголовков, версия протокола, поддержка сжатия. Подделать каждый признак можно, согласовать все — сложно.
• Проверка браузера. Небольшой скрипт, который выполняет настоящий браузер и не выполняют простые HTTP-клиенты.
• Поведение. Скорость переходов, повторяемость маршрутов, запросы к страницам, на которые нет ссылок.

Полезные роботы не страдают

Роботы поисковых систем проверяются не по заголовку User-Agent, который подделывают чаще всего, а по обратной DNS-записи и опубликованным диапазонам адресов. Для своих интеграций — 1С, CRM, платёжных уведомлений, систем мониторинга — вы добавляете исключения в личном кабинете: по IP, подсети, пути или секретному заголовку.

Режимы работы

• Наблюдение. Фильтр только размечает трафик и показывает, что было бы заблокировано. С этого режима стоит начинать, чтобы не задеть нужные интеграции.
• Мягкий. Подозрительные запросы получают проверку браузера, явные боты блокируются.
• Строгий. Включается автоматически во время атаки или вручную: проверка для всех, кроме проверенных посетителей и белого списка.