Защита от парсинга: цены, каталог и контент остаются вашими

Как выглядит современный парсер

Простые скрипты на Python отсекаются по отпечатку TLS и отсутствию JavaScript. Продвинутые парсеры используют безголовые браузеры и резидентные прокси: запросы идут с домашних адресов и выглядят как обычный Chrome. Их выдаёт поведение — обход каталога по порядку, отсутствие картинок и стилей, одинаковые интервалы, запросы к страницам без переходов по ссылкам.

Что делаем

• Отсекаем простые HTTP-клиенты по отпечатку и проверке браузера.
• Считаем лимиты на просмотр карточек товаров и страниц каталога на сессию.
• Выявляем безголовые браузеры по признакам окружения.
• Замечаем последовательный обход и аномальные маршруты.
• Для подтверждённых парсеров вместо блокировки можно включить задержку ответа: парсинг замедляется в десятки раз, а атакующий не сразу понимает, что его обнаружили.

Чем грозит парсинг

• Нагрузка. Обход каталога в десятки тысяч карточек — это постоянный поток запросов к базе, который не приносит ни одного заказа.
• Потеря ценового преимущества. Конкурент, видящий ваши цены в реальном времени, автоматически ставит свои на рубль ниже.
• Клоны и дубли. Скопированные тексты и описания появляются на чужих сайтах и конкурируют с вами в поиске.
• Искажённая аналитика. Боты накручивают просмотры и сбивают статистику конверсии.

Кому разрешить

Поисковые роботы, сервисы сравнения цен, с которыми у вас договор, партнёры по выгрузке фида — для них настраиваются исключения. Лучше отдать партнёрам товарный фид отдельным файлом, чем позволять им парсить сайт.

С чего начать

Сначала включается режим наблюдения: в журнале видно, какая доля просмотров каталога приходится на автоматизацию и с каких сетей она идёт. Затем лимиты и проверки включаются для каталога и карточек товаров, а главная, статьи и страницы для поисковиков остаются без изменений. Подробнее о самих атаках — на странице о скрейпинге и парсинге, о ботах на домашних адресах — в материале о резидентных прокси.