Чем вредит
- Конкуренты в реальном времени подстраивают цены под ваши.
- Тексты и описания появляются на сайтах-клонах, и поисковики не всегда понимают, кто первоисточник.
- Постоянная фоновая нагрузка: парсеры обходят каталог целиком, включая тяжёлые страницы фильтров.
- Искажение аналитики: роботы выглядят как посетители, которые ничего не покупают.
Эволюция парсеров
| Поколение | Как работает | Как отсекается |
|---|---|---|
| Скрипты | HTTP-библиотека, один адрес | Лимиты и отпечаток TLS |
| Скрипты на прокси | Тысячи адресов дата-центров | Репутация сетей хостингов |
| Безголовые браузеры | Настоящий движок браузера | Признаки автоматизации окружения |
| Браузеры на резидентных прокси | Домашние адреса, реалистичное поведение | Поведенческий анализ и лимиты на сессию |
Признаки в журналах
- Последовательный обход карточек товаров или страниц пагинации — подряд, по порядку номеров или категорий.
- Запросы к HTML-страницам без загрузки стилей, скриптов и картинок или, наоборот, только к JSON-методам, которые использует каталог.
- Обход в одно и то же время суток: многие парсеры работают по расписанию.
- Несоответствие заявленного браузера и сетевого отпечатка: строка User-Agent от Chrome, а соединение — от HTTP-библиотеки.
- Строка User-Agent поискового робота с адреса, который поисковой системе не принадлежит.
Поисковые роботы и полезные боты
Яндекс и Google рекомендуют проверять своих роботов обратным DNS-запросом: имя узла должно принадлежать домену поисковика, а прямой запрос этого имени — возвращать тот же адрес. Фильтр делает такую проверку сам и пропускает настоящих роботов без проверки браузера, а поддельных — нет. Отдельно в разрешённые вносятся сервисы, с которыми вы работаете сами: мониторинг цен по договору, агрегаторы, фиды для маркетплейсов.
Реалистичная цель защиты
Остановить парсинг полностью нельзя: в крайнем случае его можно делать руками. Реалистичная цель — сделать автоматический сбор медленным и дорогим, чтобы он перестал окупаться, и не мешать при этом поисковикам и покупателям.
Меры
- Отпечатки TLS и HTTP и проверка браузера для клиентов с признаками автоматизации — см. защиту от ботов.
- Лимиты на число карточек и страниц каталога за сессию — обычный покупатель не открывает тысячу товаров за час.
- Фильтры по сетям хостингов и прокси-провайдеров — см. гео- и ASN-фильтры.
- Нормализация параметров фильтров, чтобы обход каталога не обходил кэш.
Подробнее о механизмах — на странице защиты от парсинга.
Вопросы и ответы
Можно ли запретить парсинг в robots.txt?
robots.txt — договорённость, которую соблюдают добросовестные роботы. Коммерческие парсеры его игнорируют.
Не упадёт ли сайт в поиске после включения защиты?
Нет, если настоящие поисковые роботы проходят без проверки браузера. Их принадлежность определяется по обратному DNS, а не по строке User-Agent, которую легко подделать.
Законен ли парсинг чужого сайта?
Это зависит от того, что собирают и как используют. Сбор персональных данных, копирование текстов и баз данных могут нарушать закон и права владельца. Технические меры защиты при этом не отменяют юридических.