Crawler Shield для OpenCart — защита каталога от ИИ-краулеров, meta-externalagent и парсеров фильтров

Crawler Shield для OpenCart — модуль, который не даёт ботам класть магазин на страницах фильтров. Каждая комбинация фильтра, сортировки, количества на странице и номера страницы — отдельный адрес, и каждый — тяжёлый запрос к базе. Человек открывает несколько. ИИ-краулеры (meta-externalagent, GPTBot, ClaudeBot, Bytespider), SEO-сервисы и парсеры цен перебирают все подряд — и магазин на обычном хостинге упирается в процессор и базу.

Модуль распознаёт бота по User-Agent и отказывает ещё до первого запроса к каталогу: в нашем тесте отклонённая страница фильтра делала 0 запросов к товарам, а та же страница для покупателя — 43–45. Поисковики и превью вашей рекламы проходят, покупатели ничего не замечают. Есть и версия для WooCommerce.

Как это выглядит для покупателя

Никак. В тесте на всех четырёх версиях покупатель в настоящем браузере прошёл категорию, фильтр, сортировку, ещё шесть страниц фильтров, товар, корзину и гостевое оформление — без единого отказа и без ошибок JavaScript, заказ записался с правильной суммой. Оформление, кабинет, колбэки оплат, фиды и крон модуль не трогает никогда, а POST-запросы не проверяет вообще.

Единственный лимит, который может коснуться человека, — лимит страниц фильтров с одного IP в Pro (по умолчанию 60 в минуту). Если много покупателей делят один адрес (мобильный оператор, офис), поднимите его или добавьте адрес в «Никогда не трогать эти IP / сети».

Что получает магазин

• Каталог, который не ложится от ботов. 300 запросов meta-externalagent к страницам фильтров (10 параллельно) модуль отклонял с медианой 12–25 мс, тогда как страница фильтра для покупателя строилась 80–137 мс.
• Правила для каждого семейства. По умолчанию: поисковики — пропускать; превью рекламы Meta — пропускать; ИИ-краулеры, SEO-сервисы и парсеры — отказывать на страницах фильтров, остальные страницы — пропускать (в Pro — ограничивать); ИИ-ассистенты по запросу человека (ChatGPT-User и другие) — отказывать только на фильтрах, товары открыты.
• Меньше мусора в индексе. X-Robots-Tag: noindex, follow на страницах фильтров, сортировки и поиска — категории и товары остаются открытыми.
• Реклама Meta работает. facebookexternalhit по умолчанию пропускается, в Pro — только ограничивается на страницах фильтров.

Что получает админ

Настройки — Расширения → Расширения → Модули → Crawler Shield, четыре вкладки: «Правила», «Отчёт по ботам», «Проверка и файлы», «Лицензия». На «Правилах» — режим, noindex, откуда брать IP посетителя и таблица семейств ботов с двумя правилами: для страниц фильтров и для других страниц. Не уверены — выберите «Только наблюдать» на день-два и посмотрите отчёт.

noindex для страниц фильтров включён по умолчанию. Если вы сознательно продвигаете страницы фильтров с параметрами в адресе, снимите галочку «Просить поисковики не индексировать страницы фильтров» в блоке «Общее». Ниже — параметры фильтра в адресе (их можно дополнить), маршруты, где считается каждая страница (поиск), номер страницы, с которого список для ботов уже считается фильтром, и маршруты, которые модуль не трогает никогда.

«Проверка и файлы» показывает, что модуль сделает с любым посетителем: выберите User-Agent из примеров или вставьте свой, добавьте адрес страницы — и увидите решение, семейство, маршрут и причину. Там же — строки для robots.txt, которые стоит добавить для честных ботов.

«Отчёт по ботам» показывает запросы по семействам, дням и отдельным ботам: сколько всего, сколько из них на фильтры, сколько пропущено, отдано из кеша и отклонено.

Pro: лимиты, IP и боты, которые притворяются

Правило «Ограничивать» даёт семейству лимит запросов в минуту (по умолчанию 20 на страницах фильтров и 120 на других) — дальше 429 с Retry-After. Лимит страниц фильтров с одного IP и, при желании, с сети /24 ловит парсер, назвавшийся браузером. Списки IP и сетей — «всегда отказывать» и «никогда не трогать», с кнопками «Добавить сети Alibaba Cloud» (оттуда в сентябре 2026 парсер с браузерным User-Agent перебирал фильтры нашего демо-магазина) и «Добавить мой IP».

Googlebot, bingbot и Applebot проверяются обратным DNS раз в сутки для каждого адреса: «Googlebot» из чужой сети попадает в «Поддельные поисковики» и получает отказ. Кеш страниц фильтров отдаёт распознанным ботам файл вместо запросов к каталогу (страница живёт 60 минут — настраивается; бот может увидеть цену такой давности), покупатели всегда получают живую страницу. Журнал отказов показывает топ IP, сетей и страниц за 24 часа с кнопкой «Заблокировать сеть». Вкладка «Проверка и файлы» генерирует правила для nginx и Apache и llms.txt.

Как это работает — шаг за шагом

1. Запрос на витрину. Модуль срабатывает на событие, которое OpenCart вызывает перед контроллером страницы (в 2.3 — на первую загрузку языка страницы), — до запросов к каталогу.
2. GET и HEAD проверяются, POST — нет. Маршруты из «Никогда не трогать» (оформление, кабинет, оплаты, фиды, крон) пропускаются сразу.
3. Семейство бота определяется по User-Agent; в Pro — ещё и обратный DNS для поисковиков и списки IP.
4. Страница фильтра — по параметрам в адресе, маршруту поиска и номеру страницы для ботов.
5. Правило семейства: пропустить, отказать (403) или ограничить (429 с Retry-After, Pro). Отказ — сразу, без построения страницы.
6. Решение попадает в статистику, в Pro — ещё и в журнал отказов.

Что под капотом

• Одно событие, никаких модификаций. OpenCart 4 и 3 — catalog/controller/*/before, 2.3 — catalog/language/*/before. В 2.3 страницы, чей контроллер делает запросы к базе раньше, чем загружает язык (некоторые AJAX-адреса модулей фильтров), не проверяются.
• Покупатель стоит ноль запросов — только проверки строк (в Pro лимит на IP на страницах фильтров — 2 запроса). Бот — одно обновление статистики.
• Таблицы: счётчики за минуту, ежедневные итоги (60 дней), журнал Pro (до 5 000 строк, 14 дней), вердикты DNS (сутки).
• Кеш для ботов — system/storage/cache/cc_crawler/, пишется только из ответов 200 распознанным ботам и никогда не отдаётся покупателям.
• llms.txt на Apache. Стандартный .htaccess OpenCart запрещает все .txt, кроме robots.txt, — админка это видит и показывает одну строку, которую нужно изменить.
• Удаление убирает событие, таблицы, настройки (вместе с ключом лицензии — после переустановки ключ активируют снова), наш llms.txt и кеш.

Как установить

1. OpenCart 4: Расширения → Установщик → загрузите cc_crawler.ocmod.zip (имя архива не меняйте) и нажмите «Установить». OpenCart 3: Расширения → Установщик → cc_crawler-oc3.ocmod.zip. OpenCart 2.3: залейте содержимое папки upload/ из cc_crawler-oc2.ocmod.zip в корень магазина (FTP или файловый менеджер хостинга) — Установщик 2.3 без настроенного FTP файлы не копирует.
2. Расширения → Расширения → Модули → Crawler Shield → «Установить», затем «Редактировать».
3. Совет: первый день — режим «Только наблюдать», потом «Защищать». За Cloudflare — выберите «заголовка Cloudflare CF-Connecting-IP».
4. Для Pro: вставьте лицензионный ключ из письма после оплаты или получите триал на вкладке «Лицензия».