Crawler Shield для OpenCart — захист каталогу від ШІ-краулерів, meta-externalagent і парсерів фільтрів

Crawler Shield для OpenCart — модуль, який не дає ботам класти магазин на сторінках фільтрів. Кожна комбінація фільтра, сортування, кількості на сторінці й номера сторінки — окрема адреса, і кожна — важкий запит до бази. Людина відкриває кілька. ШІ-краулери (meta-externalagent, GPTBot, ClaudeBot, Bytespider), SEO-сервіси й парсери цін перебирають усі підряд — і магазин на звичайному хостингу впирається в процесор і базу.

Модуль розпізнає бота за User-Agent і відмовляє ще до першого запиту до каталогу: у нашому тесті відхилена сторінка фільтра робила 0 запитів до товарів, а та сама сторінка для покупця — 43–45. Пошуковики й прев’ю вашої реклами проходять, покупці нічого не помічають. Є й версія для WooCommerce.

Як це виглядає для покупця

Ніяк. У тесті на всіх чотирьох версіях покупець у справжньому браузері пройшов категорію, фільтр, сортування, ще шість сторінок фільтрів, товар, кошик і гостьове оформлення — без жодної відмови й без помилок JavaScript, замовлення записалось із правильною сумою. Оформлення, кабінет, колбеки оплат, фіди й крон модуль не чіпає ніколи, а POST-запити не перевіряє взагалі.

Єдиний ліміт, що може торкнутися людини, — ліміт сторінок фільтрів з одного IP у Pro (за замовчуванням 60 на хвилину). Якщо багато покупців ділять одну адресу (мобільний оператор, офіс), підніміть його або додайте адресу в «Ніколи не чіпати ці IP / мережі».

Що отримує магазин

• Каталог, який не лягає від ботів. 300 запитів meta-externalagent до сторінок фільтрів (10 паралельно) модуль відхиляв з медіаною 12–25 мс, тоді як сторінка фільтра для покупця будувалась 80–137 мс.
• Правила для кожної родини. За замовчуванням: пошуковики — пропускати; прев’ю реклами Meta — пропускати; ШІ-краулери, SEO-сервіси й парсери — відмовляти на сторінках фільтрів, решта сторінок — пропускати (у Pro — обмежувати); ШІ-асистенти на запит людини (ChatGPT-User та інші) — відмовляти лише на фільтрах, товари відкриті.
• Менше сміття в індексі. X-Robots-Tag: noindex, follow на сторінках фільтрів, сортування й пошуку — категорії й товари лишаються відкритими.
• Реклама Meta працює. facebookexternalhit за замовчуванням пропускається, у Pro — лише обмежується на сторінках фільтрів.

Що отримує адмін

Налаштування — Розширення → Розширення → Модулі → Crawler Shield, чотири вкладки: «Правила», «Звіт по ботах», «Перевірка і файли», «Ліцензія». На «Правилах» — режим, noindex, звідки брати IP відвідувача і таблиця родин ботів із двома правилами: для сторінок фільтрів і для інших сторінок. Не впевнені — оберіть «Лише спостерігати» на день-два й подивіться звіт.

noindex для сторінок фільтрів увімкнено за замовчуванням. Якщо ви свідомо просуваєте сторінки фільтрів з параметрами в адресі, зніміть галочку «Просити пошуковики не індексувати сторінки фільтрів» у блоці «Загальне». Нижче — параметри фільтра в адресі (їх можна доповнити), маршрути, де рахується кожна сторінка (пошук), номер сторінки, з якого список для ботів уже вважається фільтром, і маршрути, які модуль не чіпає ніколи.

«Перевірка і файли» показує, що модуль зробить із будь-яким відвідувачем: оберіть User-Agent із прикладів або вставте свій, додайте адресу сторінки — і побачите рішення, родину, маршрут і причину. Там же — рядки для robots.txt, які варто додати для чесних ботів.

«Звіт по ботах» показує запити по родинах, днях і окремих ботах: скільки всього, скільки з них на фільтри, скільки пропущено, віддано з кешу й відхилено.

Pro: ліміти, IP і боти, що прикидаються

Правило «Обмежувати» дає родині ліміт запитів на хвилину (за замовчуванням 20 на сторінках фільтрів і 120 на інших) — далі 429 з Retry-After. Ліміт сторінок фільтрів з одного IP і, за бажання, з мережі /24 ловить парсер, що назвався браузером. Списки IP і мереж — «завжди відмовляти» і «ніколи не чіпати», з кнопками «Додати мережі Alibaba Cloud» (звідти у вересні 2026 парсер з браузерним User-Agent перебирав фільтри нашого демо-магазину) і «Додати мій IP».

Googlebot, bingbot і Applebot перевіряються зворотним DNS раз на добу для кожної адреси: «Googlebot» з чужої мережі потрапляє в «Підроблені пошуковики» й отримує відмову. Кеш сторінок фільтрів віддає розпізнаним ботам файл замість запитів до каталогу (сторінка живе 60 хвилин — налаштовується; бот може побачити ціну такої давності), покупці завжди отримують живу сторінку. Журнал відмов показує топ IP, мереж і сторінок за 24 години з кнопкою «Заблокувати мережу». Вкладка «Перевірка і файли» генерує правила для nginx і Apache та llms.txt.

Як це працює — крок за кроком

1. Запит на вітрину. Модуль спрацьовує на подію, що OpenCart викликає перед контролером сторінки (у 2.3 — на перше завантаження мови сторінки), — до запитів до каталогу.
2. GET і HEAD перевіряються, POST — ні. Маршрути з «Ніколи не чіпати» (оформлення, кабінет, оплати, фіди, крон) пропускаються одразу.
3. Родина бота визначається за User-Agent; у Pro — ще й зворотний DNS для пошуковиків і списки IP.
4. Сторінка фільтра — за параметрами в адресі, маршрутом пошуку й номером сторінки для ботів.
5. Правило родини: пропустити, відмовити (403) або обмежити (429 з Retry-After, Pro). Відмова — одразу, без побудови сторінки.
6. Рішення потрапляє в статистику, у Pro — ще й у журнал відмов.

Що під капотом

• Одна подія, ніяких модифікацій. OpenCart 4 і 3 — catalog/controller/*/before, 2.3 — catalog/language/*/before. У 2.3 сторінки, чий контролер робить запити до бази раніше, ніж завантажує мову (деякі AJAX-адреси модулів фільтрів), не перевіряються.
• Покупець коштує нуль запитів — лише перевірки рядків (у Pro ліміт на IP на сторінках фільтрів — 2 запити). Бот — одне оновлення статистики.
• Таблиці: лічильники за хвилину, щоденні підсумки (60 днів), журнал Pro (до 5 000 рядків, 14 днів), вердикти DNS (доба).
• Кеш для ботів — system/storage/cache/cc_crawler/, пишеться лише з відповідей 200 розпізнаним ботам і ніколи не віддається покупцям.
• llms.txt на Apache. Стандартний .htaccess OpenCart забороняє всі .txt, крім robots.txt, — адмінка це бачить і показує один рядок, який треба змінити.
• Видалення прибирає подію, таблиці, налаштування (разом із ключем ліцензії — після перевстановлення ключ активують знову), наш llms.txt і кеш.

Як встановити

1. OpenCart 4: Розширення → Інсталятор → завантажте cc_crawler.ocmod.zip (ім’я архіву не змінюйте) і натисніть «Встановити». OpenCart 3: Розширення → Інсталятор → cc_crawler-oc3.ocmod.zip. OpenCart 2.3: залийте вміст папки upload/ з cc_crawler-oc2.ocmod.zip у корінь магазину (FTP або файловий менеджер хостингу) — Інсталятор 2.3 без налаштованого FTP файлів не копіює.
2. Розширення → Розширення → Модулі → Crawler Shield → «Встановити», потім «Редагувати».
3. Порада: перший день — режим «Лише спостерігати», потім «Захищати». За Cloudflare — оберіть «заголовок Cloudflare CF-Connecting-IP».
4. Для Pro: вставте ліцензійний ключ з листа після оплати або отримайте тріал на вкладці «Ліцензія».