Crawler Shield для WooCommerce — захист каталогу від ШІ-краулерів, meta-externalagent і перебору фільтрів

Crawler Shield для WooCommerce — плагін, який не дає краулерам класти магазин на сторінках фільтрів. Каталог з фільтрами має мільйони адрес: кожна комбінація кольору, розміру, бренду, ціни й сортування — окрема сторінка, і кожна — важкий запит до бази. Люди відкривають кілька з них. Краулери — meta-externalagent, GPTBot, ClaudeBot, Bytespider, SEO-сервіси й парсери — відкривають усі підряд, і магазин на звичайному хостингу вичерпує воркери PHP: сторінки вантажаться десятки секунд, а хостер може призупинити сайт за «аномальне навантаження».

Плагін вирішує, хто що отримує, ще до того, як WooCommerce і тема почнуть будувати сторінку, і відповідає на відмову кількома байтами замість сторінки каталогу. Пошукові системи й прев’ю вашої реклами проходять, ШІ-краулери й SEO-сервіси бачать сторінки, але не комбінації фільтрів, скрипти обмежуються за частотою. Є й версія для OpenCart.

Як це виглядає для покупця

Ніяк. Покупець клацає фільтри, сортує, кладе в кошик і оформлює замовлення — у нашому тесті 25 швидких переходів фільтрами поспіль, класичний і блоковий чекаут пройшли без жодної відмови й без сторінок перевірки. Звичайні сторінки для звичайних відвідувачів щит не рахує взагалі, а залогінених покупців не обмежує ніколи.

Ліміт для людей є лише один: 40 URL фільтрів на хвилину з однієї адреси — більше, ніж встигає клацнути людина. Якщо багато покупців ділять одну адресу (мобільний оператор, офіс), підніміть його або додайте адресу в «Ніколи не обмежувати ці адреси». Pro під час хвилі ще й показує незнайомим відвідувачам сторінку перевірки браузера на секунду — справжній браузер проходить сам і далі має власний ліміт.

Що отримує магазин

• Каталог, який не падає від ботів. У локальному навантажувальному тесті (php-fpm з 5 воркерами, 2 000 товарів) 600 запитів meta-externalagent на URL фільтрів магазин відхиляв зі швидкістю 477 запитів на секунду проти 63 сторінок на секунду без щита, а покупець у цей час отримував сторінку фільтра за 0,14–0,19 с.
• Правила для кожної групи ботів. Пошуковики — дозволити, прев’ю посилань — обмежити, ШІ-краулери й SEO-сервіси — «сторінки — так, URL фільтрів — ні», скрипти й інші боти — обмежити. Будь-яку групу можна перевести в «Блокувати».
• Ліміти, що підходять магазину. Бот рахується як бот, а не як адреса: facebookexternalhit зі ста адрес — один клієнт, 60 запитів на хвилину, з них 10 URL фільтрів. Далі — 429 з Retry-After, а не зламана сторінка.
• Реклама Meta працює. Прев’ю посилань ніколи не відрізаються за замовчуванням — ними Meta перевіряє посадкову сторінку реклами.
• Менше сміття в індексі. Рядки Disallow для параметрів фільтрів і noindex, follow на сторінках фільтрів — категорії й товари лишаються відкритими.

Що отримує адмін

Налаштування — у WooCommerce → Crawler Shield, п’ять вкладок: «Звіт», «Правила», «robots.txt і llms.txt», «Перевірити запит» і «Серверні правила» (Pro). На вкладці «Правила» — режим щита, правило для кожної групи й ліміти. Стандартні значення підходять більшості магазинів; не впевнені — оберіть режим «Спостереження» на добу: щит лише рахує, що зробив би, і нічого не відмовляє.

Нижче там же — розпізнані параметри фільтрів і поля для ваших: параметрів (color, pa_*) і шляхів, якщо фільтр будує ЧПУ-адреси на кшталт /filter/. Без цього ЧПУ-фільтри для щита — звичайні сторінки. Там же — списки «ніколи не обмежувати» і «завжди відмовляти» для адрес, мереж і User-Agent, і блок «Сервер»: звідки брати адресу відвідувача (автоматично, CF-Connecting-IP, X-Forwarded-For чи X-Real-IP) і де зберігати лічильники.

«Звіт» показує кожного бота за 24 години й за днями: скільки запитів віддано, пригальмовано (429) і відмовлено (403). Саме тут видно, хто насправді навантажує магазин.

На вкладці «robots.txt і llms.txt» — перемикачі рядків Disallow для фільтрів, закриття сайту для груп у режимі «Блокувати» і noindex, follow на сторінках фільтрів. noindex і Disallow увімкнені за замовчуванням: якщо ви свідомо просуваєте сторінки фільтрів з параметрами в адресі, зніміть тут обидві галочки. Там же — /llms.txt: текст «Про магазин» і додаткові сторінки.

«Перевірити запит» приймає URL, User-Agent і адресу і показує, що зробив би щит і чому, нічого не рахуючи. Те саме з консолі: wp catcode-crsh test "/shop/?filter_color=red" --ua="meta-externalagent/1.1".

Pro: коли боти прикидаються

Частина краулерів називає себе Googlebot, а частина — Chrome. Pro раз на добу завантажує офіційні списки адрес Google, Bing, Apple, OpenAI, Anthropic і Perplexity: справжній Googlebot з мережі Google проходить, «Googlebot» з чужої адреси потрапляє в групу «Підроблені боти» й отримує відмову. Мережі дата-центрів (готовий список Alibaba Cloud — звідти у вересні 2026 парсери з браузерним User-Agent перебирали фільтри нашого демо-магазину) отримують «сторінки — так, URL фільтрів — ні». Ліміт на мережу /24 ловить парсер, розкиданий по сотнях адрес.

Коли незнайомі відвідувачі разом відкривають понад 300 URL фільтрів на хвилину, Pro вмикає на 10 хвилин перевірку браузера: справжній браузер проходить за секунду, скрипт — ні. Прев’ю реклами з новими fbclid і utm віддаються зі збережених копій, а не будуються щоразу (копія живе до 6 годин — налаштовується; ботам ціна може бути до цього часу давності). Вкладка «Серверні правила» генерує блоки для nginx і Apache, щоб найважчі відмови робив вебсервер ще до PHP.

Як це працює — крок за кроком

1. Запит приходить на сайт. Щит спрацьовує на найранішому хуку WordPress, ще до ініціалізації WooCommerce і теми.
2. Визначається клієнт: група бота за User-Agent (у Pro — ще й перевірка адреси за офіційними списками), або відвідувач. Адреса береться правильно за локальним проксі й Cloudflare.
3. Визначається тип сторінки: URL фільтра (параметри WooCommerce і популярних плагінів фільтрів, ваші параметри й шляхи) чи звичайна сторінка.
4. Застосовується правило групи й ліміти. Лічильник — в об’єктному кеші, APCu або одній таблиці, один запит.
5. Відмова — 403 або 429 з Retry-After, no-store і noindex, кілька байт. Усе інше — сторінка як зазвичай.
6. Рішення потрапляє у звіт: хто, скільки, що віддано, що відмовлено.

Що під капотом

• Раннє рішення. Щит спрацьовує на plugins_loaded з пріоритетом -10000: ядро WordPress уже завантажене, але WooCommerce, тема й запити каталогу — ще ні. Відмова дешева, але не безкоштовна; повний ефект — у серверних правилах Pro.
• Лічильники. Об’єктний кеш → APCu → таблиця з одним INSERT … ON DUPLICATE KEY UPDATE на запит. Статистика — ще один маленький upsert.
• Адреса відвідувача. CF-Connecting-IP приймається лише з мереж Cloudflare, за локальним проксі — X-Real-IP або останній X-Forwarded-For. Підроблений заголовок з інтернету не змінить адресу.
• robots.txt — формат із документації Google про фасетну навігацію (Disallow: /*?*параметр=), дописується після правил WordPress і WooCommerce. robots.txt завжди доступний і заблокованим ботам — щоб вони прочитали Disallow.
• Pro-списки адрес — офіційні JSON Google, Bing, Apple, OpenAI, Anthropic і Perplexity, оновлення раз на добу. Журнал відмов Pro з IP-адресами зберігається 7 днів.
• Видалення прибирає таблиці, налаштування, крони й теку збережених копій — robots.txt і /llms.txt повертаються до стандартних.

Як встановити

1. Завантажте безкоштовну версію catcode-crawler-shield-for-woocommerce-free-1.0.0.zip кнопкою вгорі сторінки (або Pro-архів з кабінету після оплати): Плагіни → Додати новий → Завантажити плагін → Встановити → Активувати.
2. WooCommerce → Crawler Shield → «Правила». Не впевнені в правилах — оберіть режим «Спостереження» на добу й подивіться «Звіт».
3. Сайт за Cloudflare — нічого не робіть. За іншим проксі чи CDN — оберіть заголовок у «Сервер» → «Адреса відвідувача».
4. Фільтри з ЧПУ-адресами — допишіть їхній шлях у «Шляхи фільтрів». Просуваєте сторінки фільтрів у пошуку — вимкніть noindex і Disallow на вкладці «robots.txt і llms.txt».
5. Для Pro: вставте ліцензійний ключ із листа після оплати або натисніть «Спробувати Pro 7 днів» у розділі «Pro-ліцензія».