Запит ШІ-сканера відхиляється там, де браузер читає сторінку

Чому це важливо

robots.txt висловлює побажання; CDN чи брандмауер забезпечують доступ. Cloudflare оголосила, що змінює налаштування за замовчуванням на блокування ШІ-сканерів, тож сайт може відхиляти сканер, навіть якщо власник не писав для нього жодного правила.

Що зробити

Перегляньте знахідку: у ній названо сканер і перелічено сторінки, кожну з двома відповідями браузеру та двома відповідями сканеру.
Знайдіть налаштування, яке відхиляє сканер: параметр для ШІ-сканерів чи керування ботами у вашому CDN, правило брандмауера для user-agent або плагін безпеки.
Якщо ви хочете, щоб сканер читав ваші сторінки, дозвольте його там. Якщо ні, вкажіть це також у robots.txt, щоб обидва рівні давали однакову відповідь.

Коли залишити як є: якщо ви блокуєте цей сканер навмисно, це можна залишити. Знахідка лише показує, що відмова відбувається на сервері й не зазначена в robots.txt.

Що ми читаємо

Для головної сторінки й вибірки просканованих сторінок ми надсилаємо два запити з user-agent настільного браузера й два з опублікованим рядком user-agent сканера, не змінюючи жодного іншого заголовка. Сторінка порівнюється лише тоді, коли обидва запити браузера повертають повну сторінку 200 з однаковим вмістом і без заголовка перевірки на бота.

Про сторінку повідомляється, коли обидва запити сканера повертають той самий статус 403, 406 чи 429 або той самий статус 5xx. Знахідки групуються за сканером: одна знахідка перелічує всі сторінки, відхилені для нього.

Приклад і докази

Ілюстративний приклад — один аудит, а не реальний результат.

Аудит bakery.example запитує одну сторінку з двома user-agent, кожним двічі:

GET https://bakery.example/recipes/sourdough/
User-Agent: (desktop browser)
200 text/html     200 text/html

GET https://bakery.example/recipes/sourdough/
User-Agent: (the GPTBot string that OpenAI publishes, version 1.4)
403               403

robots.txt не має правила проти GPTBot, а обидва запити сканера відхилено, тому сторінку внесено до знахідки для цього сканера. Якби обидва запити сканера повернули 200, сторінку не було б внесено до списку.

Підтвердити й перевірити знову

Перевірте самі: запитайте одну зі сторінок у списку клієнтом командного рядка — один раз з user-agent браузера, другий раз із рядком, який публікує оператор сканера, — і порівняйте коди статусу.

Повторна перевірка: Повний аудит — запустіть новий аудит сайту. Знахідка закривається, коли кожну сторінку з її списку знову запитано з обома user-agent і сканер обидва рази отримує 200. Сторінка, яку не запитано знову або відповіді на яку нечіткі, залишає знахідку відкритою; інша сторінка, що відповідає нормально, її не закриває.

Обмеження та джерела

Запит копіює рядок user-agent, який публікує оператор сканера, і надсилається з власного місця аудиту. Сайт, що вирішує за мережевою адресою, може відповідати справжньому сканеру інакше — в будь-який бік.

Перевірка використовує рядок GPTBot, опублікований OpenAI, — версію 1.4 на момент перегляду. Сканер, оператор якого публікує лише токен robots.txt без повного рядка user-agent, не запитується й лишається непідтвердженим.

Сторінка пропускається, а не зараховується як пройдена, коли власне прочитання вашого robots.txt аудитом забороняє запит для сканера чи для аудиту. Відповіді 401, 404 чи 410, різні відповіді на два запити й тайм-аут лишаються непідтвердженими, як і будь-яка сторінка, де запит браузера не повернув стабільного 200.

Упевненість: Висока, бо кожен статус зафіксовано з фактично надісланими заголовками запиту, а відмову та відповідь браузеру спостерігали двічі.

Джерела

Cloudflare, День незалежності вмісту: жодного сканування ШІ без компенсації! — оголошує, що Cloudflare змінює налаштування за замовчуванням на блокування ШІ-сканерів, якщо вони не платять авторам за їхній вміст. Перевірено 14 жовтня 2026.
OpenAI, Огляд сканерів OpenAI — публікує рядок user-agent, який надсилає GPTBot, із версією 1.4 у прикладі та приміткою, що номер версії може змінюватися, і зазначає, що GPTBot сканує вміст, який може використовуватися для навчання моделей OpenAI. Перевірено 14 жовтня 2026.

Редакційна перевірка: 15 жовтня 2026