robots.txt недоступний для запиту ШІ-сканера

Чому це важливо

robots.txt — це місце, де ви повідомляєте сканерам, що їм можна завантажувати. Anthropic зазначає, що її боти дотримуються директив robots.txt і не намагаються обходити CAPTCHA, а OpenAI зазначає, що заборона для GPTBot сигналізує, що вміст сайту не слід використовувати для навчання. Якщо сам файл відхилено чи спрямовано на перевірку на бота, ці правила неможливо прочитати.

Що зробити

Порівняйте записані профілі браузера й GPTBot та заголовки їхніх запитів. За наведеними статусами чи полями перевірки доступу визначте спостережене обмеження.
У своєму CDN чи брандмауері знайдіть правило, що спрацьовує на user-agent ШІ-сканерів, і виключіть з нього /robots.txt.
Своє рішення щодо сканера зберігайте в самому robots.txt — у групі User-agent для його токена.

Що ми читаємо

Двічі запитуємо зареєстрований HTTPS /robots.txt із контрольним браузерним профілем аудиту для смартфона або комп’ютера та двічі із зафіксованим user-agent GPTBot 1.4. Accept і Accept-Encoding однакові; мовний заголовок і Cookie не надсилаємо в жодному фізичному запиті чи переході. Обидва контрольні запити мають отримати повний придатний для розбору файл зі статусом 200 без перевірки доступу.

Обидва запити з профілем GPTBot мають отримати однаковий статус 403, 406, 429 чи 5xx або повну відповідь 200 із рівно одним заголовком cf-mitigated: challenge. Придатний для розбору файл 200 вважаємо доступним незалежно від директив. Однакові відповіді 404 чи 410 означають доступну відсутність файла.

Приклад і докази

Ілюстративний приклад — один аудит, а не реальний результат.

Аудит bakery.example запитує файл із двома user-agent, кожним двічі:

GET https://bakery.example/robots.txt
browser_control -> 200, 200
ai_crawler:GPTBot -> 403, 403

Браузер читає файл, а запит сканера обидва рази відхилено, тому про сайт повідомляється. Можливе виправлення: правило брандмауера пропускає /robots.txt; тоді обидва запити повертають файл, і для цього сканера нічого не повідомляється.

Підтвердити й перевірити знову

Перевірте самі: двічі запитайте /robots.txt клієнтом командного рядка — один раз з user-agent браузера, другий раз із рядком, який публікує оператор сканера, — і порівняйте коди статусу.

Повторна перевірка: Повний аудит — Запустіть новий аудит. Повна перевірка з чистим результатом закриває ту саму знахідку сайту лише тоді, коли кожен раніше заблокований токен або токен із перевіркою доступу тепер може прочитати файл чи отримує доступну відсутність. Вилучений або неперевірений токен залишається непідтвердженим. Інші відомі роботи без профілю вказані як межа перевірки й не заважають чистому результату для зафіксованого профілю GPTBot.

Обмеження та джерела

Надсилаємо лише зафіксований user-agent GPTBot 1.4. Інші відомі токени роботів називаємо поза перевіреним набором; чистий результат стосується лише GPTBot. Усі запити надходять з одного місця аудиту, тому firewall може інакше відповідати справжньому роботу.

Головна сторінка й далі потребує дозволу robots для аудиту. Профільні запити до точної адреси /robots.txt пропускають лише перевірку дозволу цього шляху; переходи до іншого шляху підпорядковуються звичайній політиці robots аудиту. HTTPS, перевірка публічних адрес, темп запитів і бюджети зберігаються.

Висновки про доступний файл і перевірку доступу потребують повних тіл та заголовків відповіді. Два однакові підтримувані статуси блокування можуть спричинити знахідку навіть за неповного тіла чи переліку заголовків відповіді роботу. Статус 401, різні відповіді, понад чотири переходи, timeout, відмова в доступі чи вичерпаний бюджет запитів залишають результат непідтвердженим; сам текст CAPTCHA або зміна тіла не доводять підтримувану перевірку доступу.

Упевненість: Висока, бо кожну відповідь зафіксовано разом із фактично надісланими заголовками запиту, а результат обмежено тим, що може показати скопійований рядок user-agent.

Джерела

Anthropic, Чи сканує Anthropic дані з інтернету і як власники сайтів можуть заблокувати сканер? — зазначає, що боти Anthropic дотримуються директив robots.txt і не намагаються обходити CAPTCHA на сайтах, які сканують. Перевірено 14 жовтня 2026.
OpenAI, Огляд сканерів OpenAI — публікує рядок user-agent, який надсилає GPTBot, із версією 1.4 у прикладі та приміткою, що номер версії може змінюватися, і зазначає, що GPTBot сканує вміст, який може використовуватися для навчання моделей OpenAI. Перевірено 14 жовтня 2026.
Cloudflare, Виявлення відповіді зі сторінкою перевірки — зазначає, що кожна відповідь зі сторінкою перевірки Challenge Page містить заголовок cf-mitigated, що challenge — його єдине допустиме значення і що цей заголовок — надійний спосіб визначити, чи було відповідь спрямовано на перевірку. Перевірено 14 жовтня 2026.

Редакційна перевірка: 3 листопада 2026