Іменоване обмеження robots для завантаження на запит користувача задокументовано як недієве
У звітіrobots.txt attempts to block user-fetch AI agents documented to ignore it
user_fetch_bot_robots_rule_ineffective · Проблема
Скористайтеся захопленою політикою для конкретного бота та джерелом видавця, щоб вирішити, чи досягає ця декларація robots вашої мети виключення.
Серйозність: До уваги. Порада: перевірте, чи відповідає декларація вашій меті обмеження доступу. Задокументоване обмеження стосується названого бота, що завантажує на запит користувача, а не всіх ШІ-сканерів чи вашого індексування в пошуку.
Чому це важливо
Декларація robots висловлює побажання. Для бота запитів користувачів, який задокументовано її ігнорує, сама декларація не забезпечує задуманого обмеження.
Що зробити
- Прочитайте названого бота, задокументовану застосовність і точні оригінальні рядки User-agent та Disallow.
- Приберіть або скоригуйте недієву декларацію robots. Якщо виключення доступу обов’язкове, оцініть засоби контролю доступу окремо.
- Запустіть ще один повний аудит того самого сайту. Перевірена декларація може закритися лише за достатніх свіжих доказів.
Коли залишити як є: Залиште декларацію robots, якщо це свідоме висловлення політики; розумійте, що ця перевірка не доводить, що вона забезпечує виключення доступу для зафіксованого бота.
Що ми читаємо
Захоплення кореневого robots.txt поточного аудиту, прив’язане до заявленого сайту, оригінальні рядки UTF-8 і позиції байтів, а також спільний вибір групи REP і пріоритет Allow.
Прийнятий довідник ботів дає розглянуту роль бота, застосовність robots, дату довідки й посилання на видавця.
Наразі підтримувана позитивна підмножина — це Perplexity-User, задокументований як такий, що загалом ігнорує robots.txt. Claude-User дотримується robots.txt і не дає знахідки. Обмежувальні правила для ChatGPT-User чи Amzn-User мають умовну застосовність і залишаються неперевіреними.
Приклад і докази
Ілюстративне видалення недієвої іменованої декларації; це не доказ блокування на рівні edge.
User-agent: Perplexity-User
Disallow: /privateUser-agent: Perplexity-User
Disallow:Підтвердити й перевірити знову
Перевірте самі: Переконайтеся, що захоплені рядки справді віддає ваш сайт і що наведена задокументована поведінка стосується зафіксованого бота запитів користувачів.
Повторна перевірка: Повний аудит — Запустіть ще один повний аудит сайту. Спільний оцінювач і життєвий цикл можуть підтвердити перевірене видалення чи нейтралізацію декларації robots того самого сайту; недостатнє охоплення перевірки ніколи не доводить виправлення.
Обмеження та джерела
Це розглянута задокументована підмножина. Умовна чи незадокументована поведінка поруч з обмежувальною відповідною декларацією залишається невідомою і не може довести виправлення.
Декларації лише з підстановним знаком чи схожі на префікс не називають розглянутого токена продукту для завантаження на запит користувача, потрібного цьому правилу. Allow з однаковим шаблоном перемагає; нерозв’язана суттєвість шаблону залишається невідомою.
Недоступні, переспрямовані, неповні, не в UTF-8 чи неприв’язані докази джерела або застарілі чи відсутні довідкові дані не можуть підтвердити виправлення.
Ця знахідка не доводить, що бот завантажив сторінку, що фаєрвол його заблокував або що видалення інструкцій robots забезпечує виключення на рівні edge.
Упевненість: Висока Знахідка поєднує захоплену іменовану обмежувальну декларацію з прийнятою застосовністю для названого бота, задокументованою видавцем. Вона не вгадує наміру й не вважає умовну застосовність певним ігноруванням.
Джерела
- OpenAI, Боти OpenAI — Розрізняє завантаження на запит користувача й застосовність robots для сканерів. Умовна застосовність не встановлює детерміновано недієвого засобу керування. Перевірено 9 вересня 2026.
- Perplexity, Сканери Perplexity — Документує Perplexity-User як завантажувач на запит користувача, що загалом ігнорує robots.txt; це не доводить фактичного завантаження чи блокування доступу. Перевірено 10 жовтня 2026.
Редакційна перевірка: 2 листопада 2026