Crawl-delay оголошено для бота без документованої підтримки

Чому це важливо

Не можна вважати, що декларація robots забезпечує темп запитів, коли бот, до якого вона застосовується, не має задокументованої підтримки цього поля. Явна відсутність підтримки й відсутність документації показуються окремо.

Що зробити

Перегляньте бота, підставу підтримки й точні захоплені рядки User-agent і Crawl-delay, разом з успадкованими групами з підстановним знаком.
Приберіть Crawl-delay із груп, що застосовуються до зафіксованих ботів. Залиште декларації, призначені для ботів із задокументованою підтримкою, як-от bingbot.
Зміна значення на нуль, порожнє чи некоректний текст залишає декларацію наявною і не виправляє цієї примітки.
Якщо потрібні обмеження запитів, які можна забезпечити, оцініть засоби на рівні сервера чи edge окремо, а потім запустіть ще один повний аудит того самого сайту.

Коли залишити як є: Залиште спільну декларацію, якщо її користь для підтримуваного бота навмисна, усвідомлюючи задокументоване обмеження для інших зафіксованих ботів. Перенесення її в User-agent: * цього обмеження не знімає.

Що ми читаємо

Відповідь кореневого robots.txt, прив’язана до заявленого сайту, оригінальний текст рядків UTF-8 і позиції байтів, а також наявний спільний розв’язувач груп REP.

Прийнятий реєстр ботів: боти не від Google з ролями сканера чи завантаження на запит користувача, можливість Crawl-delay кожного бота, посилання на видавців і свіжість даних.

Іменовані групи, що застосовуються, і User-agent: *, успадкований ботами без відповідної іменованої групи. Враховується будь-яке захоплене поле Crawl-delay, незалежно від числової коректності.

Приклад і докази

Ілюстративне видалення для Applebot, розглянута документація якого прямо каже, що Crawl-delay не підтримується.

User-agent: Applebot
Crawl-delay: 5
Allow: /

User-agent: Applebot
Allow: /

Підтвердити й перевірити знову

Перевірте самі: Перевірте захоплену групу, що застосовується, і посилання на видавця для кожного бота. Іменована група без Crawl-delay не дає цьому боту успадкувати декларацію з підстановним знаком.

Повторна перевірка: Повний аудит — Наступний повний аудит використовує спільний оцінювач і життєвий цикл, щоб порівняти декларацію того самого сайту. Потрібні достатнє свіже захоплення та охоплення довідковими даними; результат «не вдалося перевірити» ніколи не доводить виправлення.

Обмеження та джерела

Директиви родини Google належать до robots_txt_unsupported_directives. Спільний рядок із підстановним знаком або рядок для Google чи названого бота можуть зафіксувати обидва правила для своїх відповідних ботів.

Справді незареєстровані боти й засоби керування використанням, що не сканують, лежать поза цією перевіркою і не блокують сайт.

Поверхові варіанти зареєстрованого токена, неоднозначні групи чи невідома можливість залишаються неперевіреними; вони не можуть створити виправлення. Певні декларації для інших ботів можуть залишатися видимими поруч із неповним охопленням перевірки.

Недоступні, переспрямовані, неповні, не в UTF-8 чи неприв’язані докази robots і застарілі чи відсутні довідкові докази не можуть довести видалення.

Поточний довідник розглянуто 9 вересня 2026 року, і він актуальний до 9 жовтня 2026 року. Ця сторінка не стверджує, що джерела розглянуто заново.

Ця примітка не доводить, що бот завантажив якусь сторінку або що темп запитів змінився. Нульові, порожні та некоректні значення не означають чинних затримок.

Упевненість: Висока Висока впевненість поєднує точну захоплену директиву, що застосовується, з прийнятою задокументованою можливістю. Жодного впливу на трафік, навантаження чи обмеження швидкості не виводиться.

Джерела

Anthropic, Сканери Anthropic — Документує політику robots і підтримку Crawl-delay для розглянутих ботів Claude. Перевірено 12 липня 2026.
Amazon, Amazonbot — Документація видавця для зареєстрованих ботів Amazon; відсутність задокументованої підтримки Crawl-delay не є доказом виміряного обмеження швидкості. Перевірено 9 вересня 2026.
Apple, Про Applebot — Документує поведінку Applebot щодо robots і явну відсутність підтримки Crawl-delay. Перевірено 9 вересня 2026.
OpenAI, Боти OpenAI — Описує ролі зареєстрованих ботів OpenAI та політику robots; прийнятий реєстр фіксує Crawl-delay як не задокументований. Перевірено 9 вересня 2026.
Perplexity, Сканери Perplexity — Описує розглянутих ботів Perplexity; відсутність задокументованої підтримки — це не те саме, що явна заява про непідтримку. Перевірено 9 вересня 2026.

Редакційна перевірка: 2 листопада 2026