robots.txt містить непідтримувані директиви

Чому це важливо

Специфікація robots.txt від Google називає user-agent, allow, disallow і sitemap полями, які він підтримує, каже, що інші поля, як-от crawl-delay, не підтримуються і що Google ігнорує недійсні рядки. Тож рядок Noindex там не прибирає сторінку з Google, а рядок Crawl-delay не сповільнює Googlebot.

Що зробити

Перегляньте знахідку: у ній показано кожен рядок, його номер і байт та групу, в якій він лежить.
Для Noindex використовуйте метатег robots зі значенням noindex або заголовок X-Robots-Tag на самих сторінках і залиште ці сторінки доступними для сканування, щоб Google міг його побачити.
Що до Crawl-delay, приберіть його з груп, віднесених до Google, і спільних груп. Якщо він потрібен іншому сканеру, помістіть його в окрему групу User-agent для цього сканера; сам Crawl-delay не розділяє сусідні групи.
Виправте поля з помилками в написанні, як-от Dissallow: вони теж вважаються непідтримуваними.

Коли залишити як є: якщо єдині зафіксовані рядки — це Crawl-delay і ви свідомо зберігаєте їх для інших сканерів, їх можна залишити; Google їх ігнорує.

Що ми читаємо

Ми читаємо ту саму копію robots.txt, що й перевірка розміру: захоплену аудитом відповідь, проіндексовану, лише коли вона відповідає кодом 200, з кожним проіндексованим рядком field: value. Будь-яке поле, крім user-agent, allow, disallow і sitemap, у будь-якому регістрі літер, вважається непідтримуваним, тож і поле з помилкою в написанні теж.

Рядок фіксується, коли він лежить у групі User-agent: *, у групі, що називає сканер Google, який дотримується robots.txt, як-от Googlebot чи AdsBot-Google, або перед будь-яким рядком User-agent. Це віднесення до групи, а не доказ того, що певний сканер обере цю групу. Рядки в групах лише для названих ШІ-сканерів чи інших ботів, як-от GPTBot чи bingbot, не фіксуються. Сканери розпізнаються за списком із 32 назв ботів, що зберігається разом із продуктом.

Перевірка не може дійти висновку, коли robots.txt не відповідає кодом 200 зі своїм вмістом — зокрема за 404, тож сайт без цього файлу не отримує чистого результату, — коли файл не вдалося проіндексувати повністю або коли списку ботів немає чи він застарів. Непідтримуваний рядок у групі для сканера, якого немає у списку, як-от Yandex, також виключає чистий результат, хоча рядки в групах, які читає Google, однаково фіксуються.

Приклад і докази

Ілюстративний приклад — один robots.txt, а не реальний аудит.

https://bakery.example/robots.txt містить:

User-agent: *
Disallow: /checkout/
Noindex: /drafts/
Crawl-delay: 10

Noindex і Crawl-delay не є полями, які підтримує Google, і вони лежать у групі *, яку Google читає, тому сайт фіксується з обома рядками.

User-agent: *
Disallow: /checkout/

Можливе виправлення: приберіть обидва рядки й додайте метатег robots зі значенням noindex на сторінки в /drafts/.

Підтвердити й перевірити знову

Перевірте самі: відкрийте свій robots.txt і пошукайте рядки, що починаються з чогось іншого, ніж User-agent, Allow, Disallow, Sitemap чи коментар #.

Повторна перевірка: Повний аудит — запустіть новий повний аудит. Знахідку можна підтвердити як виправлену, коли robots.txt відповідає кодом 200, його рядки проіндексовано повністю, довідковий список ботів актуальний і жодного непідтримуваного рядка не залишається в групі, віднесеній до Google, спільній групі чи групі з невідомим віднесенням. Видалення robots.txt виправлення не підтверджує; якщо залишити лише рядки Crawl-delay, примітка залишається відкритою. Неповне охоплення перевірки аудитом не може підтвердити виправлення.

Обмеження та джерела

Перевірка читає текст однієї копії файлу; вона не тестує, як Google чи будь-яка інша пошукова система його застосовує. Сканери розпізнаються за списком із 32 назв, а рядки за лімітом Google у 500 КіБ однаково фіксуються.

Упевненість: Висока, бо рядки зчитуються безпосередньо з файлу.

Джерела

Google, Як Google інтерпретує специфікацію robots.txt — називає user-agent, allow, disallow і sitemap полями, які підтримує Google, каже, що інші поля, як-от crawl-delay, не підтримуються і що Google ігнорує недійсні рядки. Перевірено 28 вересня 2026.

Редакційна перевірка: 29 вересня 2026

robots.txt наближається до ліміту 500 КіБ або перевищує його — файл близький до ліміту Google у 500 КіБ або перевищує його.
robots.txt блокує весь сайт — файл блокує весь сайт.