robots.txt наближається до ліміту 500 КіБ або перевищує його

Чому це важливо

Специфікація robots.txt від Google встановлює ліміт розміру файлу в 500 кібібайтів і каже, що вміст після цього розміру ігнорується. Правило, що починається за ним, для Google не діяло б, хоч би що воно мало дозволяти чи блокувати.

Що зробити

Перегляньте знахідку: у ній показано розмір файлу й кожен рядок Allow або Disallow, що починається за 500 КіБ, з номером рядка й байтом.
Об’єднайте правила: один шаблон, як-от Disallow: /search/, замінює багато рядків для окремих адрес, а матеріали, які ви виключаєте, можуть лежати в одному каталозі.
Перенесіть найважливіші правила на початок файлу й приберіть правила для розділів, яких більше немає.

Коли залишити як є: якщо файл лише близький до ліміту і кожен рядок правила починається задовго до нього, поки що можна залишити як є; перегляд — це попередження, а не доказ того, що рядок ігнорується.

Що ми читаємо

Ми використовуємо захоплену аудитом відповідь /robots.txt для вашого сайту. Для відповіді 200 аудит зберігає до першого 1 МіБ й індексує повні рядки UTF-8 виду field: value з початковими позиціями їхніх байтів, без коментарів. Це правило не робить ще одного запиту.

Сайт фіксується як проблема, коли рядок Allow або Disallow починається з байта 512 000 чи пізніше, у будь-якій групі; інші поля, як-от Sitemap, не враховуються. Коли такого рядка немає і весь файл прочитано, він залишається на перегляд, щойно файл досягає 409 600 байтів. Обидві межі фіксовані, це не налаштування.

Перевірка не може дійти висновку, коли robots.txt відповідає кодом 429, помилкою сервера чи мережевим збоєм або коли файл не вдалося проіндексувати повністю — він перевищує 1 МіБ, рядок довший за 16 КіБ, у ньому понад 10 000 рядків field: value або він не є чинним UTF-8, — якщо тільки рядок правила за 500 КіБ уже не знайдено. Відповідь 4xx, відмінна від 429, зокрема 403 чи 404, вважається відсутністю файлу, і перевірку пройдено.

Приклад і докази

Ілюстративний приклад — один robots.txt, а не реальний аудит.

https://bakery.example/robots.txt має 530 112 байтів, а його рядок 9 406 починається з байта 512 340:

Disallow: /checkout/

Рядок починається за 512 000 байтів, поза задокументованим лімітом Google, тому сайт фіксується з рядком, його номером і байтом.

Можливе виправлення: замініть тисячі рядків для окремих адрес шаблонами, як-от Disallow: /search/, і перенесіть Disallow: /checkout/ ближче до початку.

Підтвердити й перевірити знову

Перевірте самі: збережіть свій robots.txt із браузера й перевірте його розмір у байтах: Google читає перші 512 000.

Повторна перевірка: Повний аудит — запустіть новий повний аудит. Повна проіндексована відповідь 200, менша за 400 КіБ, без рядка Allow чи Disallow за лімітом, дає пройти цю перевірку. Переконлива відповідь 4xx про відсутність файлу, відмінна від 429, теж дає її пройти. Файл у діапазоні перегляду залишає знахідку відкритою; неповне охоплення перевірки аудитом не може підтвердити виправлення.

Обмеження та джерела

Це одна захоплена відповідь нашому сканеру: CDN чи сервер може віддавати Googlebot інший файл. Перевірка вимірює, де починаються рядки в отриманій нами копії, і застосовує задокументований ліміт Google; вона не бачить, як Google ігнорує рядок, і ніщо після першого 1 МіБ не читається.

Упевненість: Висока, бо позиції байтів виміряно у файлі в тому вигляді, в якому його отримано.

Джерела

Google, Як Google інтерпретує специфікацію robots.txt — встановлює ліміт розміру файлу robots.txt у 500 кібібайтів, каже, що вміст після нього ігнорується, і пропонує об’єднувати правила, щоб зменшити розмір. Перевірено 28 вересня 2026.

Редакційна перевірка: 29 вересня 2026

robots.txt містить непідтримувані директиви — файл має рядки, яких Google не підтримує.
robots.txt відповідає помилкою сервера — robots.txt не вдається прочитати через помилку сервера.