robots.txt відмовляє сканерам через забагато запитів
У звітіrobots.txt 429
robots_txt_429 · Проблема
Це з’являється, коли наш запит robots.txt завершився кодом HTTP 429, відповіддю про забагато запитів, навіть після однієї повторної спроби. Google вважає 429 помилкою сервера, тож поки він не може прочитати robots.txt, він може призупинити або сповільнити сканування. Виключіть robots.txt з обмежень частоти запитів, щоб сканери могли читати його щоразу, коли запитують.
Серйозність: Висока. Виправте це найближчим часом: поки robots.txt відповідає кодом 429, Google може сповільнити або призупинити сканування сайту.
Чому це важливо
Google вважає 429 ознакою того, що сервер перевантажений, і зараховує його до помилок сервера. Для robots.txt його специфікація описує спершу призупинення сканування, а потім використання збереженої копії, поки файл не вдається прочитати.
Що зробити
- Запитайте у свого хостингу чи CDN, яке обмеження частоти або захист від ботів відповідає кодом 429, і виключіть із нього
/robots.txt. - Перевірте, що виняток охоплює важливі для вас сканери, а не лише браузери.
- Запустіть новий аудит, щоб побачити, чи файл тепер завантажується.
Що ми читаємо
Ми запитуємо /robots.txt з адреси вашого сайту з власним user agent, проходячи до шести переспрямувань. Якщо перша відповідь — помилка сервера, 429 чи мережевий збій, ми запитуємо ще раз, одразу або після затримки, про яку сервер просить у Retry-After, до 60 секунд.
Сайт фіксується, коли ця друга відповідь — саме 429. Помилку сервера на другій спробі натомість фіксує перевірка 5xx, а успішна відповідь означає, що знахідки немає.
Приклад і докази
Ілюстративний приклад — robots.txt прочитано двічі за один аудит, а не реальний аудит.
GET https://bakery.example/robots.txt
HTTP/1.1 429 Too Many Requests
Retry-After: 10
GET https://bakery.example/robots.txt
HTTP/1.1 429 Too Many RequestsПерша відповідь просила нас зачекати десять секунд, тож ми зачекали й запитали знову, і друга відповідь теж була 429. У знахідці зазначено кінцевий статус, 429, з обома спробами.
Щойно обмеження частоти перестане зачіпати /robots.txt і файл відповідатиме 200 OK, знахідки не буде.
Підтвердити й перевірити знову
Перевірте самі: відкрийте свій robots.txt у браузері; якщо він завантажується, перегляньте правила свого CDN чи фаєрвола на предмет обмежень, що рахують повторні автоматизовані запити.
Повторна перевірка: Повний аудит — запустіть новий аудит сайту; він знову запитує robots.txt з однією повторною спробою. Знахідка підтверджується як виправлена, лише коли цей аудит повний: не обірваний лімітом сторінок, кожну знайдену ним адресу завантажено з відповіддю 200 і жодну не відхилено через robots.txt.
Обмеження та джерела
Два запити показують обмеження під час аудиту, а не те, скільки воно триває. Вони йдуть із нашим власним user agent, тож обмеження, спрямоване на наші запити, може не стосуватися Googlebot, а обмеження, що стосується Googlebot, може тут не проявитися.
Упевненість: Середня, бо два запити в межах одного аудиту — це коротка вибірка, а обмеження частоти часто залежать від того, хто запитує.
Джерела
- Google, Як Google інтерпретує специфікацію robots.txt — виключає 429 з помилок 4xx, які Google розглядає як відсутній robots.txt, і описує, як він поводиться з помилками сервера. Перевірено 25 вересня 2026.
- Google, Як коди статусу HTTP впливають на роботів Google — каже, що Google вважає 429 ознакою перевантаженого сервера і помилкою сервера. Перевірено 25 вересня 2026.
Редакційна перевірка: 29 вересня 2026