robots.txt відповідає помилкою сервера
У звітіrobots.txt 5xx
robots_txt_5xx · Проблема
Це з’являється, коли наш запит robots.txt завершився помилкою сервера (5xx) навіть після однієї повторної спроби. Поки Google не може прочитати файл, він може призупинити сканування, використати збережену копію або згодом діяти так, ніби файлу немає. Зробіть robots.txt надійно доступним.
Серйозність: Висока. Виправте це найближчим часом: поки robots.txt не працює, Google може сповільнити або призупинити сканування всього сайту.
Чому це важливо
Специфікація robots.txt від Google описує, що відбувається, коли файл відповідає помилкою сервера: перші 12 годин Google припиняє сканувати сайт і далі пробує отримати файл, потім до 30 днів використовує останню справну копію, а після цього вирішує з огляду на те, чи сайт загалом доступний. Файл, який не вдається завантажити через проблеми з DNS чи мережею, розглядається так само.
Що зробити
- Відкрийте
/robots.txtна своєму сайті в браузері; якщо він завантажується, запитайте у хостингу, чи не відповідає фаєрвол, CDN або правило обмеження частоти на частину запитів помилками. - Віддавайте robots.txt як звичайний файл, що не залежить від того, чи працює ваш застосунок, якщо хостинг це дозволяє.
- Запустіть новий аудит, щоб побачити, чи він тепер завантажується.
Що ми читаємо
Ми запитуємо /robots.txt з адреси вашого сайту з власним user agent, проходячи до шести переспрямувань. Якщо перша відповідь — помилка сервера, 429 чи мережевий збій, ми запитуємо ще раз, одразу або після затримки, про яку сервер просить у Retry-After, до 60 секунд.
Сайт фіксується, коли ця друга відповідь має будь-який статус 5xx. Якщо друга відповідь — 429, її натомість фіксує перевірка забагатьох запитів; якщо це мережевий збій, перевірка не може дійти висновку.
Приклад і докази
Ілюстративний приклад — robots.txt прочитано двічі за один аудит, а не реальний аудит.
GET https://bakery.example/robots.txt
HTTP/1.1 503 Service Unavailable
GET https://bakery.example/robots.txt
HTTP/1.1 503 Service UnavailableПершою відповіддю була помилка сервера, тож ми одразу запитали знову, і друга відповідь теж була помилкою сервера. У знахідці зазначено кінцевий статус, 503, з обома спробами й часом кожної.
Якби другою відповіддю була 200 OK із файлом, знахідки не було б: поодинокий збій, після якого йде успішна відповідь, не фіксується.
Підтвердити й перевірити знову
Перевірте самі: відкрийте свій robots.txt кілька разів у браузері й попросіть у хостингу журнали помилок за час, зазначений у знахідці.
Повторна перевірка: Повний аудит — запустіть новий аудит сайту; він знову запитує robots.txt з однією повторною спробою. Знахідка підтверджується як виправлена, лише коли цей аудит повний: не обірваний лімітом сторінок, кожну знайдену ним адресу завантажено з відповіддю 200 і жодну не відхилено через robots.txt.
Обмеження та джерела
Два запити з коротким проміжком показують, що файл не працював під час аудиту, але не те, як довго, і не те, що Google бачив те саме. Вони йдуть із нашим власним user agent, тож CDN чи фаєрвол може відповідати Googlebot інакше, а мережевий збій позначається як неперевірений, хоча Google розглядає його як помилку сервера.
Упевненість: Середня, бо два невдалі запити в межах одного аудиту — це коротка вибірка; у знахідці показано час і статус кожного.
Джерела
- Google, Як Google інтерпретує специфікацію robots.txt — описує, як Google поводиться з robots.txt, який повертає помилку сервера або який не вдається завантажити. Перевірено 25 вересня 2026.
Редакційна перевірка: 29 вересня 2026