robots.txt то доступний, то недоступний під час аудиту

Чому це важливо

Google зазначає, що коли файл robots.txt існує, але його не вдається завантажити через помилку сервера, Google перші 12 годин не сканує сайт, продовжуючи спроби завантажити файл, а потім наступні 30 днів використовує останню справну версію. Тому файл, який час від часу дає збій, може призупинити сканування всього сайту.

Що зробити

Перегляньте знахідку: у ній показано три прочитання з часом, статусом і кількістю спроб для кожного.
Перевірте журнали сервера та CDN для /robots.txt у ці моменти. Шукайте обмеження частоти запитів, правило брандмауера або застосунок, який формує файл під час кожного запиту й дає збій під навантаженням.
Де можливо, віддавайте robots.txt як статичний файл і виключіть його з обмежень частоти запитів.

Що ми читаємо

Ми запитуємо /robots.txt у трьох точках того самого аудиту: на початку, після сканування сторінок і наприкінці. Додаткового очікування між ними не додається. Кожне прочитання — окремий запит із власним зафіксованим часом початку й завершення.

Прочитання вважається доступним, коли завершується повним файлом robots.txt або відповіддю 404 чи 410. Воно вважається недоступним, коли завершується статусом 5xx чи 429 і автоматичне повторення того самого запиту не вдалося так само. Для знахідки потрібні всі три прочитання по черзі, з принаймні одним доступним і одним недоступним.

Приклад і докази

Ілюстративний приклад — один аудит, а не реальний результат.

Аудит bakery.example читає файл тричі протягом одинадцяти хвилин:

10:02:14  GET https://bakery.example/robots.txt   200 text/plain
10:07:41  GET https://bakery.example/robots.txt   503
10:07:43  GET https://bakery.example/robots.txt   503   (automatic repeat of the same request)
10:13:05  GET https://bakery.example/robots.txt   200 text/plain

Друге прочитання двічі не вдалося, тож воно вважається недоступним, тоді як перше й третє файл отримали. Про сайт повідомляється. Якби всі три прочитання отримали відповідь 200, нічого не повідомлялося б.

Підтвердити й перевірити знову

Перевірте самі: запитайте /robots.txt кілька разів протягом кількох хвилин і пошукайте статус 5xx чи 429 у журналах сервера або CDN для цієї адреси.

Повторна перевірка: Повний аудит — запустіть новий аудит сайту. Знахідка закривається, лише коли новий аудит робить усі три прочитання і кожне з них однаково доступне. Аудит, що зупиняється раніше, прочитання з нечіткою відповіддю або три невдалі прочитання залишають її непідтвердженою.

Обмеження та джерела

Три прочитання з одного місця в межах одного аудиту — це невелика вибірка. Вони показують, що файл давав збій під час цього аудиту; вони не вимірюють доступність і не показують, як часто стаються збої.

Запит, який один раз не вдався, а під час автоматичного повторення вдався, вважається доступним. Повторення є частиною того самого прочитання, а не четвертим прочитанням.

Файл, який дає збій під час кожного прочитання, є предметом перевірок robots.txt на 5xx і 429, а не цієї. Поєднання відповідей 200 і 404, HTML-сторінка, неповний файл, тайм-аут або переспрямування, яке не вдалося виконати, лишаються непідтвердженими.

Упевненість: Середня, бо кожне прочитання зафіксовано з його статусом і часом, хоча три прочитання в одному аудиті лишаються обмеженою вибіркою поведінки файлу.

Джерела

Google, Як Google тлумачить специфікацію robots.txt — зазначає, що коли файл robots.txt існує, але його не вдається завантажити через помилку сервера, Google перші 12 годин не сканує сайт, продовжуючи спроби, а потім наступні 30 днів використовує останню справну версію; а також що відповіді 4xx, крім 429, вважаються такими, ніби файлу robots.txt не існує. Перевірено 14 жовтня 2026.

Редакційна перевірка: 15 жовтня 2026