robots.txt блокує весь сайт
У звітіrobots.txt disallow all
robots_txt_disallow_all · Проблема
Це з’являється, коли група robots.txt для Googlebot забороняє кожен шлях правилом Disallow: / або Disallow: /* і не має жодного дозвільного рядка. Це не пускає Googlebot на весь сайт, а також інших сканерів, якщо їхні правила кажуть те саме; наш аудит теж не читає жодної сторінки. Видаліть правило, якщо тільки сайт не задумано закритим.
Серйозність: Критична. Виправте це насамперед: поки правило діє, Googlebot не може сканувати жодної сторінки сайту.
Чому це важливо
robots.txt повідомляє сканерам, які адреси їм можна завантажувати, а суцільна заборона не пускає кожен сканер, якого вона стосується, на жодну сторінку. Google не може прочитати вміст заборонених сторінок, хоча однаково може показувати їхні адреси без фрагмента.
Що зробити
- Відкрийте robots.txt вашого сайту й знайдіть рядок, названий у знахідці, — зазвичай це
Disallow: /підUser-agent: *. - Видаліть його або замініть правилами для шляхів, які ви справді хочете закрити. Суцільне блокування часто залишається від тестової копії чи налаштування перед запуском.
- Запустіть новий аудит, щойно новий файл буде опубліковано.
Коли залишити як є: якщо сайт закрито свідомо, наприклад це тестова копія чи ще не запущений сайт, залиште блокування і зніміть його під час запуску.
Що ми читаємо
Ми завантажуємо /robots.txt з адреси вашого сайту, читаємо перші 500 КіБ і застосовуємо групу для Googlebot або групу *, якщо такої немає, як описує специфікація Google.
Сайт фіксується, коли robots.txt відповів кодом 200, його правила забороняють корінь /, вирішальне правило після розбору — це Disallow: / або Disallow: /*, хоч би якими були його регістр літер, пробіли чи кінцевий коментар, і група не має жодного дозвільного рядка; навіть дозвіл для однієї теки зупиняє цю знахідку. Блокування, записані інакше, як-от Disallow: *, тут не фіксуються, а перевірка головної сторінки однаково фіксує їх, коли вони блокують головну сторінку.
Приклад і докази
Ілюстративний приклад — один robots.txt, а не реальний аудит.
Адреса: https://bakery.example/robots.txt, відповідь 200:
# copied from staging
User-agent: *
Disallow: /Групи для Googlebot немає, тому застосовується група *. Рядок 3, Disallow: /, блокує кожен шлях, і жоден рядок нічого не дозволяє назад, тож у знахідці названо цей рядок. Перевірка головної сторінки фіксує той самий рядок, а наш сканер не завантажує жодної сторінки.
Можливе виправлення:
User-agent: *
Disallow:Порожнє Disallow: — це взагалі не правило, тож нічого не заблоковано.
Підтвердити й перевірити знову
Перевірте самі: відкрийте свій robots.txt у браузері й прочитайте групу для Googlebot або для *, якщо її немає: Disallow: / без дозвільного рядка закриває сайт.
Повторна перевірка: Повний аудит — запустіть новий аудит сайту; він знову завантажує robots.txt. Щойно блокування знято, аудит може сканувати ваші сторінки й більше його не фіксує. Якщо robots.txt тепер відповідає кодом 404 чи іншим 4xx, відмінним від 429, вважається, що правил сканування немає; мережевий збій, 429 чи помилка сервера не підтверджують, що блокування знято.
Обмеження та джерела
Застосовуються лише правила для Googlebot, і ми завантажуємо robots.txt із власним user agent, тож файл, який віддається Googlebot інакше, перевірка не бачить. Перевірка не визначає, чи блокування навмисне і чи є ваші сторінки в індексі Google.
Упевненість: Висока, бо файл і вирішальний рядок зчитуються безпосередньо.
Джерела
- Google, Як Google інтерпретує специфікацію robots.txt — пояснює, як Google обирає групу та правило, що застосовуються, і що він не може читати заборонені сторінки. Перевірено 25 вересня 2026.
Редакційна перевірка: 29 вересня 2026