Доступність для сканування15 правил:що може стати на заваді скануванню ваших сторінок.

robots.txt, помилки сервера, переспрямування та файли, потрібні сторінці для завантаження.

robots.txt

robots.txt наближається до ліміту 500 КіБ або перевищує йогоЗахоплений robots.txt наближається до 500 КіБ, або захоплена директива Allow чи Disallow починається за цим лімітом.У звіті: Robots.txt approaches or exceeds Google's 500 KiB parse limit
robots.txt блокує весь сайтГрупа robots.txt для Googlebot забороняє весь сайт правилом Disallow: / і не має жодного дозвільного рядка.У звіті: robots.txt disallow all
robots.txt блокує вашу головну сторінкуПравила robots.txt для Googlebot забороняють головну сторінку.У звіті: Homepage blocked by robots.txt
robots.txt відповідає помилкою сервераПісля однієї повторної спроби запит robots.txt однаково завершився помилкою сервера (5xx).У звіті: robots.txt 5xx
До robots.txt веде понад п’ять переспрямуваньЗапит до вашого файлу robots.txt пройшов через понад п’ять відповідей-переспрямувань.У звіті: robots.txt is reached through more than five redirects
robots.txt відмовляє сканерам через забагато запитівПісля однієї повторної спроби запит robots.txt однаково завершився кодом HTTP 429 — відповіддю про забагато запитів.У звіті: robots.txt 429
robots.txt був доступний в одній точці аудиту й недоступний в іншійУ межах одного аудиту robots.txt на одному запиті відповів нормально, а на іншому завершився помилкою сервера або 429.У звіті: robots.txt availability flapped during the audit — intermittent failures risk a site-wide crawl stop
robots.txt містить непідтримувані директивиНепідтримувані директиви є в групі *, перед будь-яким рядком User-agent або в групі, що називає сканер Google; непідтримувана директива, групу сканера якої неможливо визначити, не дає отримати чистий результат.У звіті: Robots.txt contains directives Google ignores (noindex / crawl-delay / nofollow)

Відповіді

Переспрямування

CSS і JavaScript