robots.txt блокує вашу головну сторінку

Чому це важливо

robots.txt повідомляє сканерам, які адреси їм можна завантажувати. Специфікація Google застосовує групу правил, яка найточніше відповідає його сканеру, і зазначає, що він не може прочитати вміст забороненої сторінки, хоча однаково може показати адресу в результатах без фрагмента.

Що зробити

Відкрийте robots.txt вашого сайту й знайдіть рядок, названий у знахідці; у знахідці наведено правило та номер його рядка.
Видаліть це правило або звузьте його до шляхів, які ви справді хочете закрити, як-от /checkout/. Якщо robots.txt за вас пише редактор сайту чи SEO-плагін, змініть його там.
Запустіть новий аудит, щойно новий файл буде опубліковано.

Коли залишити як є: якщо сайт ще не має бути публічним, наприклад це тестова копія, блокування виконує свою роботу; зніміть його під час запуску.

Що ми читаємо

Ми завантажуємо /robots.txt з адреси вашого сайту, проходячи до шести переспрямувань і читаючи перші 500 КіБ. Ми застосовуємо групу, написану для Googlebot, або групу *, якщо такої немає; групи для Googlebot-News чи Googlebot-Image не враховуються. Як і в специфікації Google, перемагає найдовше відповідне правило, а за рівності — дозвільне.

Головна сторінка — це адреса вашого сайту або сторінка, на яку вона переспрямовує. Вона фіксується, коли robots.txt відповів кодом 200 і його правила забороняють цю адресу, незалежно від того, чи блокує файл лише головну сторінку, чи весь сайт. Якщо robots.txt відповідає помилкою 4xx, відмінною від 429, правил для застосування немає і головна сторінка вважається дозволеною; якщо його взагалі не вдається прочитати, перевірка не може дійти висновку.

Приклад і докази

Ілюстративний приклад — один robots.txt, а не реальний аудит.

Адреса: https://bakery.example/robots.txt, відповідь 200:

User-agent: *
Disallow: /
Allow: /menu/

Sitemap: https://bakery.example/sitemap.xml

Групи для Googlebot немає, тому застосовується група *. Шлях головної сторінки / відповідає Disallow: /, а Allow: /menu/ йому не відповідає, тож головну сторінку заблоковано. У знахідці названо рядок 2, Disallow: /, і наш сканер не завантажує головну сторінку.

Оскільки ця група має дозвільний рядок, перевірка блокування всього сайту її не фіксує, хоча відкритим залишається лише /menu/.

Можливе виправлення:

User-agent: *
Disallow: /checkout/

Sitemap: https://bakery.example/sitemap.xml

Жодне правило більше не відповідає /, тож головна сторінка дозволена.

Підтвердити й перевірити знову

Перевірте самі: відкрийте свій robots.txt у браузері, знайдіть групу для Googlebot або, якщо її немає, для * і пошукайте правило Disallow, що відповідає /. Звіт robots.txt у Google Search Console показує версію, яку завантажив Google.

Повторна перевірка: Повний аудит — запустіть новий аудит сайту; він знову завантажує robots.txt і сканує головну сторінку. Знахідка підтверджується як виправлена, лише коли цей аудит повний: не обірваний лімітом сторінок, кожну знайдену ним адресу завантажено з відповіддю 200 і жодну не відхилено через robots.txt.

Обмеження та джерела

Застосовуються лише правила для Googlebot; правила для Bingbot, ШІ-сканерів чи Googlebot-Image не оцінюються. Ми завантажуємо robots.txt із власним user agent, тож сервер, який віддає Googlebot інший файл, не буде виявлено, а саме блокування не показує, чи є головна сторінка в індексі Google.

Упевненість: Висока, бо файл і відповідний рядок зчитуються безпосередньо; якщо robots.txt не вдається прочитати, перевірка нічого не стверджує.

Джерела

Google, Як Google інтерпретує специфікацію robots.txt — пояснює, як Google обирає групу та правило і що заборонена адреса однаково може з’явитися в результатах без фрагмента. Перевірено 25 вересня 2026.

Редакційна перевірка: 29 вересня 2026

robots.txt блокує весь сайт — група Googlebot широко блокує перевірене джерело robots.txt; головна сторінка на іншому джерелі не оцінюється за цим файлом і не фіксується автоматично правилом про головну сторінку.
Ваша головна сторінка відповідає помилкою сервера — головну сторінку завантажено, але вона відповідає помилками сервера.
robots.txt відповідає помилкою сервера — сам robots.txt не вдається прочитати, тож його правила неможливо застосувати.