Адресу з карти сайту заблоковано в robots.txt

Чому це важливо

Google просить, щоб URL-адреси, які ви хочете бачити в його результатах, були наведені у вашій карті сайту. Коли robots.txt хоста наведеної адреси забороняє її для Googlebot, Google не може прочитати вміст сторінки, хоча однаково може показати адресу в результатах без фрагмента.

Що зробити

Перегляньте знахідку: у ній показано запис карти сайту й рядок robots.txt, що його блокує, з номером рядка.
Якщо сторінка має бути в пошуку, видаліть або звузьте цей рядок чи додайте для сторінки правило Allow.
Якщо її не слід сканувати, приберіть її з карти сайту — зазвичай це налаштування у вашому SEO-плагіні.

Що ми читаємо

Ми зіставляємо схожі на сторінки адреси, збережені збирачем карт сайту, на тому самому HTTP-джерелі, що й захоплена політика robots.txt, крім головної сторінки, з правилами для Googlebot або для *, якщо групи Googlebot немає; перемагає найдовше відповідне правило, а за рівності — дозвільне. Шляхи, схожі на файли, як-от .pdf чи .jpg, виключаються до цієї перевірки. Для цієї перевірки жодна наведена адреса не завантажується, і в межах перевіреного джерела немає ліміту сторінок.

Перевірці потрібно, щоб robots.txt відповів кодом 200; код 4xx, відмінний від 429, означає, що правил немає, а код 429, мережевий збій чи помилка сервера роблять перевірку непевною. Захоплена політика застосовується за шляхом лише до наведених адрес на тій самій схемі, хості й порту; двійник із www. чи іншим протоколом — це окреме джерело.

Приклад і докази

Ілюстративний приклад — один запис карти сайту й один robots.txt, а не реальний аудит.

https://bakery.example/robots.txt відповідає кодом 200 і містить:

User-agent: *
Disallow: /catering/

Sitemap: https://bakery.example/sitemap.xml

а карта сайту містить:

<url><loc>https://bakery.example/catering/wedding-cakes</loc></url>

Шлях /catering/wedding-cakes відповідає рядку 2, тому наведена сторінка фіксується разом із записом карти сайту й цим рядком.

Можливе виправлення: додайте Allow: /catering/wedding-cakes до тієї самої групи — довше правило перемагає — або приберіть запис із карти сайту.

Підтвердити й перевірити знову

Перевірте самі: візьміть адресу зі своєї карти сайту й порівняйте її шлях із правилами у вашому robots.txt; інструмент перевірки URL у Search Console повідомляє, чи блокує robots.txt сторінку.

Повторна перевірка: Повний аудит — запустіть новий аудит сайту. Поки адреса залишається в карті сайту, її дозвіл можна підтвердити, щойно вона відповідає безпосередньо кодом 200 і повним HTML, кожну карту сайту прочитано повністю і жодна наведена адреса не залишається поза перевіреним джерелом robots.txt. Знахідка також може закритися, коли адреса відповідає безпосередньо файлом 200, що не є HTML, або починається з постійного переспрямування в межах вашого сайту і перевірка більше її не фіксує, за умови повного охоплення карт сайту. Видалення адреси з карти сайту, поки блокування залишається, не приймається як доказ.

Обмеження та джерела

Перевірка зіставляє лише шляхи й не завантажує сторінку, тому нічого не каже про її статус чи вміст. Застосовуються лише правила для Googlebot, а robots.txt, який Google зберіг із попереднього завантаження, невідомий.

Упевненість: Висока, бо і запис карти сайту, і правило, що блокує, зчитуються безпосередньо.

Джерела

Google, Створення й подання карти сайту — просить включати у вашу карту сайту URL-адреси, які ви хочете бачити в результатах пошуку Google. Перевірено 25 вересня 2026.
Google, Як Google інтерпретує специфікацію robots.txt — пояснює, як Google обирає групу та правило, що застосовуються, і що він не може читати заборонені сторінки. Перевірено 25 вересня 2026.

Редакційна перевірка: 29 вересня 2026

Сторінка з карти сайту просить не показувати її в пошуку — наведену сторінку завантажено, і вона сама просить не показувати її в пошуку.
Сторінка з карти сайту повертає 404 або 410 — наведену сторінку завантажено, і вона відповіла кодом 404 або 410.
Карту сайту не вдається завантажити або прочитати — не працював сам файл карти сайту.