Google-Extended заборонено: перегляньте обсяг використання

Чому це важливо

Дозвіл на використання й доступ сканера — це різні засоби керування. Ця примітка допомагає оцінити задокументований обсяг Google-Extended, не вважаючи його загальним перемикачем для Пошуку Google.

Що зробити

Порівняйте точну іменовану групу Google-Extended і захоплені рядки Disallow із задуманою вами політикою використання для Gemini.
Залиште навмисне обмеження як є. Якщо хочете його прибрати, використайте явний повний Allow або встановіть повне необмежене охоплення; перенесення заборони до підстановного знака не є виправленням.

Коли залишити як є: Залиште обмеження, якщо воно відповідає політиці використання Google-Extended, якої ви хочете.

Що ми читаємо

Один оригінальний robots.txt з HTTP 200 від зареєстрованого джерела сайту, без переспрямування, в UTF-8 і в межах вікна політики 500 KiB. Повні збережені байти та індекс декларацій зіставляються із зафіксованим прийнятим довідником ботів.

Повідомлення потребує доведеного обмеження на всі шляхи через точну іменовану групу Google-Extended. Суттєва заборона лише через підстановний знак або іменоване обмеження окремих шляхів лишається невідомим і не доводить виправлення попередньої знахідки.

Приклад і докази

Ілюстративний іменований засіб керування використанням, а не доказ навчання чи зміни результатів пошуку.

User-agent: Google-Extended
Disallow: /

Якщо це відповідає вашій політиці використання для Gemini, змінювати політику використання не потрібно.

Підтвердити й перевірити знову

Перевірте самі: Відкрийте оригінальний robots.txt і порівняйте групи для названого агента та з підстановним знаком, разом із кожним винятком Allow.

Повторна перевірка: Повний аудит — Запустіть новий повний аудит того самого сайту. Повністю перевірений необмежений дозвіл на використання для Google-Extended може підтвердити виправлення знахідки того самого джерела. Частковий виняток, перенесена заборона, недоступний чи переспрямований robots.txt, неповні збережені байти або відсутній чи застарілий довідник ботів не доводять виправлення. Якщо політика robots забороняє сам аудит, попередній звіт лишається чинним.

Обмеження та джерела

Перевірка не оглядає Googlebot, керування фрагментами на сторінках чи фактичні запити Google.

Це правило не робить висновків щодо AI Overviews чи AI Mode; їхні окремі засоби керування лежать поза прийнятими доказами, що ґрунтуються лише на robots.

Заборона через підстановний знак не приписується свідомому окремому вибору щодо Google-Extended.

Файл поза вікном політики 500 KiB, неповний індекс декларацій, кодування не UTF-8 чи HTML-відповідь не встановлюють чистого результату. Аудит використовує власний user agent і не надсилає запиту Google-Extended.

Упевненість: Висока Захоплені декларації та розглянуті метадані видавця встановлюють захоплену декларацію керування використанням, а не фактичне завантаження чи використання.

Джерела

Google, Поширені сканери Google — Документує обсяг керування використанням Google-Extended і засоби керування групами robots; токен не впливає на включення в Пошук Google чи ранжування. Перевірено 9 вересня 2026.
Google, Документація Google щодо robots.txt — Документує вибір групи robots і засоби керування дозволами Allow/Disallow. Перевірено 9 вересня 2026.

Редакційна перевірка: 2 листопада 2026