ua
/вхід
Koval SEO

ШІ-сканерам для пошуку заборонено весь ваш сайт

У звітіAI search crawlers are disallowed across the site

ai_search_crawler_blocked_in_robots · Потребує перегляду

Коротка відповідь

Обмеження robots на весь сайт стосується розглянутого ШІ-сканера з пошуковим призначенням. Це пункт на перегляд: воно може бути свідомим. Аудит не доводить, що система відповідей завантажила, проіндексувала чи перестала цитувати ваші сторінки.

Серйозність: Середня. Пункт на перегляд, бо обмеження доступу може бути навмисним.

Чому це важливо

Сканери з пошуковим призначенням і сканери для навчання мають різні задокументовані призначення. Переглядайте їхні дозволи окремо, а не вважайте, що відмова від навчання має також виключати пошукове сканування.

Що зробити

  1. Скористайтеся списком зачеплених ботів і доказами з оригінальних рядків, щоб визначити групи, що застосовуються.
  2. Якщо ви хочете, щоб ці пошукові сканери мали доступ до всіх сторінок, приберіть обмеження на весь сайт або додайте для них повні іменовані групи Allow. Збережіть окремі засоби керування навчанням, які ви задумали.
  3. Запустіть повний аудит знову; додавання одного дозволеного службового чи адміністративного шляху не встановлює доступу до вашого публічного контенту.

Коли залишити як є: Залиште обмеження, якщо воно відповідає політиці доступу чи використання, якої ви хочете.

Що ми читаємо

Один повний оригінальний robots.txt із зареєстрованого джерела, спільний розв’язувач REP і прийнятий довідник призначень ботів.

Оцінюються лише задокументовані пошукові сканери з розглянутої підмножини, що дотримуються robots; наразі це OAI-SearchBot, Claude-SearchBot, PerplexityBot і Amzn-SearchBot. Токени керування використанням не є сканерами.

Чинний Disallow на всі шляхи без Allow, що відкриває доступ, може дати знахідку. Якщо визначена група сканера не має Disallow на всі шляхи та нерозв’язаних декларацій, заборони окремих шляхів не заважають пройти цю перевірку всього сайту. Disallow на всі шляхи, коли Allow відкриває лише окремі розділи, залишається невідомим. Неоднозначні назви агентів, некоректні шляхи та нерозв’язане успадкування також залишаються невідомими. Відомі блокування залишаються видимими поруч із невідомими ботами; неповне охоплення перевірки не може довести виправлення.

Приклад і докази

Ілюстративне виправлення дозволу; це не доказ запитів чи цитувань.

User-agent: OAI-SearchBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /

Підтвердити й перевірити знову

Перевірте самі: Відкрийте оригінальний robots.txt і порівняйте групи для названого агента та з підстановним знаком, разом із кожним винятком Allow.

Повторна перевірка: Повний аудит — Запустіть новий повний аудит того самого сайту. Повна повторна перевірка закриває попередню знахідку, коли жоден із розглянутих пошукових сканерів не обмежений на весь сайт, навіть якщо коректні Disallow для окремих шляхів лишилися. Disallow на всі шляхи, коли відкрито лише окремі розділи, нерозв’язані декларації, недоступний robots.txt чи неповне охоплення довідковими даними не можуть довести виправлення.

Обмеження та джерела

Довідник — це розглянута підмножина, а не перелік кожного бота. Іменовані конкурентні групи можуть залишити неназваний сканер нерозв’язаним.

Знахідка описує дозволи; вона не передбачає цитувань у відповідях, не виявляє запитів ботів і не робить висновків про ваш намір.

Коректні Disallow для окремих шляхів не дають знахідки про весь сайт. Disallow на всі шляхи, коли Allow відкриває лише окремі розділи, залишається невідомим і не може закрити попередню знахідку про обмеження на весь сайт.

Упевненість: Висока Захоплені декларації та розглянуті метадані видавця встановлюють обсяг дозволу, а не фактичне завантаження чи використання.

Джерела

  • Amazon, Документація сканера Amazon — Документує пошуковий сканер видавця та його призначення чи засоби керування через robots; не встановлює фактичних відвідувань чи універсальної гарантії цитування. Перевірено 9 вересня 2026.
  • OpenAI, Огляд сканерів OpenAI — Документує пошуковий сканер видавця та його призначення чи засоби керування через robots; не встановлює фактичних відвідувань чи універсальної гарантії цитування. Перевірено 9 вересня 2026.
  • Perplexity, Сканери Perplexity — Документує пошуковий сканер видавця та його призначення чи засоби керування через robots; не встановлює фактичних відвідувань чи універсальної гарантії цитування. Перевірено 9 вересня 2026.
  • Anthropic, Засоби керування сканерами Anthropic — Документує пошуковий сканер видавця та його призначення чи засоби керування через robots; не встановлює фактичних відвідувань чи універсальної гарантії цитування. Перевірено 9 вересня 2026.

Редакційна перевірка: 2 листопада 2026