Правило robots із підстановним знаком стосується ШІ-сканерів без названих груп

Чому це важливо

Обмеження, написане для звичайних сканерів, може стосуватися також сканерів для навчання, обґрунтування відповідей і ШІ-пошуку. У знахідці перелічено відомі зачеплені сканери й успадковані захоплені шаблони.

Що зробити

1. Прочитайте зачеплений сканер, його призначення, групу з підстановним знаком і точні захоплені рядки Disallow.
2. Якщо успадковане обмеження ненавмисне, додайте явні іменовані групи для сканерів, з якими слід поводитися інакше, або змініть відповідне обмеження з підстановним знаком.
3. Запустіть ще один повний аудит; виправлення підтверджується лише за достатнього охоплення перевірки того самого сайту.

Коли залишити як є: Залиште навмисне обмеження з підстановним знаком або відхиліть знахідку; ця знахідка не вирішує, якою має бути ваша політика щодо контенту для ШІ.

Що ми читаємо

Захоплений robots.txt сайту з оригінальними позиціями рядків і байтів, розв’язаний спільним власником політики robots.

Прийнята розглянута підмножина ботів дає призначення сканера й задокументовану застосовність robots. Завантажувачі на запит користувача й токени керування використанням лежать поза цією перевіркою сканерів.

Наявний підтримуваний шлях може довести успадкування підстановного правила, коли документ має лише групи з підстановним знаком. Недоведене неіменоване успадкування в документах з іменованими групами залишається неперевіреним.

Приклад і докази

Ілюстративне видалення ненавмисного обмеження з підстановним знаком; це не реальний аудит.

User-agent: *
Disallow: /private

User-agent: *
Disallow:

Підтвердити й перевірити знову

Перевірте самі: Переконайтеся, що зафіксовані рядки справді віддає ваш robots.txt і що задумана політика щодо сканерів правильна.

Повторна перевірка: Повний аудит — Запустіть ще один повний аудит сайту. Знахідка для того самого сайту закривається, лише коли спільний оцінювач справді перевірить достатньо свіжих захоплених доказів; невідоме охоплення перевірки не доводить виправлення.

Обмеження та джерела

Це розглянута підмножина, а не повний перелік усіх ШІ-ботів. Неперевірені записи й нерозв’язане успадкування залишаються явно невідомими, навіть коли відомі зачеплені боти дають знахідку.

Недоступне чи часткове тіло robots, непідтримуване кодування, застарілі довідкові дані, недоведене охоплення переспрямування 404 або нерозв’язане охоплення шаблонів не можуть підтвердити виправлення.

Ця перевірка не доводить, що справжній сканер відвідав чи заблокував сторінку, і не змінює дозволів robots.

Упевненість: Висока Знахідка фіксує доведену захоплену політику з підстановним знаком для перелічених розглянутих сканерів. Вона не робить висновків про намір власника чи поведінку кешування у видавця.

Джерела

• Anthropic, Сканери Anthropic і керування через robots — Документує ботів для навчання, пошуку й запитів користувачів та стандартні директиви robots. Перевірено 3 жовтня 2026.

Редакційна перевірка: 2 листопада 2026