Пошук зі ШІ20 правил:як ваш сайт поводиться зі ШІ-сканерами, керуванням і контентом.
ШІ-сканери в robots.txt, що їм віддає сервер, сигнали щодо контенту, llms.txt, відповіді, цитування та статистика у вашому контенті.
ШІ-сканери
- Іменоване обмеження robots для завантаження на запит користувача задокументовано як недієвеЗахоплене іменоване правило Disallow націлене на розглянутого бота запитів користувачів, видавець якого документує, що той ігнорує або загалом ігнорує robots.txt.У звіті: robots.txt attempts to block user-fetch AI agents documented to ignore it
- Crawl-delay оголошено для бота без задокументованої підтримкиОригінальна декларація Crawl-delay у robots.txt стосується зареєстрованого бота не від Google, розглянута можливість якого не підтримується або не задокументована.У звіті: robots.txt declares Crawl-delay without documented support
- robots.txt заблоковано або спрямовано на перевірку на бота для запиту ШІ-сканераДва запити robots.txt без Cookie із зафіксованим user-agent GPTBot отримали блокування чи перевірку доступу, тоді як контрольний браузер прочитав файл.У звіті: robots.txt is blocked or challenged for an AI crawler request
- robots.txt блокує кореневу сторінку сайту для BingbotЗбережений robots.txt забороняє Bingbot доступ до /, а безпосередньо прочитана коренева сторінка відповідає умовам перевірки.У звіті: The captured origin root is blocked for Bingbot in robots.txt
- Правило robots із підстановним знаком стосується ШІ-сканерів без названих групЗахоплене правило Disallow з підстановним знаком обмежує також розглянуті ШІ-сканери без явного іменованого рішення.У звіті: AI crawlers inherit wildcard robots restrictions without a named group
- ШІ-сканерам для пошуку заборонено весь ваш сайтПовний robots.txt забороняє всі шляхи для одного або кількох розглянутих ШІ-сканерів для пошуку.У звіті: AI search crawlers are disallowed across the site
- Рішення щодо навчання ШІ не ухваленоВаше записане рішення щодо навчання — «не вирішено», а розглянуті сканери мають необмежені дозволи robots.У звіті: AI training decision is undecided with unrestricted robots permissions
- Google-Extended заборонено: перегляньте обсяг його використанняІменована група Google-Extended забороняє всі шляхи; перегляньте, що охоплює цей окремий засіб керування використанням.У звіті: Google-Extended is disallowed; review its Gemini usage scope
Доступ ботів
- Запит ШІ-сканера відхиляється на сторінках, які браузер може прочитатиСторінки, що відповідають кодом 200 на запит браузера, повернули статус блокування на запит з опублікованим рядком user-agent ШІ-сканера.У звіті: An AI crawler request receives a block status on pages a browser can read
- Запит ШІ-сканера отримує сторінку перевірки на бота зі статусом 200Сторінки, які запит браузера читає нормально, відповіли на запит ШІ-сканера сторінкою перевірки Cloudflare зі статусом 200.У звіті: An AI crawler request receives a challenge page instead of the content
- Сирий HTML може не містити основного контентуОригінальний HTML сторінки схожий на оболонку, якій, можливо, потрібен JavaScript, щоб показати основний контент.У звіті: Raw HTML may omit the main content
Сигнали та засоби керування
- Декларація Content-Signal не відповідає задокументованому синтаксисуОригінальний запис Content-Signal використовує задокументований ключ із напевно непідтримуваним або відсутнім значенням.У звіті: Content-Signal declaration does not match the documented syntax
- Декларації Content-Signal і керування використанням висловлюють протилежні побажання для /Сигнал використання no і явне переможне правило Allow для прийнятого токена керування використанням є в тій самій однозначній групі.У звіті: Content-Signal and usage-control declarations express opposed preferences at /
- Сторінки мають noarchive або nocacheЗахоплені декларації в head сторінок, доступних для індексування, містять noarchive або nocache.У звіті: Pages carry NOARCHIVE/NOCACHE — Bing keeps their rankings but Copilot answers can't use their content; confirm that's intended
llms.txt
- Опублікований llms.txt має помилку форматуОригінальні байти необов’язкового файлу настанов у корені джерела показують певну помилку щодо фіксованої версії пропозиції llms.txt.У звіті: Published llms.txt has a definite proposal-format error
- Посилання з llms.txt було недоступне для аудитуРесурс, на який посилається кореневий файл сайту /llms.txt, повернув на запит аудиту HTTP 404 чи 410, або пошук DNS для цього запиту завершився NXDOMAIN.У звіті: Links in llms.txt were unavailable to the audit
- У корені сайту немає llms.txt чи llms-full.txtКореневі файли /llms.txt і /llms-full.txt сайту обидва безпосередньо відповіли на запити аудиту кодом HTTP 404 чи 410.У звіті: Neither root llms.txt guidance file was found
Контент, придатний для цитування
- Основний контент не має розпізнаного посилання на зовнішнє джерелоОсновний контент сторінки, що підпадає під перевірку, не має видимого посилання на сайт на іншому реєстрованому домені.У звіті: Main content has no recognized external source link
- Основний контент не має розпізнаного статистичного твердженняОсновний контент сторінки, що підпадає під перевірку, не має твердження, яке відповідало б розпізнаваним перевіркою шаблонам статистики.У звіті: Main content has no recognized statistical statement
- За заголовком-запитанням не йде шаблон прямої відповідіЗаголовок питає, що або хто це таке, але абзац після нього не починається з назви цієї теми та відповіді.У звіті: No direct-answer pattern follows a question heading