Працює · 2026-11ПершоджерелоЗалученняAEO / AI-пошук

Дозвольте краулери AI-пошуку

Переконайтеся, що robots.txt дозволяє краулери AI-пошуку, як-от OAI-SearchBot, щоб сайт міг з’являтися у відповідях пошуку ChatGPT.

Інші назви (англ.): Allow AI search crawlers

Твердження і докази

ТвердженняПереконайтеся, що robots.txt дозволяє краулери AI-пошуку, як-от OAI-SearchBot, щоб сайт міг з’являтися у відповідях пошуку ChatGPT.

Датованого прикладу поки немає. Вважайте цю тактику гіпотезою.

Що показують цифри

5,89%

усіх сайтів блокують GPTBot — найчастіше блокованого AI-бота (дані Ahrefs)

ahrefs.com

Чому це працює

Схема, не дані
Перевірте robots.txtДозвольте пошуковихAI-ботівЗаблокуйте пошуковихAI-ботівБоти для навчання —окреме рішення
Перевірте robots.txtДозвольтепошуковихAI-ботівЗаблокуйтепошуковихAI-ботівБоти для навчання — окремерішення

OpenAI зазначає, що сайти, які заблокували OAI-SearchBot, не показуватимуться у відповідях пошуку ChatGPT; GPTBot (для навчання) — окремий бот, тож можна дозволити пошук і заблокувати навчання.

Як запустити

  1. Перевірте robots.txt щодо OAI-SearchBot та інших ботів AI-пошуку
  2. Окремо вирішіть щодо ботів для навчання, як-от GPTBot
  3. Дозвольте пошукових ботів і зачекайте близько 24 годин
  4. Перевірте в логах сервера

Як можна запустити

Варіанти дизайну для тесту, а не обіцяний результат.

  1. Варіант AПошук — так, навчання — ні

    Дозвольте пошукових краулерів на кшталт OAI-SearchBot, а краулерів для навчання, як-от GPTBot, залиште заблокованими.

  2. Варіант BДозволити всіх AI-ботів

    Відкрийте сайт і пошуковим, і навчальним краулерам, коли широке охоплення важливіше за контроль.

  3. Варіант CПеревірка за логами

    Змініть robots.txt і переконайтеся в серверних логах, що пошукові боти справді доходять до ключових сторінок.

Датовані приклади

Датованого прикладу поки немає. Вважайте цю тактику гіпотезою.

Чи це ще працює?

Працюєстаном на 2026-11

Документація OpenAI щодо ботів джерело

Ризики

  • Дозвіл — необхідна, але не достатня умова для цитування
  • Політики окремих постачальників змінюються

Джерела

  1. developers.openai.com · OpenAI Developers · без дати
    “Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers.”
    ✓ цитату звірено дослівно зі сторінкою
  2. ahrefs.com · Ahrefs blog · Patrick Stox · 2025-05-21
    “GPTBot (OpenAI) is the most blocked AI bot, with 5.89% of all websites blocking them.”
    ✓ цитату звірено дослівно зі сторінкою

Історія змін

  • 2026-11-20 — merged: pass2-enrich.jsonl:12 (allow-ai-search-crawlers); acq-search.jsonl:35 (allow-ai-search-crawlers)
  • 2026-11-20 — harvest v0.1 (pass2-enrich, acq-search)