Твердження і докази
Переконайтеся, що robots.txt дозволяє краулери AI-пошуку, як-от OAI-SearchBot, щоб сайт міг з’являтися у відповідях пошуку ChatGPT.
Датованого прикладу поки немає. Вважайте цю тактику гіпотезою.
Першоджерело
Компанія чи засновник самі описують тактику і результат: власний блог, виступ, звітність.
Працює · 2026-11 Документація OpenAI щодо ботів
Що показують цифри
усіх сайтів блокують GPTBot — найчастіше блокованого AI-бота (дані Ahrefs)
ahrefs.comЧому це працює
OpenAI зазначає, що сайти, які заблокували OAI-SearchBot, не показуватимуться у відповідях пошуку ChatGPT; GPTBot (для навчання) — окремий бот, тож можна дозволити пошук і заблокувати навчання.
Як запустити
- Перевірте robots.txt щодо OAI-SearchBot та інших ботів AI-пошуку
- Окремо вирішіть щодо ботів для навчання, як-от GPTBot
- Дозвольте пошукових ботів і зачекайте близько 24 годин
- Перевірте в логах сервера
Як можна запустити
Варіанти дизайну для тесту, а не обіцяний результат.
- Варіант AПошук — так, навчання — ні
Дозвольте пошукових краулерів на кшталт OAI-SearchBot, а краулерів для навчання, як-от GPTBot, залиште заблокованими.
- Варіант BДозволити всіх AI-ботів
Відкрийте сайт і пошуковим, і навчальним краулерам, коли широке охоплення важливіше за контроль.
- Варіант CПеревірка за логами
Змініть robots.txt і переконайтеся в серверних логах, що пошукові боти справді доходять до ключових сторінок.
Датовані приклади
Датованого прикладу поки немає. Вважайте цю тактику гіпотезою.
Чи це ще працює?
Документація OpenAI щодо ботів джерело
Ризики
- Дозвіл — необхідна, але не достатня умова для цитування
- Політики окремих постачальників змінюються
Джерела
- developers.openai.com
“Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers.”
✓ цитату звірено дослівно зі сторінкою - ahrefs.com
“GPTBot (OpenAI) is the most blocked AI bot, with 5.89% of all websites blocking them.”
✓ цитату звірено дослівно зі сторінкою
Історія змін
- 2026-11-20 — merged: pass2-enrich.jsonl:12 (allow-ai-search-crawlers); acq-search.jsonl:35 (allow-ai-search-crawlers)
- 2026-11-20 — harvest v0.1 (pass2-enrich, acq-search)