Перш ніж працювати з контентом під AI-пошук, варто перевірити просте: чи можуть AI-системи взагалі прочитати сайт. Нижче — шість пунктів, які можна перевірити за годину.
1. robots.txt: у кожного AI свій бот
Головна помилка — вважати, що AI-бот один. В OpenAI їх кілька з різними задачами: GPTBot збирає дані для навчання моделей, OAI-SearchBot індексує сторінки для пошуку в ChatGPT, ChatGPT-User відкриває сторінку, коли про неї питає користувач. Свої боти мають Perplexity (PerplexityBot) і Anthropic (ClaudeBot). Google-Extended керує тим, чи може Google використовувати контент для Gemini, і на ранжування в пошуку не впливає.
Великі сайти вирішують це по-різному. hotline.ua явно дозволяє всіх AI-ботів, а allo.ua закриває для GPTBot частину розділів. Якщо ви хочете, щоб ChatGPT цитував сайт, OAI-SearchBot не має бути заблокований, навіть якщо GPTBot ви закрили.
2. Сервер і WAF
robots.txt може дозволяти все, а файрвол чи антибот-захист — відсікати ботів за User-Agent. Перевірте відповідь сервера командою curl з User-Agent кожного бота: код має бути 200, а розмір сторінки таким самим, як для звичайного браузера.
Ця перевірка показує лише правила за User-Agent. Якщо захист перевіряє ще й IP-адреси ботів, дивіться журнали сервера: чи є в них справжні запити від GPTBot та OAI-SearchBot і з якими кодами відповіді.
Окремо перевірте налаштування CDN. У Cloudflare, наприклад, є окремий перемикач, що блокує AI-ботів, і його легко ввімкнути, не подумавши про наслідки для видимості в ChatGPT та Perplexity.
3. Контент без JavaScript
AI-краулери здебільшого читають HTML, який віддає сервер, і JavaScript не виконують. Якщо ціни, опис послуги чи відгуки підвантажуються скриптом, бот їх не побачить. Перевірка проста: у збереженому через curl файлі мають бути заголовок H1, основний текст і ключові цифри.
4. Швидкість і стабільність
Бот, який отримав таймаут або помилку 5xx, не отримає даних. Сторінка має віддаватися за кілька секунд без редиректів по колу.
5. Структура і розмітка
Карта сайту, коректні canonical, зрозумілі заголовки, розмітка Organization, Product, FAQ. Вона не гарантує цитування, але допомагає моделі правильно зрозуміти, хто ви і що продаєте.
6. llms.txt
Це файл із коротким описом сайту для мовних моделей. Поки що це лише пропозиція стандарту, і великі AI-сервіси не підтверджували, що його використовують. Додати не завадить, але першочерговим він не є.
Як перевірити все за годину
- Відкрийте свій robots.txt і знайдіть правила для GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot, Google-Extended і для всіх ботів одразу.
- Проженіть curl з User-Agent кожного бота для головної, сторінки послуги й сторінки товару.
- Відкрийте збережений HTML і знайдіть у ньому H1, ціну й основний текст.
- Перевірте в налаштуваннях CDN і хостингу, чи не ввімкнено блокування ботів.
- Подивіться в журналах сервера, які AI-боти вже заходили і з якими кодами відповіді.
Технічна доступність — фундамент, з якого починається оптимізація сайту під ChatGPT і Gemini. Без неї робота з контентом і згадками втрачає сенс: модель просто не бачить, що ви змінили.
